Zitat:
|
Zitat von Sven
Die Spider hab ich gerade (hoffentlich) auf das Archiv (das offizielle, nicht unser eigenes) mittels einer robots.txt umgeleitet  |
heute morgen waren im Forum wieder google Spider unterwegs. Die haben sich nicht auf das irgendein Archiv beschränkt.
Ich denke die verursachen eine Menge Traffic, wenn die immer wieder die riesigen HTML-Seiten saugen.