Googlebot bestemmer selv.

Du har også skrevet i robots.txt at den skal holde nallerne væk?

Ja det havde jeg - samt havde jeg sat min webserver så den meldte en statuskode 410 ( Gone ), men den forespørger alligevel endnu.

Googlebot som sådan er ganske flink - står der i robots.txt at den ikke skal kigge i et katalog, har jeg ikke oplevet at den gør det. Er din robots.txt korrekt, ligger den det rigtige sted??

Eller rettere dine robots.txt'er - selvfølgelig een pr. underdomæne.

Ja det vil jeg mene, men jeg har lige prøvet at oprette det underdomæne der driller igen og lagt en fil ( /robots.txt ) som kun indeholder;

User-agent: *
Disallow: /

Den vil sikkert blive ved med at spørge på robots.txt - derudover burde den ikke spørge på mere. Underdomænet kan ikke tilgås på andre måder?  Nogle webhoteludbydere sætter lighedstegn mellem  under.domæne.dom/  og  domæne.dom/under/

Jeg har sitet kørende på min egen server og er sat op så det skal kaldes direkte med under.domæne.com.

Jeg synes nu godt nok ikke den bot plejer at drille så meget ellers.

En forklaring kunne være at googlebot ikke er en bot, men ganske mange botter og at google ikke er en database, men mange forskellige databaser og datacentre.

Det er ganske normalt at verden ser forskellig ud i de forskellige datacentre, hvis du hele tiden ændre ting vil mange forskellige versioner af virkeligheden findes blandt googles datacenter og hvis du ikke ændre noget ved dit site vil datacentrene ganske langsomt nærme sig hinanden.

En forklaring kunne vælre at dine ændringer kun er nået nogle af botterne og nogle af datacentrene. Hvis du giver det lidt tid, vel godt en måned, så tror jeg du vil se at tingene begynder at se rigtige ud hele tiden