Googlebot bestemmer selv.
Jeg sidder og leger lidt med Googles bot og deres index, da jeg har nogen sider og underdomæner, som jeg har fjernet fra deres index via deres Webmaster Tools og de har også skrevet at det er godkendt og fjernet. ( disse er efterfølgende fjernet fra webserveren )Men kigger jeg i mine logfiler på serveren, så bliver Googlebot ved med at forespørge de sider og underdomæner. Er der nogen der kan give en forklaring på hvorfor den gør det og hvordan det kan ændres ?