Avatar billede jacobchr Nybegynder
16. august 2007 - 21:47 Der er 7 kommentarer og
1 løsning

Googlebot bestemmer selv.

Jeg sidder og leger lidt med Googles bot og deres index, da jeg har nogen sider og underdomæner, som jeg har fjernet fra deres index via deres Webmaster Tools og de har også skrevet at det er godkendt og fjernet. ( disse er efterfølgende fjernet fra webserveren )

Men kigger jeg i mine logfiler på serveren, så bliver Googlebot ved med at forespørge de sider og underdomæner. Er der nogen der kan give en forklaring på hvorfor den gør det og hvordan det kan ændres ?
Avatar billede erikjacobsen Ekspert
16. august 2007 - 21:52 #1
Du har også skrevet i robots.txt at den skal holde nallerne væk?
Avatar billede jacobchr Nybegynder
16. august 2007 - 22:00 #2
Ja det havde jeg - samt havde jeg sat min webserver så den meldte en statuskode 410 ( Gone ), men den forespørger alligevel endnu.
Avatar billede erikjacobsen Ekspert
16. august 2007 - 22:02 #3
Googlebot som sådan er ganske flink - står der i robots.txt at den ikke skal kigge i et katalog, har jeg ikke oplevet at den gør det. Er din robots.txt korrekt, ligger den det rigtige sted??
Avatar billede erikjacobsen Ekspert
16. august 2007 - 22:04 #4
Eller rettere dine robots.txt'er - selvfølgelig een pr. underdomæne.
Avatar billede jacobchr Nybegynder
16. august 2007 - 22:07 #5
Ja det vil jeg mene, men jeg har lige prøvet at oprette det underdomæne der driller igen og lagt en fil ( /robots.txt ) som kun indeholder;

User-agent: *
Disallow: /
Avatar billede erikjacobsen Ekspert
16. august 2007 - 22:15 #6
Den vil sikkert blive ved med at spørge på robots.txt - derudover burde den ikke spørge på mere. Underdomænet kan ikke tilgås på andre måder?  Nogle webhoteludbydere sætter lighedstegn mellem  under.domæne.dom/  og  domæne.dom/under/
Avatar billede jacobchr Nybegynder
16. august 2007 - 22:25 #7
Jeg har sitet kørende på min egen server og er sat op så det skal kaldes direkte med under.domæne.com.

Jeg synes nu godt nok ikke den bot plejer at drille så meget ellers.
Avatar billede bufferzone Praktikant
16. august 2007 - 23:13 #8
En forklaring kunne være at googlebot ikke er en bot, men ganske mange botter og at google ikke er en database, men mange forskellige databaser og datacentre.

Det er ganske normalt at verden ser forskellig ud i de forskellige datacentre, hvis du hele tiden ændre ting vil mange forskellige versioner af virkeligheden findes blandt googles datacenter og hvis du ikke ændre noget ved dit site vil datacentrene ganske langsomt nærme sig hinanden.

En forklaring kunne vælre at dine ændringer kun er nået nogle af botterne og nogle af datacentrene. Hvis du giver det lidt tid, vel godt en måned, så tror jeg du vil se at tingene begynder at se rigtige ud hele tiden
Avatar billede Ny bruger Nybegynder

Din løsning...

Tilladte BB-code-tags: [b]fed[/b] [i]kursiv[/i] [u]understreget[/u] Web- og emailadresser omdannes automatisk til links. Der sættes "nofollow" på alle links.

Loading billede Opret Preview
Kategori
IT-kurser om Microsoft 365, sikkerhed, personlig vækst, udvikling, digital markedsføring, grafisk design, SAP og forretningsanalyse.

Log ind eller opret profil

Hov!

For at kunne deltage på Computerworld Eksperten skal du være logget ind.

Det er heldigvis nemt at oprette en bruger: Det tager to minutter og du kan vælge at bruge enten e-mail, Facebook eller Google som login.

Du kan også logge ind via nedenstående tjenester