Kan man begrænse hastigheden af google crawler?

Ja, den var straks værre.

Ved at placere en fil ved navn robots.txt i websidens rod, kan du sætte begrænsninger op for diverse crawlers (se http://en.wikipedia.org/wiki/Robots.txt). Alle de gængse crawlere skulle respektere de grundlæggende ting i den (men der er selvfølgelig også "mindre gængse" crawlere der ignorerer den).

Selvom robots.txt ikke er en egentlig standard, så er der alligevel visse "mindre standardiserede ting". Det tæller bl.a. en angivelse der hedder Crawl-delay, der lader dig angive at der skal gå et vist antal sekunder mellem de enklete requests fra en crawler, men jf. http://www.google.com/support/webmasters/bin/answer.py?answer=35239&query=delay&topic=&type= kigger Google ikke på den. Yahoo og MSN gør dog.

Du kan godt bruge robots.txt til helt at bandlyse Google, men det er du vel ikke interesseret i.

Den bedste løsning må vel være at finde ud af hvorfor det volder så store problemer - det kunne tyde på at det måske er din kode der kunne trænge til at blive optimeret.

tja, ud fra linket er der jo ikke så meget at gøre, andet end optimere min server.
Problemet er lidt spicy, da det ligner at det er forbindelsen mellem webserveren og databaseserveren der går kold.
Tak for hjælpen og hvis du samler på point, så lig et svar

I mange tilfælde ligger de største performanceproblemer i SQL-delen - og tit pga. manglende indekses på de kolonner man filtrerer på.

Det er naturligvis svært at være mere specifik, når jeg ikke ved noget om din side eller server, men ofte er der rigtigt meget at hente på den front.

Det er rigtig, og vores side loader da også fint hurtigt, under normale forudsætninger, men den kunne nok godt bruge noget bedre gear at kører på:-)
Du må da gerne få det af vide:
www.moviezoo.dk

Jeg tror da nok jeg har handlet der en gang eller to *G*

Pointen var mere det at man sjældent kan gøre det store hvis man kører på et eller andet færdigstrikket CMS, eks. Joomla - de har ofte gjort en hel del ud af netop indekses m.v. :)

nu er det så 100% hjemmebikset.
Men jeg har måske fundet ud af hvorfor: google bot bruger 5gb trafik om dagen. Det er selvfølgelig dejlig, men når den gør det over kort tid, så belaster det altså lidt.

...det kan der være noget om, ja :)