Avatar billede likedon Nybegynder
22. september 2008 - 10:29 Der er 6 kommentarer og
1 løsning

Kan man begrænse hastigheden af google crawler?

Som skrevet kan man begrænse hastigheden på antal sider den åbner i sekundet, det volder nemlig problemer for min webserver at følge med, når google kommer forbi.

ps.
Hvis dette ikke er den rette kategori hvor så?
Avatar billede pidgeot Nybegynder
22. september 2008 - 11:20 #1
Ja, den var straks værre.

Ved at placere en fil ved navn robots.txt i websidens rod, kan du sætte begrænsninger op for diverse crawlers (se http://en.wikipedia.org/wiki/Robots.txt). Alle de gængse crawlere skulle respektere de grundlæggende ting i den (men der er selvfølgelig også "mindre gængse" crawlere der ignorerer den).

Selvom robots.txt ikke er en egentlig standard, så er der alligevel visse "mindre standardiserede ting". Det tæller bl.a. en angivelse der hedder Crawl-delay, der lader dig angive at der skal gå et vist antal sekunder mellem de enklete requests fra en crawler, men jf. http://www.google.com/support/webmasters/bin/answer.py?answer=35239&query=delay&topic=&type= kigger Google ikke på den. Yahoo og MSN gør dog.

Du kan godt bruge robots.txt til helt at bandlyse Google, men det er du vel ikke interesseret i.

Den bedste løsning må vel være at finde ud af hvorfor det volder så store problemer - det kunne tyde på at det måske er din kode der kunne trænge til at blive optimeret.
Avatar billede likedon Nybegynder
22. september 2008 - 13:10 #2
tja, ud fra linket er der jo ikke så meget at gøre, andet end optimere min server.
Problemet er lidt spicy, da det ligner at det er forbindelsen mellem webserveren og databaseserveren der går kold.
Tak for hjælpen og hvis du samler på point, så lig et svar
Avatar billede pidgeot Nybegynder
22. september 2008 - 13:32 #3
I mange tilfælde ligger de største performanceproblemer i SQL-delen - og tit pga. manglende indekses på de kolonner man filtrerer på.

Det er naturligvis svært at være mere specifik, når jeg ikke ved noget om din side eller server, men ofte er der rigtigt meget at hente på den front.
Avatar billede likedon Nybegynder
22. september 2008 - 13:39 #4
Det er rigtig, og vores side loader da også fint hurtigt, under normale forudsætninger, men den kunne nok godt bruge noget bedre gear at kører på:-)
Du må da gerne få det af vide:
www.moviezoo.dk
Avatar billede pidgeot Nybegynder
22. september 2008 - 13:55 #5
Jeg tror da nok jeg har handlet der en gang eller to *G*

Pointen var mere det at man sjældent kan gøre det store hvis man kører på et eller andet færdigstrikket CMS, eks. Joomla - de har ofte gjort en hel del ud af netop indekses m.v. :)
Avatar billede likedon Nybegynder
22. september 2008 - 18:09 #6
nu er det så 100% hjemmebikset.
Men jeg har måske fundet ud af hvorfor: google bot bruger 5gb trafik om dagen. Det er selvfølgelig dejlig, men når den gør det over kort tid, så belaster det altså lidt.
Avatar billede pidgeot Nybegynder
22. september 2008 - 18:30 #7
...det kan der være noget om, ja :)
Avatar billede Ny bruger Nybegynder

Din løsning...

Tilladte BB-code-tags: [b]fed[/b] [i]kursiv[/i] [u]understreget[/u] Web- og emailadresser omdannes automatisk til links. Der sættes "nofollow" på alle links.

Loading billede Opret Preview
Kategori
Uanset kodesprog, så giver vi dig mulighederne for at udvikle det, du behøver.

Log ind eller opret profil

Hov!

For at kunne deltage på Computerworld Eksperten skal du være logget ind.

Det er heldigvis nemt at oprette en bruger: Det tager to minutter og du kan vælge at bruge enten e-mail, Facebook eller Google som login.

Du kan også logge ind via nedenstående tjenester