Avatar billede lako Nybegynder
05. februar 2005 - 10:13 Der er 6 kommentarer

webservice der angiver om en besøgende er en robot

Hej

Er der nogen der har kendskab til om der findes en webservice, der, på basis af IP og/eller userAgent-værdi, kan bestemme om en besøgende er robot eller almindelig browser. Det skal bruges til at filtrere statistik for at give et mere reelt tal for antal besøgende.

Jeg ved at man i .Net har mulighed for at bruge request.browser.crawler men denne funktion returnerer false til nedenstående userAgent værdier:

Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

ia_archiver

Mozilla/4.0 (compatible; grub-client-2.3)

MSNPTC/1.0

msnbot/1.0 (+http://search.msn.com/msnbot.htm)

Yahoo-MMCrawler/3.x (mms dash mmcrawler dash support at yahoo dash inc dot com)

Jeg er ikke 100% sikker, men jeg mener, at disse er crawlere, hvilket .Net åbenbart er uenig i. 

mvh
Lars Kohsel
Avatar billede arne_v Ekspert
05. februar 2005 - 10:23 #1
Der er ingen web crawlere som kalder web services.

Mener du bare web side eller web applikation ?
Avatar billede arne_v Ekspert
05. februar 2005 - 10:25 #2
Og vil du lade dine ASP.NET sider vise noget forskellig som svar på en request
afhængig af om det er en crawler eller ej ?

Eller er du igang med at skrive din egen log analyzer som bagefter skal detecte
om det er en crawler eller ej ?
Avatar billede burningice Nybegynder
05. februar 2005 - 17:18 #3
arne>> mon han ikke tænker på en service nogle stiller til rådighed hvorved man kan sende en agent-streng afsted og få true eller false tilbage alt efter om det er en crawler eller ej.

Hmm, det kunne være man selv skulle stille sådan en service til rådighed. Det er vel bare at holde en definitionsfil løbende opdateret :)
Avatar billede arne_v Ekspert
05. februar 2005 - 18:04 #4
Ahh - det er jo nok sådan
Avatar billede lako Nybegynder
07. februar 2005 - 10:44 #5
cyberfessor.. Det er fuldstændig rigtigt forstået. Jeg synes egentlig at jeg havde forklaret mig selv klart nok...

Jeg er godt klar over at selve teknologien i en sådan service ikke er "rocket science", men der er jo en del data, der skal vedligeholdes for at den er noget værd.

Derfor ville det være fint, hvis der allerede var nogen der drev en sådan webservice.

mvh
Lars Kohsel
Avatar billede burningice Nybegynder
14. februar 2005 - 23:40 #6
ikke hvad jeg kende af
Avatar billede Ny bruger Nybegynder

Din løsning...

Tilladte BB-code-tags: [b]fed[/b] [i]kursiv[/i] [u]understreget[/u] Web- og emailadresser omdannes automatisk til links. Der sættes "nofollow" på alle links.

Loading billede Opret Preview
Kategori
Kurser inden for grundlæggende programmering

Log ind eller opret profil

Hov!

For at kunne deltage på Computerworld Eksperten skal du være logget ind.

Det er heldigvis nemt at oprette en bruger: Det tager to minutter og du kan vælge at bruge enten e-mail, Facebook eller Google som login.

Du kan også logge ind via nedenstående tjenester