Avatar billede elvis1984 Nybegynder
22. april 2013 - 18:50 Der er 7 kommentarer

Hjælp til webcrawler søges

Hej
Som overskriften siger så søger hjælp til webcrawler, da jeg ikke ved om der findes noget software derude der kan klare det for mig eller om det skal kodes fra bunden af

Mine krav er følgende:

At jeg selv indtaster hvilke sider den skal crawle eller ud fra nogen bestemte ord

Registrere navnet på hjemmesiden og derefter tjekke navnet ved hvert besøg sådan at den ikke crawler sider der ikke længere findes eller som er lukkkede.

Det skal være muligt for mig at selv vælge hvad den skal crawle efter på hver enkelt side sådan at den ikke crawler alt muligt og dermed fylder hurtigt op.Ved godt at det bliver til meget manuelt arbejde men det vil gøre tingene nemmere på længere sigt

Selv bestemme hvor tit den skal crawle sådan at informationer er up to date

Det skal også være muligt at med de indsamle informationer at opbygge en database, for at derefter kunne sortere i det og lave statistik mv. Skal jeg ud og investere i en server evt cloud-løsning??

Det vil være både webshops men også almindelig sider der vil blive crawlet

Formålet er i første omgang forundersøgelse til et større projekt

På forhånd mange tak

Mvh. Elvis1984
Avatar billede arne_v Ekspert
23. april 2013 - 00:23 #1
Hvor meget hardware du skal have afhaenger af hvor meget du vil crawle.

Et par hundrede web sider som ikke er store => det kan en PC klare.

Hele WWW => bestil et data center i milliard kroners klassen.
Avatar billede elvis1984 Nybegynder
23. april 2013 - 18:20 #2
Hej Arne

Tak for dit svar

I første omgang ønsker jeg crawle sider jeg finder selv frem til og derefter udvide, så det er nok noget under 100 sider

Skal det kodes fra bunden af eller kender du evt til noget software som vil kunne klare jobbet??
Avatar billede arne_v Ekspert
24. april 2013 - 03:55 #3
Der er masser af software til det.

Jeg har selv brugt Lynx og WGet.

Men ellers kan du programmeres i nogle faa hundrede linier kode.
Avatar billede elvis1984 Nybegynder
29. april 2013 - 16:51 #4
Jeg vil lige tillade mig at bumpe tråden en sidste gang i håbet om at andre kan byde ind her

På forhånd tak
Avatar billede arne_v Ekspert
30. juli 2013 - 05:06 #5
Tid at faa afsluttet her?
Avatar billede elvis1984 Nybegynder
04. august 2013 - 12:27 #6
Hej

Ja der må gerne lukkes for tråden

Har fundet en løsning
Avatar billede benjamindk123 Praktikant
18. december 2017 - 09:34 #7
Hej Arne.

Hvordan kan jeg få kontakt til dig? Jeg har brug for at få udviklet præcist det samme som elvis1984.

mvh
Avatar billede Ny bruger Nybegynder

Din løsning...

Tilladte BB-code-tags: [b]fed[/b] [i]kursiv[/i] [u]understreget[/u] Web- og emailadresser omdannes automatisk til links. Der sættes "nofollow" på alle links.

Loading billede Opret Preview
Kategori
Kurser inden for grundlæggende programmering

Log ind eller opret profil

Hov!

For at kunne deltage på Computerworld Eksperten skal du være logget ind.

Det er heldigvis nemt at oprette en bruger: Det tager to minutter og du kan vælge at bruge enten e-mail, Facebook eller Google som login.

Du kan også logge ind via nedenstående tjenester