Hjælp til webcrawler søges
HejSom overskriften siger så søger hjælp til webcrawler, da jeg ikke ved om der findes noget software derude der kan klare det for mig eller om det skal kodes fra bunden af
Mine krav er følgende:
At jeg selv indtaster hvilke sider den skal crawle eller ud fra nogen bestemte ord
Registrere navnet på hjemmesiden og derefter tjekke navnet ved hvert besøg sådan at den ikke crawler sider der ikke længere findes eller som er lukkkede.
Det skal være muligt for mig at selv vælge hvad den skal crawle efter på hver enkelt side sådan at den ikke crawler alt muligt og dermed fylder hurtigt op.Ved godt at det bliver til meget manuelt arbejde men det vil gøre tingene nemmere på længere sigt
Selv bestemme hvor tit den skal crawle sådan at informationer er up to date
Det skal også være muligt at med de indsamle informationer at opbygge en database, for at derefter kunne sortere i det og lave statistik mv. Skal jeg ud og investere i en server evt cloud-løsning??
Det vil være både webshops men også almindelig sider der vil blive crawlet
Formålet er i første omgang forundersøgelse til et større projekt
På forhånd mange tak
Mvh. Elvis1984