web crawler

Hvis du kun leverer links udfra soegeord (Google style) saa mener jeg ikke at du skal spoerge om lov.

Hvis du leverer hele content som en del af din side, saa skal du have tilladelse.

En crawler er ikke saa svaer at kode hvis man har solid programmerings erfaring. Man skal lave HTTP GET, HTML parse og styre diverse timeouts og holde styr paa hvad man har crawlet (og respektere robots.txt).

Mne PHP er naeppe det rette sprog for en crawler.

Jeg vil mene, at det ligger i den mere avancerede ende at lave en webcrawler - i hvert fald en webcrawler, der skal kunne bruges til noget ordentligt.

Og der er meget lovmæssigt involveret, da du jo oftest set ikke må tage en sides indhold og fremvise det på din egen side uden direkte tilladelse eller en tydelig kildehenvisning (kildehenvisning er ikke altid nok).

Så det er nok et større projekt, du er på vej ud i.

mange tak for jeres kommentarer, det tekniske skulle jeg nok med engagement og en større insats kunne komme igennem og få et resultat der ville være ok på amatør niveau, men jeg er lidt i tvivl om jeg gider alt bøvlet med tilladelser kildehenvisninger m.m

Jeg ville jo nok selv føle mig trådt lidt over tæerne hvis materiale på min egen side sådan uden videre blev brugt systematisk andre steder, i hvert fald hvis det var commercielt.

Nu tror jeg jeg vil tænke lidt mere over hvad indholdet skulle være og hvad perspektivet ville være inden jeg kaster mig over design og kode.

http://bauerdata.bauerhost.dk/python-program-eksempler/pyspider

Mange tak for indlæg (lidt sent ude) Jeg skal lige som have fordelt point og jeg synes alle indlæg var informerende så læg venlist et svar :-)

Jeg springer over. (:

svar