CIO Tech Eksperten IT-JOB IT-Kurser Events Podcast Søg

Log ind eller opret profil

Du kan også logge ind via nedenstående tjenester

bigtime Nybegynder

19. september 2008 - 11:38 Der er 10 kommentarer og
2 løsninger

hvordan laves en Crawler

Hey :D
jeg sidder og overvejer at lave en søgemaskin med en Crawler som selv skal læse siderne osv.

jeg vil lave så den skal kunne inddele siderne i sprog (altså hvad sprog siden er )så man kan søge i det "land" man nu kommer fra.

og det Crawleren skal lede efter er freksimpel "onlinespil" så finder den en side hvor der ikke stå noget om onlinespil så skal den ikke sætte siden i databasen.

men kort sagt så aner jeg intet om Crawler

håber i forstå ellers spørg i bare.

Synes godt om

drbean Nybegynder

19. september 2008 - 11:56 #1

Jeg ville nok ikke vælge at lave en crawler i PHP. Det er et større arbejde, og til det brug vil jeg nok vælge et større sprog, som Java eller C#.

Men det er et større arbejde, og ikke noget man lige sætter sig ned og laver.

Synes godt om

bigtime Nybegynder

19. september 2008 - 11:57 #2

naa ved godt det er et støre arb. :D men jeg har massere af tid ;-D
men jeg vil nu have det i php

Synes godt om

coderdk Praktikant

19. september 2008 - 12:16 #3

Du kan bruge file_get_contents og preg_match_all til at hente sider og søge efter links ;P Det kræver planlægning og en god strategi ;)

Synes godt om

jakobdo Ekspert

19. september 2008 - 12:40 #4

PHP er et glimrende script-sprog til at lave en crawler i.
Om det kan optimeres ved f.eks. at lave det i C/C++, er helt sikkert.
Du bør også tilføje et tjek, at en side kun kan oprettes 1 gang og ikke søges yderligere, så du ikke ender i et loop. :o)

Synes godt om

j4k0b Nybegynder

19. september 2008 - 13:42 #5

> PHP er et glimrende script-sprog til at lave en crawler i.

har du nogen singe prøvet at lave en i PHP og derefter prøvet at lave det samme i Java, Ruby eller Python? :-)

Synes godt om

jakobdo Ekspert

19. september 2008 - 13:47 #6

Jeg har lavet en crawler i php ja, og den virker ok.
Flaskehalsen viste sig at være mysql-databasen og dns-opslagene.

Men jeg har ikke lavet en i de andre sprog nej.

Synes godt om

bauerdata Nybegynder

20. september 2008 - 00:23 #7

http://www.example-code.com/python/pythonspider.asp

Synes godt om

jakobdo Ekspert

21. september 2008 - 18:01 #8

Sejt python ting. Et lib til at crawle sider. :o)

Synes godt om

bigtime Nybegynder

01. september 2010 - 19:45 #9

fandt ikke helt ud af noget men pyt det er ikke vigtigt pt.
kom med nogen svar så deler vi pointne

Synes godt om

bauerdata Nybegynder

01. september 2010 - 20:51 #10

:O)

Synes godt om

jakobdo Ekspert

02. september 2010 - 08:19 #11

Svar!

Synes godt om

jakobdo Ekspert

03. marts 2011 - 12:51 #12

Takker for point.

Synes godt om

Ny bruger Nybegynder

Din løsning...

Tilladte BB-code-tags: [b]fed[/b] [i]kursiv[/i] [u]understreget[/u] Web- og emailadresser omdannes automatisk til links. Der sættes "nofollow" på alle links.

Følg dette spørgsmål

Opret Preview

Webudvikling kurser

Vi tilbyder markedets bedste kurser inden for webudvikling

Se alle Webudvikling kurser

Flere spørgsmål fra PHP kategorien

Titel	Indlæg	Oprettet	Seneste aktivitet
Hent array key Af nemlig i PHP	3	17/05/202415:22	17/05/202416:30
iCal-feed og import til google kalender driller Af nemlig i PHP	11	09/05/202417:49	10/05/202421:28
Adgang til vandaflæsningsdata Af nemlig i PHP	4	22/04/202422:04	30/04/202421:08
Vælg post rækkefølge Af Mojo_dk i PHP	3	06/04/202418:40	07/04/202412:20
Hjælp til PHP Af Friis77 i PHP	5	11/02/202419:58	12/02/202407:55

Se alle spørgsmål i kategorien Opret spørgsmål

Log ind eller opret profil

Hov!

For at kunne deltage på Computerworld Eksperten skal du være logget ind.

Det er heldigvis nemt at oprette en bruger: Det tager to minutter og du kan vælge at bruge enten e-mail, Facebook eller Google som login.

Du kan også logge ind via nedenstående tjenester

Alle kategorier på Eksperten

Seneste artiklerRSS