"bygning" af søgemaskine

Når du ikke har fundet svaret, er det fordi det ikke er helt let ;-)

Og det er uanset om du vil crawle hele Nettet og stille mange tusinder servere op eller blot en fornuftig søgning til egen hjemmeside.

Jeg går ud fra at det er sidste situation, der er den aktuelle....

Og Så ville jeg nappe en af de gratis og placere den på hjemmesiden - fremfor at kode selv.

Men vil du absolut kode en til hjemmesiden, så skal du søge i alt tekst og rangordne efter relevans... Det skal du nok få søndagen til at gå med ;-)

Alene det at hive links ud (og konvertere relative URL'er til absolute ditto), håndtere redirects, respektere robots.txt er ikke trivielle opgaver.

Jeg hører nok til de besværlige. ønsket er ikke at crawle hele nettet, jeg vil bare gerne lære det og gerne vide hvordan, man er vel lidt nysgerrig....

skal jeg forstå det sådan, at alt det google gør, det kan jeg også gøre herhjemmefra, ganske vidst ikke i samme størrelse men alligevel?

Jeg har lært at det altid er en god idé at have en plan.

(1) Det første jeg vel skal vide må være hvor jeg får en overblik over hvilke sider der er på nettet.

(2) hvordan søger jeg i disse informationer

(3) hvilket værktøj (software) skal jeg bruge for at foretage søgningen i (1) og (2).

jeg kører forresten linux - hurra.... alt magt til brugeren.... :)

(0) Det første du skal bestemme dig for, er, hvilket sprog du vil benytte ( / kan?).

snakker vi om c++ pascal eller asp/php?

Ja, det skal jeg jo ikke svare dig på :) Jeg aner ikke hvad du kan.

Næ...det gør du vel ikke, men skal det forståes således at jeg både kan bruge c++ og php mv..

Kan jeg godt gøre det i php? sådan en manual har jeg da lige tilfældigvis liggende..

<ole>

Det at crawle nettet er _langt_ det mindste problem ved en søgemaskine. At lave søgealgoritmer, cache relevante data, osv - dét er opgaven - og det var dét, der var milliarder værd for 'Google-drengene'  ;o)

Jeg er stødt nd i ikke så få crawlers/spiders 'derude' - prøv at søge på Google (nu, da du ikke har din egen søgemaskine)  ;D

Det er helt sikkert, at kompileret kode vil være langt mere effektivt (= C++)

/mvh
</bole>

Du skal have:
- noget kode der kan hente en URL
- noget kode der kan parse HTML
- noget kode der kan gemme link og tilhørende information
- noget kode der kan søge i den gemte information

Hvis du vil kigge nærmere på den slags kode vil jeg foreslå Apache projekterne Lucene, Nutch og Solr. Du kan hente koden og studere den.

Ifølge rygter bruger Google iøvrigt Python til deres crawler.

MANGE TAK FOR OPLYSNINGEN, JEG VIL UNDERSØGE DE NÆVNTE PROJEKTER MM LIDT NÆRMERE.

VIKAREN.

http://bauerdata.bauerhost.dk/python-program-eksempler/pyspider