Avatar billede jdlindstroem Nybegynder
01. juli 2006 - 20:03 Der er 11 kommentarer og
1 løsning

Webcrawler/overvågning af hjemmesider/robot - frisk source søges.

Hej,

Jeg leder efter et eller flere links til webcrawlere og robotter skrevet i java. Jeg har mest fundet links selv til source fra 90'erne og der er jo sket en del siden da, så jeg vil helst bede om links til source som er helt opdateret.

Med andre ord så mangler jeg noget source til et program som kan gå ind og overvåge et eller flere websites.

Hvis der sker noget vigtigt på en hjemmeside der overvåges så skal programmet kunne gå ind og 'trykke' eller 'indtaste' oplysninger, som om den var en person. f.eks. kan robotten overvåge aktiekurser på forskellige websites og så gå ind og købe og sælge.

Hvis der er nogen som kender noget source til en robot som kan gå ind og interagere på hjemmesider skrevet i javascript så ville det være helt super.

Jeg regner bestemt ikke med få noget fixt og færdigt, men blot links hvor jeg kan genbruge skelettet og så selv tilpasse programmet til de specifikke websites der skal overvåges.
Avatar billede bufferzone Praktikant
01. juli 2006 - 20:11 #1
jeg ved at webmasterworld.com har et forum dedikeret allene til udvikling af egne botter, måske der
Avatar billede arne_v Ekspert
01. juli 2006 - 23:06 #2
Det tekniske i en web crawler har ikke ændret sig meget siden 90'erne.

(Http)URLConnection til at hente med og så noget link parsning af HTML'en. Multithreaded
for god performance.

Hvis du vil en og submitte nogle ganske bestemte forms etc. så kan jeg anbefale
dig at bruge http://jakarta.apache.org/commons/httpclient/.

Hvis du vil kombinere en crawler med noget form submit, så vil du vist være
på bleeding edge indenfor AI.
Avatar billede jdlindstroem Nybegynder
01. juli 2006 - 23:16 #3
tak, skal tjekke den ud. Du har ret i at det tekniske ikke har ændret sig så meget, men jeg mangler noget source som kan compileres i java v.1.5.
Avatar billede arne_v Ekspert
01. juli 2006 - 23:53 #4
90'er kode bør også compile med Java 1.5
Avatar billede jdlindstroem Nybegynder
02. juli 2006 - 00:28 #5
Det har du sikkert ret i. Jeg har fundet noget der minder om svaret på mine bønner: http://www.matuschek.net/software/jobo/index.html. Det er lige sådan noget, jeg skal bruge selv om jeg ikke kan få det til at fungere nu.. Nye svar er stadig velkomne..
Avatar billede arne_v Ekspert
02. juli 2006 - 01:05 #6
hvordan fungerer den ikke ? får du en fejl eller ? hvis fejl så hvilken ?
Avatar billede jdlindstroem Nybegynder
02. juli 2006 - 02:26 #7
Okay, jeg tror endelig jeg fandt svaret her selv.. En masse links til webcrawlers i java source.. http://java-source.net/open-source/crawlers.. Feeedt.. Arne får lige pointene som tak for hans interesse på så sent tidspunkt. Tak for det Arne :) Du er mere end velkommen til at hjælpe mig, når jeg har valgt en webcrawler og skal prøve at compile den..
Avatar billede arne_v Ekspert
02. juli 2006 - 03:13 #8
no problem
Avatar billede james_t_dk Juniormester
02. juli 2006 - 09:07 #9
Se lige hvad jeg har skrevet til her: http://www.eksperten.dk/spm/718590
Avatar billede jdlindstroem Nybegynder
01. november 2006 - 14:26 #10
tak
Avatar billede jdlindstroem Nybegynder
01. november 2006 - 14:27 #11
tak
Avatar billede arne_v Ekspert
01. november 2006 - 15:38 #12
der er ikke lukket endnu

du skal markere mit navn ude i combo boxen saa det bliver blaat og saa klikke
accepter
Avatar billede Ny bruger Nybegynder

Din løsning...

Tilladte BB-code-tags: [b]fed[/b] [i]kursiv[/i] [u]understreget[/u] Web- og emailadresser omdannes automatisk til links. Der sættes "nofollow" på alle links.

Loading billede Opret Preview
Kategori
Kurser inden for grundlæggende programmering

Log ind eller opret profil

Hov!

For at kunne deltage på Computerworld Eksperten skal du være logget ind.

Det er heldigvis nemt at oprette en bruger: Det tager to minutter og du kan vælge at bruge enten e-mail, Facebook eller Google som login.

Du kan også logge ind via nedenstående tjenester