Web crawler + multi threading

benyt dig af en ThreadPool.
det virker som fin nok til det du ønsker.

Google den og se hvad det er:)

Du smider URL's i en queue. Husk at synkronisere adgang til queue. Dine threads
kører i en løkke hvor de henter fra queue, henter URL, processer den, smider nye
URL's i queue og smider den processede URL i et HashSet over URL's som ikke skal
processes igen.

Man kan selv starte et antal tråde eller man kan bruge ThreadPool - det kritiske
er synkroniseringen af adgangen til fata strukturer som bruges af flere tråde og
begrænsninger på hvilke URL's der skal processes (de skal ikke processes
hvsi de allerede er det og de skal formentlig heller ikke processes hvis
de peger på en anden site).

Jeg kunne godt tænke mig at præsentere working threads grafisk, i et listview f.eks., med info omkring hvilken url der bliver arbejdet på - det kan jeg vel ikke umiddelbart gøre, hvis jeg benytter threadpool?

Hvis jeg manuelt vil starte 10 tråde og lade dem køre i en løkke, for at tjekke efter url's i min såkaldte url-queue, hvordan bør det klares i praksis (simpelt eksempel ønskes)? Noget med et for-løkke, som lopper 10 gange, starter en thread med en, lad os kalde den ThreadProc-metode, som indeholder noget i stil med:
while (true) {
  // tjek om der er url's i min url-queue, hent url og processer
}

Tror jeg? :-)

Mht. synkroniseringen af adgangen til min data - lad os sige jeg har den der queue med url's som skal processeres og en queue med url's som er blevet processeret. Der kan jeg vel godt komme i en situation hvor en url bliver processeret 2 gange - f.eks. ved at Thread1 henter url fra første queue og processerer den, men i mellemtiden har en anden thread puttet selvsamme url i url-queue og den bliver så hentet ud til processering, inden den første thread når at registrere url'en som færdig?

Du kan godt benytte en ThreadPool.
f.eks er det vel blot dette du ønsker.

public Program() {
            WaitCallback thread = new WaitCallback(CrawlUrl);
            ThreadPool.QueueUserWorkItem(thread, "http://www.google.dk"));
        }
        public void CrawlUrl(object _url) {
            string url = _url as string;
            //Skriv til dit listview, skal laves korrekt så det er main tråden der opdatere den.
            //din crawler logik her
            //fjern fra listview
        }

med hensyn til din kø så kan du måske benytte en "lock" mekanisme på den og hvis ikke kan du bruge Monitor.Enter - Monitor.Exit

Noget a la:

            bool done = false;
            do
            {
                CrawlTask ct = null;
                lock(q)
                {
                    if(q.Count > 0) {
                        ct = q.Dequeue();
                    }
                }
                if(ct != null)
                {
                    // process ct
                }
                else
                {
                    done = true;
                }
            }
            while(!done);

tak for det, nu har jeg fået lavet "the basics" og det virker bare - smid i endeligt et svar

=)

.