Webcrawler hvordan?

Jeg har lavet noget lignende hvilket ser er baseret sådan her:

Start og stop knapper der kalder respektive metoder på en backgroundworker.

Backgroundworker henter det link der er ældst og sender en download igang.

Backgroundworker sætter så en WebClient igang med at download filerne asynkront.

Kort:

BackgroundWorker
WebClient

WebClient:

WebClient.DownloadDataAsync eller WebClient.DownloadFileAsync

WebClient.DownloadFileCompleted eller WebClient.DownloadDataCompleted


http://msdn.microsoft.com/en-us/library/tt0f69eh(v=VS.80).aspx
http://msdn.microsoft.com/en-us/library/cc221403(v=vs.95).aspx

Hvordan gemmer du de fundet links i en db eller ...

Personligt har jeg en ConcurrentQueue<DownloadObject> til filerne der skal downloades, når de så er downloadet bliver de tilføjet til DB.

Så vil der kun skulle udføres select og insert statements på DB.

Hvis køen forventes at blive stor kan det dog godt blive et hukommelsesproblem.

En queue til URL der venter og et dictionary til URL som er fundet virker logisk.

Hvis performance ikke skal vaere elendig, saa skal der bruges traade.

Der er mange maader at koere traade og haandtere synkroniseringen til de delte data strukturer paa.

Jeg har nu fået den til at bruge queue nu men jeg kan ikke gennemskue hvordan jeg får den til at bruge multi thread / backgroundworker min kode er her under ... er der en af jeg der kan vise mig hvordan jeg får det til at bruge multi threadig så jeg kan få oprimeret crawl processen. :)

public Queue<string> queue = new Queue<string>();
    public HashSet<string> allSiteUrls = new HashSet<string>();
 

    public void RunCrawl_Click(object sender, EventArgs e)
    {
        string SendUrl = Url.Value;

        if (SendUrl.IndexOf("http://") != 0)
        {
            if (SendUrl.IndexOf("https://") == -1)
            {
                SendUrl = "http://" + SendUrl;
            }

        }

        queue.Enqueue(SendUrl);
        allSiteUrls.Add(SendUrl);

            while (queue.Count > 0)
            {
                SendUrl = queue.Dequeue();
                TheCrawl(SendUrl,0);
            }
    }
   
   



    public void TheCrawl(string Url, int Id) {
       
        HTMLCall HTMLCall = new HTMLCall();
       
               
        if (!string.IsNullOrEmpty(Url)){
             
            if (Url.IndexOf("http://") != 0)
            {
                if (Url.IndexOf("https://") == -1)
                {
                    Url = "http://" + Url;
                }

            }
            AddCrawlUrl(Url, 1, "Internal"); 
            HtmlWeb hw = new HtmlWeb();
            System.Text.Encoding uft8 = System.Text.Encoding.UTF8;
            HtmlDocument doc = hw.Load(Url);
            hw.AutoDetectEncoding = true;
           
            var ANodes = doc.DocumentNode.SelectNodes("//a[@href]");
                if (ANodes != null)
                    {
                        foreach (HtmlNode Links in ANodes)
                        {

                            HtmlAttribute href = Links.Attributes["href"];
                            HtmlAttribute title = Links.Attributes["title"];
                            HtmlAttribute rel = Links.Attributes["rel"];
                            string aText = Links.InnerText;
                            string tText = "";
                            int HttpsOn = 0;
                            int NoAnchor = 0;
                            int TitleAtt = 0;
                            int Noffolow = 0;
                            int JCall = 0;
                            int AnchorCall = 0;
                            int MailCall = 0;
                            int Internal = 0;
                            int NoLink = 0;
                            string NewUrl = href.Value.ToLower();

                            if (string.IsNullOrEmpty(aText))
                            {
                                NoAnchor = 1;
                            }


                            if (href.Value.IndexOf("https://") != -1)
                            {
                                HttpsOn = 1;
                            }



                            if (title != null)
                            {
                                TitleAtt = 1;
                                tText = title.Value;
                            }



                            if (rel != null)
                            {
                                if (rel.Value == "nofollow")
                                    Noffolow = 1;

                            }

                            if (href.Value.ToLower().IndexOf("javascript") != -1)
                            {
                                JCall = 1;
                            }

                            if (href.Value.ToLower().IndexOf("@") != -1)
                            {
                                MailCall = 1;
                            }

                            if (href.Value.ToLower().IndexOf("#") == 0)
                            {
                                AnchorCall = 1;
                            }

                            if (href.Value.ToLower().IndexOf(".") == -1)
                            {

                                NoLink = 1;

                            }

                            if (href.Value.ToLower().IndexOf("http://") != 0 && href.Value.ToLower().IndexOf("/") == 0)
                            {

                                Internal = 1;
                                NewUrl = "http://" + HTMLCall.ExtractDomainNameFromURL(Url).ToLower() + href.Value.ToLower();

                            }


                            if (href.Value.ToLower().IndexOf(HTMLCall.ExtractDomainNameFromURL(Url)) != -1)
                            {

                                Internal = 1;
                            }

                            string IsInternal = "External";
                            if (Internal == 1)
                            {
                                IsInternal = "Internal";
                            }
                            else if (JCall == 1)
                            {
                                IsInternal = "JavascriptCall";
                            }
                            else if (MailCall == 1)
                            {
                                IsInternal = "Email";
                            }
                            else if (NoLink == 1)
                            {
                                IsInternal = "NoLink";
                            }

                            if (NewUrl.IndexOf("http://") == -1)
                            {
                                if (NewUrl.IndexOf("https://") != -1)
                                {
                                    NewUrl = "http://" + NewUrl;
                                }

                            }


                            if (!allSiteUrls.Contains(NewUrl))
                            {
                                allSiteUrls.Add(NewUrl);

                                if (IsInternal == "Internal")
                                {
                                    queue.Enqueue(NewUrl);
                                }
                                else
                                {
                                    public Queue<string> queue = new Queue<string>();
    public HashSet<string> allSiteUrls = new HashSet<string>();
 

    public void RunCrawl_Click(object sender, EventArgs e)
    {
        string SendUrl = Url.Value;

        if (SendUrl.IndexOf("http://") != 0)
        {
            if (SendUrl.IndexOf("https://") == -1)
            {
                SendUrl = "http://" + SendUrl;
            }

        }

        queue.Enqueue(SendUrl);
        allSiteUrls.Add(SendUrl);

            while (queue.Count > 0)
            {
                SendUrl = queue.Dequeue();
                TheCrawl(SendUrl,0);
            }
    }
   
   



    public void TheCrawl(string Url, int Id) {
       
        HTMLCall HTMLCall = new HTMLCall();
       
               
        if (!string.IsNullOrEmpty(Url)){
             
            if (Url.IndexOf("http://") != 0)
            {
                if (Url.IndexOf("https://") == -1)
                {
                    Url = "http://" + Url;
                }

            }
            AddCrawlUrl(Url, 1, "Internal"); 
            HtmlWeb hw = new HtmlWeb();
            System.Text.Encoding uft8 = System.Text.Encoding.UTF8;
            HtmlDocument doc = hw.Load(Url);
            hw.AutoDetectEncoding = true;
           
            var ANodes = doc.DocumentNode.SelectNodes("//a[@href]");
                if (ANodes != null)
                    {
                        foreach (HtmlNode Links in ANodes)
                        {

                            HtmlAttribute href = Links.Attributes["href"];
                            HtmlAttribute title = Links.Attributes["title"];
                            HtmlAttribute rel = Links.Attributes["rel"];
                            string aText = Links.InnerText;
                            string tText = "";
                            int HttpsOn = 0;
                            int NoAnchor = 0;
                            int TitleAtt = 0;
                            int Noffolow = 0;
                            int JCall = 0;
                            int AnchorCall = 0;
                            int MailCall = 0;
                            int Internal = 0;
                            int NoLink = 0;
                            string NewUrl = href.Value.ToLower();

                            if (string.IsNullOrEmpty(aText))
                            {
                                NoAnchor = 1;
                            }


                            if (href.Value.IndexOf("https://") != -1)
                            {
                                HttpsOn = 1;
                            }



                            if (title != null)
                            {
                                TitleAtt = 1;
                                tText = title.Value;
                            }



                            if (rel != null)
                            {
                                if (rel.Value == "nofollow")
                                    Noffolow = 1;

                            }

                            if (href.Value.ToLower().IndexOf("javascript") != -1)
                            {
                                JCall = 1;
                            }

                            if (href.Value.ToLower().IndexOf("@") != -1)
                            {
                                MailCall = 1;
                            }

                            if (href.Value.ToLower().IndexOf("#") == 0)
                            {
                                AnchorCall = 1;
                            }

                            if (href.Value.ToLower().IndexOf(".") == -1)
                            {

                                NoLink = 1;

                            }

                            if (href.Value.ToLower().IndexOf("http://") != 0 && href.Value.ToLower().IndexOf("/") == 0)
                            {

                                Internal = 1;
                                NewUrl = "http://" + HTMLCall.ExtractDomainNameFromURL(Url).ToLower() + href.Value.ToLower();

                            }


                            if (href.Value.ToLower().IndexOf(HTMLCall.ExtractDomainNameFromURL(Url)) != -1)
                            {

                                Internal = 1;
                            }

                            string IsInternal = "External";
                            if (Internal == 1)
                            {
                                IsInternal = "Internal";
                            }
                            else if (JCall == 1)
                            {
                                IsInternal = "JavascriptCall";
                            }
                            else if (MailCall == 1)
                            {
                                IsInternal = "Email";
                            }
                            else if (NoLink == 1)
                            {
                                IsInternal = "NoLink";
                            }

                            if (NewUrl.IndexOf("http://") == -1)
                            {
                                if (NewUrl.IndexOf("https://") != -1)
                                {
                                    NewUrl = "http://" + NewUrl;
                                }

                            }


                            if (!allSiteUrls.Contains(NewUrl))
                            {
                                allSiteUrls.Add(NewUrl);

                                if (IsInternal == "Internal")
                                {
                                    queue.Enqueue(NewUrl);
                                }
                                else
                                {
                                    AddCrawlUrl(NewUrl, 1, IsInternal);
                                }
                            }


                           

                        }
                    }

               
        }
    }
                                }
                            }


                           

                        }
                    }

               
        }
    }

Jeg har nu fået den til at køre via tråde, men er dette den korrekte måde at sætte disse op (se koden her under). En anden ting jeg vil gerne have at der bliver retuneret nogle dele resultater på siden mens crawleren køre hvordan gør jeg det ?

public void RunCrawl_Click(object sender, EventArgs e)
    {

        Thread thread = new Thread(new ThreadStart(this.Work));
        thread.IsBackground = true;
        thread.Name = "My Worker.";
        thread.Start();


       
    }

    private void Work()
    {
        string SendUrl = Url.Value;

        queue.Enqueue(SendUrl);
        allSiteUrls.Add(SendUrl);

        while (queue.Count > 0)
        {
            SendUrl = queue.Dequeue();
            DebugIt.InnerHtml += "<br>" + SendUrl;
            TheCrawl(SendUrl, 0);
        }
    }

Hvis du vil gøre det nemmest muligt så kig på BackgroundWorker i stedet for bareat lave en ny tråd.

En BackgroundWorker har en ReportProgress method, der gør at du nemt kan rapportere tilbage direkte på UI tråden

Så vidt jeg kan se så kan backgroundworker kun bruges i winforms, og jeg skal have crawleren til at kunne køre fra en asp.net side!

Hmmm,

Så har du allerede et stort problem der. Det er normalt ikke godt at have long running threads kørende i en asp.net application, da den så optager din worker process og ikke kan lave andet. Yderligere så er der normalt timeout på ... og hvad gør klienten så?

Tror du skal have et nyt design hvis du har tænkt dig at lave en crawler som skal køre i flere timer.

mvh

Det er dumt at bruge ASP.NET poolen.

Jeg foreslår at du i stedet for laver et desktop program der ligger på serveren og så stiller en service til rådighed fra ASP.NET der viser status fra desktop programmet.

Eller maaske en windows service.

fik aldrig givet point, smider i lige nogle svar !!

svar fra mig

Svar her