httprequest / response

Siger du at http://tvtid.tv2.dk/allekanaler/ ikke er HTML?

og til at parse html ville jeg bruge: http://htmlagilitypack.codeplex.com/Wikipage

´det html jeg får tilbage på den side viser ikke noget om hvad der kommer i tv kl 2000... det er det jeg gerne vil finde frem til. ved ikke om programoversigten er javascript eller flash (eller noget tredie)

Ahhh, well ... de henter et JSON result:
http://tvtid.tv2.dk/allekanaler/get.php/day-1270886400.html

den sidste del af en timestamp ...

hov hvor fandt du det henne? :-)

FF og Firebug ... :-)

Så kan du se hvad din browser laver og henter :-)

Og svar ...

hvad skal jeg kigge/crawle efter hvis jeg skal trække info ud af sådan en side med javascript/´flash

Kig efter data ... kig på de kald der bliver lavet ... fra den webside.

Der bliver jo både hentet css, gif, jpg, js files ...

dette var så en html fil ...

mvh

Hvis du nu kigger på html koden for
http://tvtid.tv2.dk/allekanaler

kan du så se hvorhenne jeg kan få dit JSON resultat tilbage?

Tror ik' jeg er med ...

Det er ik' mit JSON resultat ... det er tv2's.

Tror du bliver nød til at skræve sidste del ud i pap for mig ... linket har du jo fået ... hvad mere skal du bruge ?

mvh

jeg skal lave et program som finder frem til JSON resultatet automatisk... og så parse det igennem for dagens program på tv2..

dvs først går jeg ind p¨å tv2.dk, herefter på http://tvtid.tv2.dk/allekanaler og her gik jeg så i stå.... indtil du fandt frem til http://tvtid.tv2.dk/allekanaler/get.php/day-1270886400.html
men her brugte du Firebug... men jeg skal finde frem til det automatisk ved at følge eventuelle links og andet

Det mærkelige lange tal er en timestamp:
http://www.onlineconversion.com/unix_time.htm

Det giver 10 April 2010.

Skrev også: Skrevet lør. d. 10. april 2010 kl. 21:45:02

At den sidste del var en timestamp ... men hvis man ikke kommer fra php/linux/unix ... så ved man det ikke altid hvad det er :-)

Men jeg er ikke sikker på det er lovligt at tage deres datafeed. Så du skal nok kun bruge det i private apps.

mvh

äaahh tror du ikk det er lovligt? er det ikk kun hvis man skal ceawle ned på serveren at det er ulovligt?

Nej, men du kan sikkert betale dig fra det.

De tjener jo ingen penge på at du stjæler deres datafeed :-)

Hvis du skal bruge det i noget public tilgængeligt, så ville jeg nok maile dem og høre om du må ...

mvh

Det vigtigste er nok at få afklaret rettighederne.

Og dine rettigheder afhænger nok en del af om du er ved at skrive en web browser eller en web side der viser TV programmer !!

Men grunden til at jeg bryder ind i en allerede overstået tråd er for at være lidt mere konkret med hensyn til koden.

Til inspiration:

using System;
using System.Collections.Generic;
using System.Net;
using System.Web.Script.Serialization;

namespace E
{
    public class Program
    {
        public int id { get; set; }
        public int pid { get; set; }
        public string end { get; set; }
        public string start { get; set; }
        public int overlap { get; set; }
        public string cat { get; set; }
        public string title { get; set; }
        public string description { get; set; }
    }
    public class DayProgram
    {
        public int id { get; set; }
        public string sort { get; set; }
        public string logo { get; set; }
        public string name { get; set; }
        public string group { get; set; }
        public Program[] programs { get; set; }
    }
    public class Test
    {
        private static long k = (new DateTime(1970, 1, 1, 0, 0, 0) + TimeZone.CurrentTimeZone.GetUtcOffset(DateTime.Now)).Ticks;
        public static int N2U(DateTime dt)
        {
            return (int)((dt.Ticks - k) / 10000000);
        }
        public static DayProgram[] GetPrograms(DateTime dt)
        {
            DateTime dt2 = dt-TimeZone.CurrentTimeZone.GetUtcOffset(dt);
            WebClient wc = new WebClient();
            string html = wc.DownloadString("http://tvtid.tv2.dk/allekanaler/get.php/day-" + N2U(dt2) + ".html");
            JavaScriptSerializer jss = new JavaScriptSerializer();
            return jss.Deserialize<DayProgram[]>(html);
        }
        public static void Main(string[] args)
        {
            foreach(DayProgram dp in GetPrograms(new DateTime(2010, 4, 10)))
            {
                Console.WriteLine("****" + dp.name + "****");
                foreach(Program p in dp.programs)
                {
                    Console.WriteLine(p.title + " : " + p.start + "-" + p.end);
                }
            }
            Console.ReadKey();
        }
    }
}

wooooo Arne det ser spændende ud det kode der.. det vil jeg lige kigge på...

Kunne man ikke også bruge denne kode? :)

private void WipAwayCrawler()
    {
        // Create a request for the URL.
        WebRequest request = WebRequest.Create(
          "http://www.wipaway.dk/default.aspx?User=user&Restnr=1341");
        // If required by the server, set the credentials.
        request.Credentials = CredentialCache.DefaultCredentials;
        //UserAgent.
        ((HttpWebRequest)request).UserAgent = "We keeps crawling y'all muhaha!";
        // Get the response.
        WebResponse response = request.GetResponse();
        // Display the status.
        Console.WriteLine("Sidens response: " + ((HttpWebResponse)response).StatusDescription);
        // Get the stream containing content returned by the server.
        Stream dataStream = response.GetResponseStream();
        // Open the stream using a StreamReader for easy access.
        StreamReader reader = new StreamReader(dataStream);
        // Read the content.
        string responseFromServer = reader.ReadToEnd();
        // Display the content.
        Response.Write(responseFromServer.Substring(0, responseFromServer.LastIndexOf(' ', 260)));
        // Clean up the streams and the response.
        reader.Close();
        response.Close();
    }

Brugte jeg til at crawle vores menu i kantinen :D

(Http)WebRequest kan sagtens bruges i.s.f. WebClient.

WebClient er bare lidt nemmere.

Fordelen ved (Http)WebRequest er at man kan styre en masse ting.