Vis records når de bliver fundet

Jeg er lidt nysgerrig efter at høre, i hvilken sammenhæng du har behov for at hente så meget data og hvad årsagen til den noget sløve svartid kan være.

Jeg foregriber givetvis begivenhedernes gang, men er det meget komplekse data du skal læse, siden det tager flere minutter at hente 1000 resultater (jeg antager der er tale om rækker)...?

Er det reelt set nødvendigt, at hente 1000 resultater på én gang, eller kunne der måske implementeres paginering ifm. opslaget i databasen?

Hvad er der gjort for at optimere opslaget? Har du overhovedet mulighed for at optimere på opslaget i databasen?

Det er en database på 800+ millioner records.
Derfor kan det tage tid selvom databasen er trimmet og optimeret med index.

Det skal også siges at der i nogle tilfælde kun vil blive fundet meget få resultater som matcher. Derved vil paginering ikke betyde optimering da den selv med LIMIT 10 vil kunne ske at skulle igennem alle 800+ millioner records.

Fair nok. Det er trods alt en slat data at skulle igennem.

Måske du kunne researche lidt i "forever-frames", som måske kan bruges til at håndtere resultater der "drypper" ind. Jeg fandt bla. denne artikel: http://cometdaily.com/2007/11/05/the-forever-frame-technique/, men du kan nok finde en masse, hvis du søger på "forever frame".

Et eksempel på, hvordan det kan implementeres: http://www.webreference.com/programming/javascript/rg30/index.html

Jeg har dog en fornemmelse af, at man i ASP skal være lidt forsigtig med forever frames. Jeg vil mene, at hver forbindelse låser en tråd i puljen, sålænge forbindelsen er aktiv, men det er blot en fornemmelse jeg har, ikke noget jeg lige har testet på.

Ifm. .NET 4.5 vil jeg derimod ikke mene det er et problem, hvis man f.eks. anvender async/await. Her har man dog SignalR, som kan netop dette...

FOR record=0 to max
  get record
  print record to screen
end

:)

(pseudokode)

ved ikke hvad du koder, men de kan smides ind i en liste som har realtime opdate. (windows c++ visual studio)

Jeg koder i ASP.
Vil denne kode kunne laves til dette?

her vises alle stykker musik i en database, som soundcloud, det er fra noget jeg lavede engang.
----

        <%
        objRS.Open strMnews, objConn


<!--her vises nyhederne fra musicnews tabellen i databasen>

        While NOT objRS.EOF
          Response.Write "* " & objRS("dato") & "<BR>"
          Response.Write "<a href='http://" & objRS("link") & "'>" & "http://" & objRS("link") & "</a><BR>"
          Response.Write objRS("tekst") & "<BR><BR>"
          objRS.MoveNext
        Wend

        objRS.Close
        objConn.Close
        Set objRS = Nothing
        Set objConn = Nothing
        %>


objRS.MoveNext svarer til et FOR loop der læser en af gangen, og så går videre.

strMnews, er posten med musiknavn

hmmm du skal jo se starten for først definerer man det recordset som skal hentes:

Dim objConn, objRS, strQ
Dim strConnection

Set objConn = Server.CreateObject("ADODB.Connection")
strConnection = "Data Source=musicweb;User=sa;Password=;"
objConn.Open strConnection

Set objRS = Server.CreateObject("ADODB.Recordset")
Set objRS.ActiveConnection = objConn

strQ = "SELECT musicfiles.date, musicfiles.filename, musicfiles.musicname, artists.name, artists.email FROM musicfiles, artists WHERE musicfiles.artistid = artists.artistid ORDER BY musicfiles.date DESC"
strMnews = "SELECT musicnews.dato, musicnews.link, musicnews.tekst FROM musicnews ORDER BY musicnews.dato DESC"
%>

-

der er løsningen: recordset er defineret, strMnews = sqlsætning.
og så når den læser udfører den bare den sætning.

objRS.MoveNext = object RECORD SET (den pakke af poster som læses)
+efter læsning sættes filpointer 1 recordset frem :)

Jeg har problemer med at få den til at virke.
Pt. kører den dem alle igennem før den udskriver.
Kan du se hvad jeg gør galt.

<%

Dim objConn, objRS, strQ
Dim strConnection

Set objConn = server.createobject("ADODB.Connection")
objConn.Open "DRIVER={MySQL ODBC 3.51 Driver};" & _
                "SERVER=*;" & _
                "DATABASE=*;" & _
                "USER=*;" & _
                "PASSWORD=*;"


Set objRS = Server.CreateObject("ADODB.Recordset")
Set objRS.ActiveConnection = objConn

strQ = "SELECT * FROM keywords WHERE keyword like '%adwords%' limit 100000"

Set objRS = objConn.Execute(strQ)

While NOT objRS.EOF
        Response.Write "* " & objRS("keyword") & "<BR>"
        objRS.MoveNext
Wend

objRS.Close
objConn.Close
Set objRS = Nothing
Set objConn = Nothing
       

%>

ahhh ja..

gem alle resultaterne i en buffer (array),
og skriv dem ud efter while er gennemført
så kan du skrive en af gangen med tastetryk eller andet, eller man bladrer med mus.. (ved ikke hvad du laver jo )

while graver jo dem allesammen op, og hvis du roder rundt med key/index i sql sætningen skal den laves om pr læsning.. :(

så når du har det hele i en buffer, så kan du gøre hvad du vil.

Men så får jeg vel ingen fordel?
Pointen er at hvis det eksempelvis tager 5 minutter at gå hele databasen igennem. Så skal den stadig begynde at vise fundne resultater så snart de er fundet.

fordi:

read post
writeout
loop

det svarer til bare at skrive det hele ud på en gang...

1) buffer er klar
så lav:

FORUDSÆTNING = vi siger lige at der er 100 i bufferen!

index=1          ;start position

WHILE (index<=101) AND (index>1) do
if rightarrow=true            ;gå frem med piltast
writeout buffer[index]
index=index+1
;ellers ingenting, ikke nogen ELSE her

if leftarrow=true  ;gå tilbage
  index=index-1
  writeout buffer[index]
end WHILE

så sku du ku bladre med piltaster, og den hopper ud af while når index bliver 0 eller 101

?

Jeg troede faktisk ikke det var et problem at læse data, men blot at finde en metode til at sende resultater til klienten, inden det hele er læst fra databasen.

Umiddelbart kan du kalde Response.Flush for at sende det der ligger i bufferen til klienten, men det ændrer nok ikke på, at du også på klienten skal bruge en teknik til at aflæse det sendte (hvilket var det jeg foreslog med forever frames). Det er altså umiddelbart en kombo af Response.Flush og forever frames du er på jagt efter (hvis jeg da ikke har misforstået dit spørgsmål)...

Response.Buffer = True



Set objRS = objConn.Execute(strQ)

While NOT objRS.EOF
        Response.Write "* " & objRS("keyword") & "<BR>"
        Response.Flush
        objRS.MoveNext
Wend

objRS.Close