Indlæsning af MEGET STOR csv fil til MySQL

Du skal lade være med at bruge ASP.  Brug klientprogrammer, der tilgår databasen direkte, fx http://www.mysqlfront.de/ og der er flere på mysql.com.  Har du ikke direkte adgang til databasen, skal du sørge for at få det - ellers har du bare uendeligt meget bøvl i fremtiden med de datamængder du snakker om her.

Problemet er at jeg skal opsummere bytes pr ip og så vidt jeg ved kan de forskellige databasefronter ikke klare det....derfor programmeringen (Har direkte adgang til MySQL databasen.)

Du skal have noget kode der:
Tæller linierne i csv filen
Henter csv filen i klumper på f. eks. 100.000

Bliver filen importeret til en tom tabel eller bliver data tilføjet ??
Ligger csv filen altid samme sted og har samme navn ??
Gør du manuelt ??
Ligger basen på Internet eller intranet??

Så synes jeg du skal skrive et Visual Basic program ved siden af, der sætter det ind i databasen. Man skal ikke (mis)bruge ASP til den slags.

Du kan sagtens bruge asp, ingen problemer. Det kræver bare lidt kreativ tankegang for at undgå timeouts. Du kunne skære filen over i flere mindre filer. Simpelthen læse hele filen og skrive nye filer med eks. 100.000 linier ned i en mappe ved siden af den originale fil. Herefter kan du kalde et script hver 3. minut der aflæser hvor mange filer du har i mappen, tager den første, smasker det ned i db'en, tæller bytes pr. ip og sletter filen efter sig.

Jeg har lavet en komplet shop-admin som håndterer utroligt mange pakkedata fra PostDanmark i asp - uden problemer. Hvis du skal lave noget i VB så skulle det være en lille applikation hvor du kan tilmelde dine Automated Scripts...

Få IE til at udskrive hver linie, så undgår du en timeout...


eks.


dit loop
adding til database
response.write output
response.flush()
loop

Jeg mener ikke du kan udskrive i HTML'en for at undgå timeout. Timeout'en (enten sat i IIS eller i scriptet) beskriver hvor lang tid serveren må være om at process'e et givent script. Problemet er jo ikke Browser timeout'en...

//Kim
www.mekavi.com

mekawi: Husk venligst, at det ikke er tilladt at skrive din hjemmeside som en del af din signatur :)

http://www.eksperten.dk/regler.phtml - punkt 2.1.6

Snowball / CoAdmin