Avatar billede entropy Nybegynder
12. februar 2003 - 15:34 Der er 4 kommentarer

PostgreSQL data import

Hejsa,

jeg har et mindre prolbme som jeg haaber et par stykker kan hjaelpe mig med.

Jeg har lige importeret ca. 300.000 rekorder ved hjaelp af PGAdmin.

Alt gik nogenlunde godt udover at det tog mig ca. 10 timer at importerer de her 300.000 rekorder.

Det fik mig til at taenke paa om data import er PostgreSQL's arbejdshest ? Kan det virkelig passe at jeg kun kan importerer 30.000 rekorder i timen ?

Foerste tanke er at serveren som holder PostgreSQL er for langsom (P3 800mhz, 512mb ram, RH7.1 og PostgreSQL 7.0) men det lader ikke til at database serveren var problemet, eller var det ?

Saa, er der nogen her som ved en bedre maade at importerer data paa til PostgreSQL ?

Eller er det blot noget jeg skal leve med ?

Paa forhaand tak!
Avatar billede nutten Nybegynder
03. marts 2003 - 18:09 #1
Du kan vel bruge COPY kommandoen????
Ved ikke hvad du har brugt gennem PGAdmin?
Avatar billede innerjoin Nybegynder
25. marts 2003 - 22:04 #2
Hej

Når du importerer så mange rækker ad gangen, så bør du DROP'e eventuelle index'er på tabellen inden din import. Efter din import er kørt skal du så re-create dine index'er og lave en ANALYZE <tablename>
Avatar billede varst Praktikant
30. maj 2003 - 11:32 #3
Hej

Du fortæller ikke hvor store dine records er. Hvis de fylder godt op i landskabet, så tager det tid. Min erfaring er at PgAdmin ikke er jordens hurtigst import redskab, men det let at bruge, jeg ved ikke hvorfor men sikkert noget Windows noget og nogle verificationer den synes at den skal lave. Næste gang bør du nok kopiere filen over på din database server og hente den ind derfra. Hvordan har du fået fat i dine records? Er det fra en "gammel" PostgrSQL eller en anden mindrelødig database?
Avatar billede madssj Nybegynder
15. marts 2005 - 14:01 #4
Hvis du skal importere meget data på en gang kan du med stor fordel bruge COPY i stedet for INSERT.

http://www.postgresql.org/docs/7.4/interactive/sql-copy.html
Avatar billede Ny bruger Nybegynder

Din løsning...

Tilladte BB-code-tags: [b]fed[/b] [i]kursiv[/i] [u]understreget[/u] Web- og emailadresser omdannes automatisk til links. Der sættes "nofollow" på alle links.

Loading billede Opret Preview
Kategori
Computerworld tilbyder specialiserede kurser i database-management

Log ind eller opret profil

Hov!

For at kunne deltage på Computerworld Eksperten skal du være logget ind.

Det er heldigvis nemt at oprette en bruger: Det tager to minutter og du kan vælge at bruge enten e-mail, Facebook eller Google som login.

Du kan også logge ind via nedenstående tjenester