Langsom overførsel af data

Det er jo ikke megen information du kommer med ... :-(

Så alt er kun gæt ...

Langsom hastighed mellem dine servere?

Det kunne din LOG på den anden server ... da 6 mill rækker fylder lidt(igen, alt efter data, men da du ikke har mere informaton, er det ik' nemt at sige) og den skal jo kunne lave en rollback hvis der går noget galt.

mvh

Vi har kørt en test hvor det databaserne ligger på samme server

Mangler der ikke lidt i den sætning ... ?

mere te tak :)

Vi har kørt en test hvor databaserne ligger på samme server, og her er den også 7 timer om det.

Data vi henter er fra et view hvor vi joiner 2 tabeller.

kører vi select * from view, så får vi svaret på 6 min. Laver vi en ssis pakke til det, så tager den 7 timer.

Håber det var mere brugbart.

For mig at se ... så virker det som et Performance issue relateret til IO ...

Start et dianostics tool, og se hvor disk IO bliver brugt ...

eller du kan prøve:
SELECT wait_type, status FROM sys.dm_exec_requests WHERE session_id = [dit session id for din langsomme query]

hvis wait_type er IO_COMPLETION så er din flaskehals nok din LOG. ( og nu kommer jeg selv lidt i tvivl her om LOG write waits hedder det )

Men du kan i hvert fald se hvad din query venter på ...

mvh

ok, nu bliver det underligt. Hvis vi tager SQL-koden der ligger i viewet og flytter ud i SSIS pakken, så performer det godt ca. 6-7 min. Men selecter vi var view'et så kører det langsomt.

Jeg kan ikke få det til at hænge sammen.

Det burde max tage et par sekunder på samme server (altså alt afhængig af hw *GG*)

Anyway...

Når du bruger SSIS læser den det hele ud og bulker ind i target, derved springer den transactionloggen over som buzzz påtaler.

Hvis du derimod bare laver en select * from view , er det så til ende det tager 6 min?
Tag evt. en select top 100 * from view og se eksekveringstiden.


Lige den sidste her:
"ok, nu bliver det underligt. Hvis vi tager SQL-koden der ligger i viewet og flytter ud i SSIS pakken, så performer det godt ca. 6-7 min. Men selecter vi var view'et så kører det langsomt.

Jeg kan ikke få det til at hænge sammen. "

- Betyder det så at den har indsat alle 6M rækker og opgaven er løst?

janus:
Så blev jeg lidt klogere på SSIS packages.

Så er det sq nok ik' loggen der er problemet :-)

mvh

https://community.altiusconsulting.com/blogs/altiustechblog/archive/2008/02/05/sql-and-ssis-performance-tips-when-sourcing-from-views-use-a-sql-command-instead.aspx

jeg fandt svaret her.

Kan i ikke smide et svar hver, så kan i hele puljen.

dele puljen skulle der stå ;)

Jeg skal ikke ha point :)

Forresten... kan da lige nævne, man skal virkelig overveje fordele og ulemper ved at bruge SSIS. Til små ukomplicerede jobs får man meget funktionalitet out-of-the-box, men så snart man har behov for eks.vis at parse xml med komplekse typer mv. kommer man hurtigt til kort.

Man bør heller ikke anvende SSIS imellem to Sql Servere, medmindre der er nogle specielle forhold der betyder at man ikke kan connecte direkte.

DataConversions, grupperinger, sorteringer bør holder til et absolut minimum i SSIS, alt hvad der kan gøres i T-Sql SKAL gøres i T-Sql.