Hjælp!! For mange data ved indlæsning

tosse>> Hvordan ser din tabel ud ?

Hej

Den er stor! med forskellige kategorier og et hav at historiske data i alle formater.

Må vi se din tabel definition ? Uden den kan jeg ikke hjælpe dig !

Jeg skal se din tabel definition, og den SQL du i dag bruger idag til at hente data ud. ellers kan jeg kuns sige du skal sætte det rigtige filter så virker det !

Jens B

Så skal du til at lave delta detection.

Jeg tror den hurtigste måde er at lave en CHECKSUM. DU kan f.eks. lave et nyt felt i dine tabeller, hvor du beregner checksum af hver enkelt række. Denne kolonne skal indekseres. Når du har nye rækker som du skal importere, kan du beregne checksum af rækken først, og checke om du allerede har denne række.

Prøv at kigge på ROWVERSION (TIMESTAMP) kolonne typen.  Den opdateres til en ny (højere) værdi ved hver UPDATE på en række.

Hvis du i din tabel tilføjer en sådan kolonne, så kommer din algoritme for delta load til at ligne denne

begin transaction
insert into newtable
select * from oldtable
where myrowversion > (select oldrowversion from delta_register)

update delta_register
set oldrowversion = select max(myrowversion) from oldtable
commit

Hvis du vil have opdatering på eksisterende tabller skal du udbygge med sammenligning på primærnøgler for at afgøre om der skal anvendes INSERTs eller UPDATES.  DELETE er lidt mere tricky - men nu har du skabelonen.

Hvis ikke du har et felt på din tabel om hvornår felterne er lagt i daqtabasen så skal dy have det :

1)
  opdater din tabel med et felt der hedder dato fx, og giv det en Default værdi GetDate(), gøres nede for neden

Dette kan også gøres i SQL :
ALTER TABLE dbo.[TEST] ADD
    Dato datetime NOT NULL CONSTRAINT [DF_TEST_Dato] DEFAULT GetDate()


Her formoder jeg din tabel hedder TEST, men det ændere du bare

2)
  Så nu kan du bare lave en select der filtrerer på dato, således du får dem fra i går :

Select * from [TEST] where convert(int, Dato) =  convert(int, GetDate()) -1

JEns Borrisholt

Hej alle,

Tak, for hjælpen. Jeg vil går i gang med det samme !!

tosse>> du skal lige være opmærksom på at min løsning ikke vil løse problemet før to dage efter den er implementeret.

Jens B

tosse>>Kom du vidre ?

Jens B