Optimering af JSON data inden det hentes ned
Hej.Jeg ved ikke om det er rette kategori.
Jeg vil hente el-priser ind i PowerBi/Excel, og her benyttes Json, som jeg ingen forstand har på.
Koden er:
let
Kilde = Json.Document(Web.Contents("https://api.energidataservice.dk/datastore_search?" & "resource_id=elspotprices&limit=100")),
#"Konverteret til tabel" = Table.FromRecords({Kilde}),
#"Udvidet result" = Table.ExpandRecordColumn(#"Konverteret til tabel", "result", {"records", "_links"}, {"result.records", "result._links"}),
#"Udvidet result._links" = Table.ExpandRecordColumn(#"Udvidet result", "result._links", {"start", "next"}, {"result._links.start", "result._links.next"}),
#"Udvidet result.records" = Table.ExpandListColumn(#"Udvidet result._links", "result.records"),
#"Udvidet result.records1" = Table.ExpandRecordColumn(#"Udvidet result.records", "result.records", {"_id", "HourUTC", "HourDK", "PriceArea", "SpotPriceDKK"}, {"_id", "HourUTC", "HourDK", "PriceArea", "SpotPriceDKK"}),
#"Filtrerede rækker2" = Table.SelectRows(#"Udvidet result.records1", each ([PriceArea] = "DK2")),
#"Sorterede rækker1" = Table.Sort(#"Filtrerede rækker2",{{"_id", Order.Ascending}}),
#"Fjernede andre kolonner" = Table.SelectColumns(#"Sorterede rækker1",{"_id", "HourUTC", "HourDK", "PriceArea", "SpotPriceDKK"}),
#"Sorterede rækker" = Table.Sort(#"Fjernede andre kolonner",{{"HourDK", Order.Descending}}),
#"Ændret type1" = Table.TransformColumnTypes(#"Sorterede rækker",{{"HourUTC", type datetime}, {"HourDK", type datetime}})
in
#"Ændret type1"
Kilden:
Kilde = Json.Document(Web.Contents("https://api.energidataservice.dk/datastore_search?" & "resource_id=elspotprices&limit=100")),
Denne er problemet, da den kun henter de først 100 rækker "resource_id=elspotprices&limit=100")
Databasen indeholder 3000000+ rækker, men jeg skal kun bruge de rækker, hvor "PriceArea = DK2", og jeg kunne også godt nøjes med de rækker hvor "HourUTC >= 01-01-2020"
Men hvordan får jeg det filter ind allerede i kilden (ligesom "limit=100")??
Kan jeg det, så laves filter ude i weben, og så kan jeg vel hente langt hurtigere, da jeg så skal hente langt færre rækker ned.
What to do - håber en kan hjælpe, eller guide mig over i den rigtig kategori.
Tak.