Stadig flere virksomheder får øjnene op for, hvordan analyser af store datamængder kan udnyttes i deres forretning. De kaster sig derfor ud i udvikling af big data-løsninger og ansætter softwareudviklere til opgaven.
Et eksempel er trading-firmaet Danske Commodities, der handler el og naturgas på det internationale marked. De seneste to år har firmaet taget et tigerspring ind i it-verdenen med en voldsomt voksende afdeling for software-udvikling. Det seneste år har selskabet fået en række priser for netop sin satsning på it-løsninger,der understøtter forretningen.
Lige nu er Dansk Commodities på jagt efter en softwareudvikler, som skal arbejde med big data. Men hvad skal man egentlig kunne for at få sådan et job - hvilke teknologier skal man have under huden - og hvem kommer man til at arbejde sammen med?
Derfor har Computerworld ringet til Martin Sponholtz, der er leder af Danske Commodities softwareudvikling, for at få en idé om, hvem og hvad firmaet leder efter til et job indenfor et område, der i et par år har ligget højt på hitlisten over it-branchens buzzwords.
Og det fremgår ret klart, at det ikke er hvem som helst, der kan gøre sig håb om at komme i betragtning.
Selv opslaget er naturligvis på engelsk og nævner til illustration hele 16 forskellige teknologier.
Vi nævner i flæng: Java, Storm, Hadoop, Redis, Linux og Windows. Desuden skal kandidaten være teoretisk stærk på it-arkitektur. Så selv en gennemsnitlig it-journalist kan have svært ved helt at forstå, hvad sådan en udvikler-fætter egentlig skal kunne.
Tredoblet omsætning
Martin Sponholtz beretter om en nærmest eksplosiv vækst i selskabets it-aktiviteter. Det er sket, samtidig med at Dansk Commodities siden 2010 har mere end tredoblet sin årlige omsætning til i dag tæt på 10 milliarder kroner.
Han kom selv til for to år siden som den anden eller tredje software-udvikler i firmaet. I dag er Danske Commodities oppe på mere end 40 medarbejdere alene indenfor softwareudvikling. Dertil kommer 10-20 ansatte, der arbejder med business intelligence. Og ser man hele it-området under et, giver det smør på brødet til 120 af de i alt 400 ansatte.
"Vi skal bruge en udvikler, som har et stærkt fundament, og som kan forstå det paradigmeskift, som big data er udtryk for," siger Martin Sponholtz.
Hvad det paradigmeskift går ud på, vender vi tilbage til.
Sådan rekrutterer Danske Commodities
Men først tegner Martin Sponholtz konturerne til de opgaver og den profil, som den nye kollega skal løse og have. Umiddelbart kunne man tro, at udvikling af big data-løsninger krævede flere års erfaring både med teknologi, arkitektur og praktisk projektstyring. Men sådan er det langtfra, fortæller Martin Sponholtz.
"Vi bygger alt det her fra bunden af og tager nogle rå teknologier og former dem til vores behov. Det kan vi gøre, fordi vi rekrutterer rigtig dygtige dataloger og ingeniører fra universiteterne i Aarhus, København og Aalborg."
Så det er vel ikke nogle helt almindelige kandidater med de meget specialiserede krav, I stiller?
"Det ved jeg nu ikke. Vi rekrutterer mange nyuddannede dataloger og ingeniører, hvor vi så styrker deres kompetencer i retning af at tænke på en anden måde. De skal have et solidt teoretisk fundament. Det er det, man får på de her uddannelser," siger Martin Sponholtz.
"Vi rekrutterer mange nyuddannede dataloger og ingeniører, hvor vi så styrker deres kompetencer i retning af at tænke på en anden måde"
Gør data til viden
Dansk Commodities lever som nævnt af køb og salg af energi - fortrinsvis elektricitet - fra olie, gas, vind, vand eller sol.
Især væksten i alternative energikilder har de seneste år ændret markedet, og gjort markedet mere komplekst at overskue. Derfor får viden om energiproduktion stigende betydning for Danske Commodities og selskabets kunder. Og en vej til den viden går gennem data, fortæller Martin Sponholtz.
"Vindmølleparker og solcelleanlæg er kommet ind og har transformeret markedet og gjort det mere volatilt. Markedet bevæger sig i forhold til, om det blæser i Tyskland, om man åbner for et vandkraftanlæg i Norge eller om solen skinner i Spanien."
"Det betyder så også, at mere og mere energi bliver handlet med kort tidshorisont. Det øger behovet for viden, hvis man vil tjene penge. Derfor går vi ind i en fremtid, hvor man kombinerer data og viden omkring trading på markederne," siger han.
Mere teoretisk deler han big data-begrebet op i tre dele, der i fag-lingoen er kendt som de tre v'er: Store datamængder (volumen), der skal analyseres hurtigt (velocity) og endelig behovet for at analysere forskellige typer af data (variety).
Farvel til den traditionelle database
"De fleste, der taler om big data, taler om volumen, men det, der er mest interessant for os, er velocity. Der er en tendens til, at det går stærkere og stærkere, og det skal vi kunne håndtere. Så det er ikke kun, at vi får mange data ind, men også, at vi beregner en masse komplekse ting på de her data," siger Martin Sponholtz.
Men hvorfor kan man ikke bare hælde sine data ind i en traditionel database?
"For det første fordi relationelle database-teknologier, som man bruger i traditionel BI-forstand, ikke kan skalere, når volumen-, velocity- og variety-problemer skal løses samtidig. De teknologier vi har i spil lige nu i vores stak er Hadoop, Storm og Redis, som er i stand til skalere i forhold til, om vi får 50 eller 100 GB data om dagen og hvor vi skal være i stand til at håndtere datastrømme og lave komplekse beregninger i realtid uden at være diskbundet," siger Martin Sponholtz.
"Populært sagt: Hvor man før flyttede data til beregningen, flytter du nu beregningen til data"
Billige diske baner vejen
En af grundene til, at det kan lade sig gøre at bevæge sig videre fra traditionelle databaser er ifølge Martin Sponholtz den helt enkle, at prisen på diskplads er faldet voldsomt.
"Relationelle databaser er udviklet i en anden tidsalder, hvor disk var dyrt. Derfor koncentrerede man sig om strukturerede data. I dag koster diskplads ingenting, så vi får større og større mængder data."
"Men det koster rigtig meget tid at flytte store datamængder. Derfor vil vi hellere behandle vores data råt og kyle dem ind i de her teknologier, som kan skalere horisontalt ud på en hel serverpark. Populært sagt: Hvor man før flyttede data til beregningen, flytter du nu beregningen til data. Det gør, at man kan accelerere helt vildt. Det er lidt af et paradigmeskift."
Skal være stærk på teori
Men hvad er det så, der kan adskille den enkelte kandidat fra konkurrenterne til jobbet?
"Det nemmeste ville være at sige, at kandidaten skal kunne .NET, Java eller Hadoop og så videre. Men jeg tror mere, det handler om en stærk evne til at sætte sig ind i de her teoretiske problemer omkring skalerbarhed. Hvis du bygger simple fleksible løsninger, får du skalerbarheden. Det kan så være lidt underligt, at man skal bruge teoretisk stærke folk til at bygge simple løsninger. Men det er faktisk dér, den ligger."
Hvad er det for nogle kolleger, man får i det her job?
"Det er en blanding af de tre forskellige teams, vi har. Jeg er leder af softwareudviklingsteamet, hvor vi bygger fundamentet, men udover det har vi også business intelligence-team. Det sidste team består af analytikere, der arbejder med de beregninger, der ligger oven på selve systemet."
Dataloger, ingeniører, økonomer
"Det er dér, at meget af forretningsværdien ligger. Både software og busines intelligence-folkene er jo udviklere. Det er i meget stor udstrækning dataloger og ingeniører. Blandt analytikerne er det mere folk, der har læst økonomi eller folk, der kommer fra Handelshøjskolen - altså folk, der har forstand på tal."
Hvad skal det arbejde, som jeres nye udvikler laver, så bruges til?
"Det er jo i vid udstrækning tradere, der skal bruge det her som et værktøj. Der arbejder vi med nogle systemer, hvor man kan visualisere data. Forretningsfolk arbejder jo meget med Excel, og det er det, det handler om: At præsentere data, som kan trækkes ud i Excel, så man kan arbejde videre med det. Et andet eksempel er produkter, som vi kan tilbyde vores kunder baseret på vores viden om markedet. Men opgaven for vores nye kollega bliver i meget høj grad at konvertere data til viden."
Hvad tjener sådan en udvikler?
"Det ved jeg ikke, om jeg vil ind på. Der skal du nok spørge en anden," slutter en grinende Martin Sponholtz.
Læs også:
Fem problemer så store at big data må give op
