Artikel top billede

Indkøbsliste: Det skal du bruge for at bygge Danmarks kraftigste supercomputer

Mere end 16.000 kerner og 92 terabyte hukommelse gør Computerome til kongerigets hurtigste supercomputer. Her kan du se hvad, der gemmer sig under motorhjelmen på DTU's fartmonster.

Computerome.

Sådan lyder det pudsige navn på den sammenbygning af hardware-komponenter, som teknikere har samlet til Danmarks kraftigste computer i et stille hjørne på den nordligste del af DTU Risø ved Roskilde.

Udefra ligner den faktisk mest af alt to mandskabscontainere ved en renoveringsopgave placeret på en parkeringsplads, men man skal som bekendt ikke skue bjørnen på hårene.

Én container er udstyret med computerens mere end 16.000 kerner og 92 terabyte hukommelse, mens den anden container er optaget af storage-systemets 7,5 petabyte lagerplads.

Regnemonster i verdenseliten

Når man er sluppet igennem indhegningen og træder ind i én af de to grå containere med et nydeligt DTU-logo på døren, dukker der et regnemonster i verdenseliten frem.

"Vi er i øjeblikket ved at køre en Linpack-test, der er en beregning af, hvor mange decimalberegninger en supercomputer kan udføre på ét sekund. Det går meget godt, og vi ligger på omkring 500 teraflops (0,5 petaflops) eller en 121. plads på top 500-listen," fortæller Peter Løngreen, chefkonsulent, DTU Systembiologi.

Til sammenligning har verdens hurtigste maskine 3.120.000 kerner og en tophastighed på 33,9 petaflops, så der er stadig et stykke vej op til de helt tunge drenge.

Det er den kinesiske Tianhe-2, der topper listen, og den er udviklet af Kinas nationale universitet med henblik på beregninger inden for teknologi-forsvar, som det hedder.

"Men den er bygget anderledes end de fleste andre supercomputere. Normalt anvendes supercomputere til meget begrænsede beregningsområder, men denne computer er en robust arbejdshest, der kan bruges langt mere alsidigt," siger Peter Løngreen.

Supercomputeren er bygget i et samarbejde mellem DTU, Københavns Universitet og Danish e-Infrastructure Cooperation (DeIC). En organisation, der har til formål at understøtter Danmark som e-Science-nation gennem levering af computerkraft, datalagring og netværk til forskning.

Formålet med at fylde containerne med isenkram fra blandt andet HP og EMC er at bringe Danmark helt i front, når det gælder forskning og bearbejdning af enorme mængder biologiske data inden for life science, pharma- og på sundhedsområdet.

Et helt konkret mål er, at den enkelte patient i langt højere grad bliver behandlet med udgangspunkt i patientens gener og arvemateriale.

Velkommen indenfor

Efter at adgangskortet er kørt igennem kortlæseren på containerporten, og en kode er tastet ind, åbnes dørene til maskinrummet.

Alt ser meget ordentligt og poleret ud. Der er ingen ledning-spaghetti og slet ikke antydningen af de pizza-bakker eller cola-dåser, der normalt klæber til nørdens image.

Det eneste er en kraftige summen fra kølesystemet, der skal holde de 16.048 kerner nede på en acceptabel temperatur.

"CPU'erne bliver kølet med vand, der skylles direkte ind på dem og derefter via varmepumper sendes videre ind i fjernvarmesystemet, så varmen kan udnyttes. Allerede med disse første servermoduler vil Risø Campus være næsten 100 procent opvarmet med overskudsvarme fire måneder om året, og det bliver jo kun bedre i takt med, at maskinen udbygges."

Selv om kølesystemet genanvender varmen og systemet betegnes som grønt, så æder computeren en megawatt strøm. Strømmen er da også trukket direkte fra stærkstrømsnettet og til DTU.

Storage-systemet er på 7,5 petabytes, og der bliver foretaget back up i fire kopier - to på Risø og to på en anden lokation.

"Maskinen er optimeret til de hastigt voksende datamængder og til behandlingen af helt store data mængder," fortæller Ali Syed, Center for Biological Sequence Analysis på DTU, der har været en af arkitekterne bag maskinens design og konfiguration.

Anlægget er eksempelvis forsynet med tre forskellige typer netværk med hver sit speciale.

Det gode, gamle Ethernet, et netværk til administration og vedligeholdelse, der automatisk kan bestille en ny disk eller RAM-klods, hvis den gamle står af, og så et InfiniBand-netværk til dataoverførsel.

Den hurtige InfiniBand-teknologi er en netværkskommunikationsteknologi, som anvendes til High Performance Computere og giver enormt hurtige dataoverførselshastigheder.

"For os er det ikke nok med mange kerner. Det er også vigtigt med hurtigt I/O til håndtering af store mængder data eksempelvis beregninger på DNA. Maskinen har da også 92 terabyte DDR4 hukommelse," fortæller han.

Regnekraft deles via skyen

De enorme datamængder, som systemet skal regne på, betyder, at det er lettere at flytte regnekraften rundt end at flytte data.

Data er som udgangspunktet meget uensartede og i store mængder, når det drejer sig om mennesker eller kommercielle formål. Desuden er de meget sensitive, så computeren skal være optimeret netop til denne mangfoldighed, og man skal helst ikke flytte sine data for meget ud og ind af den.

Derfor bygger udviklingsholdet på DTU en cloud-løsning, hvor brugerne af computeren kan låne eller købe regnekraft til projekterne.

"Løsningen bliver en cloud-service, hvor både private virksomheder og forskere kan tilgå maskinen. Det giver god mening, at vi deler regnekraften med alle interesserede. Mange firmaer har ikke råd til at købe et kæmpe computer til nogle få opgaver, derfor er det offentligt-privat samarbejde også oplagt."

Ligeledes opbygger man i øjeblikket store såkaldte high-performance computing-centre og kobler dem sammen i netværk som det europæiske ELIXIR. På den måde kan mange forskere gøre brug af hinandens data samt analysere sig frem til nye og større sammenhænge indenfor sundhed.

"Vi regner med at komme op på omkring 500 brugere, når supercomputeren i løbet af efteråret bliver køreklar. I første omgang vil vi fokusere på alle områder inden for bioinformatikken. Det er et område med enorme potentialer, hvor high-performance computing spiller en helt essentiel rolle."

De mange brugere betyder også, at maskinen kommer til at køre rigtig tæt på maksimalt potentiale hele tiden.

"Vi forventer, at den ligger tæt på den maksimale regnekapacitet i 95 procent af oppetiden," fortæller Ali Syed.

Udregning af DNA

Hvert halve år fordobles mængden af elektroniske data om levende organismers biologi. Man beskriver organismernes mindste bestanddele som celler, gener og proteiner - i alt fra bakterier og gærsvampe til mennesker.

Man registrerer organismernes levevis i laboratorier og samler hospitalernes patientjournaler, der også inkluderer viden om livsstil.

"Med alle disse data om millioner af arter samlet i potente supercomputere kan man blive meget klogere, for eksempel på hvordan sygdomme hænger sammen og er koblet til bestemte gener, eller hvordan man skal ændre bakterier, så de bliver til den perfekte bioteknologiske cellefabrik."

Hvorfor er det lige jeres område, der har fået 40 millioner til denne computer?

"Vi har en stor farmaceutisk industri i Danmark, der udgør to procent af vores BNP. Det er noget vi er gode til, og der er mange arbejdsplader indenfor området," siger Peter Løngreen.

"Den enkelte patient vil i fremtiden i langt højere grad blive karakteriseret ved hjælp af DNA-data, der beskriver vores arveanlæg, og hvordan de ændrer sig gennem livet. Det kræver en kraftfuld computer at få noget ud af disse data og især at få dem integreret med de sundhedsdata, som Danmark har været enestående til at indsamle gennem mange år."

Computeren blev officielt individet den 28. november og sættes i fuld drift i løbet af januar.

Du kan se billeder fra maskinrummet her: Galleri: Her er Danmarks vildeste supercomputer

Der er også en supercomputer på vej på Fyn næste år: Her placeres Danmarks vildeste supercomputer

Læs også:

Tag med i serverrummet, der gemmer Danmarks grønneste supercomputer

Vilde Vestas: Her er Vestas enorme supercomputer