Vil du lege med AI, så er der to muligheder: Du kan anvende en software-løsning som ChatGPT eller CoPilot fra Microsoft - eller du kan kaste dig ud i nogle vilde hardware-investeringer.
Det sidste opdagede jeg for ikke så længe siden, da HP lånte mig en pc til 360.000 kroner - eller cirka det samme som en Tesla Model 3 med lidt ekstraudstyr.
Den var vild, og den var hurtig - men den var også uden for de flestes budget. For alene grafikkortene med deres 48 Gb RAM kostede cirka 40.000 kroner stykket.
På den anden side blev min nysgerrighed vakt af Computerworlds tekniske redaktørs guide til, hvordan du kører AI på din egen maskine.
Er du bare en smule nysgerrig, så er det en fantastisk måde at prøve de forskellige modeller som Llama, Phi og alle mulighed andre – helt gratis.
Og du kan sågar skifte rundt imellem dem og give dem adgang til dine egne data uden at komme i problemer med GDPR, som næsten samtlige tjenester slås med. Se et forslag til en guide her.
Og ja, det virker faktisk ret godt - jeg endte med at føde maskinen med 10 års taler fra Årets CIO-kåringer og kunne derefter have en samtale om de forskellige kandidaters kvaliteter. Alt sammen helt lokalt.
Dit nuværende hardware er håbløst forældet
Bagsiden af medaljen er, at du hurtigt indser, at dit nuværende hardware er håbløst forældet, når det kommer til AI.
Helt på samme måde som jeg opdagede, at min ellers meget lækre Dell XPS pludselig var 60 gange langsommere i Adobes Lightroom end andre nye maskiner.
Helt så slemt stod det ikke til med min hjemmemaskine, som består af en AMD 5950X CPU med 16 kerner, 64 Gb RAM og et Nivdia RTX 3070 grafikkort med 8 Gb RAM.
Den første lektion, som du lærer, når du leger med AI, er, at din CPU og din RAM betyder meget lidt.
Det handler alt sammen om grafikkortet, som Nvidias aktiekurs også viser, og om du kan holde hele AI-modellen i grafikkortets hukommelse.
Kan du ikke det, så ryger hastigheden helt i bund. Det er som forskellen på at hente data fra en CD-ROM og så fra en SSD-disk.
Selv en moderne bærbar 13. generations Intel i7 CPU leverer derfor, i Computerworlds test, 6,5 tokens per sekund, men så snart der kommer et (bærbart) RTX 4070 grafikkort med 8 Gb RAM på, er vi oppe på 37 tokens per sekund.
Min 5950X CPU med et ældre 3070 grafikkort med 8 Gb RAM sniger sig i øvrigt op på anstændige 56 tokens per sekund.
Artiklen fortsætter under billedet...
Mål selv hvad din maskine kan
Vil du selv prøve, hvad din maskine leverer, så skal du hente LM Studio, hente denne model "QuantFactory/Meta-Llama-3-8B-Instruct-GGUF/Meta-Llama-3-8B-Instruct.Q5_K_M.gguf" ved at søge inde i LM Studio og downloade versionen der fylder 5,73 Gb.
I indstillingerne i siden beder du den om at bruge Max GPU-ressourcer og derefter spørger du i AI Chat-modellen om: ”Can I use a 750W PSU for a RTX4090?”
Svaret er ikke særligt præcist, men i bunden kan du se tokens per sekund - som blandt andet vises sig i, hvor hurtigt du får svaret frem. Og om det ankommer ord for ord som en telex fra fortiden.
Med et RTX 3070-grafikkort er det rimeligt, men med blot 8 Gb RAM er jeg begrænset til mindre modeller, når der skal køres direkte i RAM.
Løsningen er en opgradering. Og mere vil som bekendt have mere.
Så valget faldt på et Asus TUF Gaming RTX 4090 OC Edition med 24 Gb RAM, hvilket nok er det kraftigste forbrugerkort, der findes pt.
RTX 4090-processoren har efterhånden et par år på bagen, men Nvidia har tilsyneladende ikke travlt med at sende næste generation på gaden.
I stedet satser de på deres H100-kort og lignende mere forretnings- og AI-orienterede modeller.
Nvidia har dog formået at presse mere end 76 millioner transistorer ind i 4090-modellen, hvor mit 3070 kort må nøjes med 17 millioner.
De transistorer bruger Nvidia så i de afgørende CUDA-cores til beregninger. Her har 3070 hele 5.888 kerner, mens 4090 imponerer med 16.384 kerner.
Af samme grund stiger strømforbruget også til et peak-forbrug på 450 watt, mens 3070 kan klare sig med 220 watt.
4090 kræver desuden også et nyt 16 pins strømstik, som kan levere op til 600 watt uden at smelte plastikken. Et problem som plagede en række tidlige 4090-kort.
Løsningen blev derfor et farvel til min syv-otte år gamle 650 watt-strømforsyning, som i stedet blev opgraderet og fremtidssikret.
Den nye strømforsyning kan derfor nu levere 1.000 watt og har et dedikeret stik til de 600 watt.
Nemt nok. Og det er nu, at nedstrygeren dukker op.
For Asus´s 4090 kort er STORT. Virkeligt stort og tungt.
For de 16.384 kerner skal køles, og det sker via et kæmpe køleelement som holdes køligt af tre massive blæsere.
Et væsentligt større kort
Derfor er Asus TUF Gaming RTX 4090 OC Edition 35 centimeter langt og 3,5 PCIe slot bredt. Det er næsten 1,5 gange længere end det gamle grafikkort.
Bredden er ikke et problem, det kostede mig blot mit 10 gigabit Ethernet-kort.
Men længden var for meget for mit ellers gigantiske, trofaste og over otte år gamle HAF X 942-towerkabinet, hvor en metalholder til klassiske 3,5” harddiske umuliggjorde min opgradering.
Og det var nittet fast. Selvfølgelig.
Uvillig til at skille hele maskinen ad var der ikke andet at gøre end at låne et par pladesakse og hente nedstrygeren.
Til Coolermasters ros må jeg bare konstatere, at indersiden af deres kabinetter tilsyneladende er lavet af en overjordisk stærk titaniumhærdet stållegering.
Fandt en smartere løsning - bagefter
Men efter at have klippet, filet og svedt i 20 minutter, fandt jeg på at slå hovederne af nitterne med en skruetrækker.
Så var kassen ude på fem minutter, og stålet kan nu i stedet indgå i Nasas rumprogram eller som pansring, når/hvis forsvaret nogensinde får købt noget isenkram. Nitterne er til gengæld lavet af hærdet flødeskum.
Med harddiskkassen ude kom 4090 kortet fra Asus i. Og på trods af de imponerende blæsere, var det næsten skuffende så lidt kortet sagde.
Altså indtil jeg startede LM Studio op, loadede en af de større modeller, en kæmpe prompt og et lidt stort spørgsmål. Så lettede jetflyet under bordet.
Artiklen fortsætter under billedet...
Til Asus' absolutte fordel så stopper blæserne næsten øjeblikkeligt, når svaret er fundet.
Og i spil som Assassin's Creed Mirage fra efteråret 2023 med alt så på maksimale indstillinger og i 4K, så spinner kortet knapt op – til gengæld er grafikken virkeligt flot. Det samme sker i Battlefield 2042 og i Diablo IV, selv efter længere tids gaming.
Spil vender vi retur til om lidt. For den oprindelige plan var at øge tokens per sekund.
For hvor AMD 5950X og et RTX 3070-grafikkort giver 56 tokens per sekund, kan jeg med samme maskine blot med et RTX 4090-kort nu nå 104 tokens per sekund. Eller cirka det dobbelte - med cirka 2,8 gange flere kerner.
I spil er ydelsen også væsentligt forøget. I det efterhånden lidt ældre spil Assassin's Creed Valhalla (udgivet i 2020) kunne 3070 med alle indstillinger sat til maksimum levere 56 billeder i sekundet (i 4k) mens 4090 øger den score til hele 153 billeder i sekundet. Eller 2,3 gange bedre.
En stjerne til Adobe-pakken
I Adobes Lightroom-program, som sammen med resten af Adobes pakke har fået en ordentlig AI-overhaling, er resultaterne også værd at tage med.
Adobe bruger blandt andet AI til at fjerne støj i fotos, til at skabe sløring af baggrunden, til at fjerne objekter fra fotos eller til at skabe nye baggrunde på dit foto.
Vores go-to test er fjernelse af ISO-støj på et 24 megapixels foto.
På min tre år gamle XPS 17 med et Nvidia 1060-grafikkort tager det typisk 7-10 minutter per foto, på denne stationær pc fra denne artikel med 3070-grafikkortet tog det syv sekunder. Men med 4090 installeret er de syv sekunder nu reduceret til blot to sekunder per foto.
Regnestykket er ret enkelt.
Med 60 fotos sat i kø svarer det til 420 minutter for Dell-computeren, syv minutter med et 3070-kort og to minutter med 4090-grafikkortet kørende for fuldt blæs. For lige her skruer det godt op.
Ny vinder i video-test
I Adobe Premiere, hvor du redigerer video, er resultaterne gode.
Med et 3070-grafikkort er samme AMD 5950X-baserede maskine 65 sekunder om at rendere en 4K-video, justere lyden og skifte baggrund via greenscreen-affekt.
Men med 4090-kortet monteret falder den tid nu til 43 sekunder - hvilket imponerende nok er hurtigere end HP's monstermaskine og en spritny Macbook Pro med topudgaven af M3 Max-processoren.
Resultatet er markeret med rødt i skemaet nedenfor.
Om opgraderingen er de knapt 14.000 kroner værd, er i sidste ende op til dig og din pengepung.
Ønsker du at skrue helt op for kvaliteten i spil og spille alt i 4K, så er der få ting, som kortet ikke kan klare.
Handler det at kaste sig ud i AI på et begrænset budget, så er det også et rimeligt fornuftigt valg.
Også selv mange fremhæver forgængeren 3090 med ligeledes 24 Gb, som med lidt held kan findes brugt til mere overkommelige priser. Uden garanti selvfølgelig.
Og selv om prisen for Asus-udgaven af et 4090 ikke er billig, så er der langt op til de 40-50.000 kroner, som et mere professionelt A6000 ADA kort med 48 Gb koster.
I det lys virker Asus TUF Gaming RTX 4090 OC Edition som et fornuftigt køb. Og så er blæserstyringen ret imponerende.
Men vores bedste forbrugertip er fortsat: Mål efter inden du køber…især hvis du har et ældre Coolermaster-kabinet.