Kunstig intelligens er ikke længere noget som kun kan køres i skyen.
Antallet af kompetente open-source modeller, der kan køres på egen hardware er eksploderet det seneste år, hvorfor du med en større, men overkommelig investering kan få skabt din egen 'hjemmeGPT'-tjeneste.
Det kræver dog de rette komponenenter. En AI-maskine har andre hardware-møssige krav end en almindelig pc.
Det handler især om den rette og rette mængde hukommelse, grafikkort og software-understøttelse.
Her gennemgår vi på Computerworld fire realistiske veje til en lokal AI-maskine: Fra den kompakte mini-pc til en fuldblods workstation med flere grafikkort i maven.
Adgangsbilletten: En mini AI-pc (13.000 kroner)
Vil du prøve potentialet af for lokal AI, er den billigste adgangsbillet en mini-pc baseret på den såkaldte ’Strix Halo’ platform fra AMD.
Her tilbyder amerikanske Corsair en stærk begynder-maskine med sin AI Workstation 300, som tilbyder 64 gigabyte delt quad-channel hukommelse (256 GB/s i båndbredde) og AMD’s 8050S indbygget grafik.
Denne er til salg til en pris fra 1.745 euro, svarende til godt 13.000 kroner og gør det muligt at arbejde med modeller op til ca. 60B i størrelse.
Største begrænsning ligger i selve hukommelsens båndbredde på omtrent 250 GB/sekund og AMD’s software-stack, som ikke er nær så veludviklet som Nvidias.
Er lommerne lidt dybere, kan topmodellen af AI 300 til 2.769 euro (20.660 kroner) anbefales, da denne tilbyder hel 128 gigabyte hukommelse samt en lidt kraftigere 8060S grafik.
Budget AI Workstation – 19.053 kroner
En helt anden tilgang til at få kunstig intelligens i spil i egen maskine, er den mere klassiske workstation.
Her kan du vælge præcist de komponenter, som passer til dine behov.
Det mest essentielle i denne maskine er grafikkortet, hvor du skal sikre dig, at maskinen har mindst 24 og helst 32 eller flere gigabyte hukommelse. Her kan du med fordel vælge et grafikkort bygget omkring AMD's R9700 Pro, som tilbyder 32 gigabyte og en sund båndbredde på 644 GB/s.
De 32 GB grafikhukommelse rækker til modeller op til 40B klassen.
Som alternativ til grafikkortet kan du også overveje Intel Arc Pro B70 32GB (ca 8.100 kroner), som er noget billigere, men døjer med den ringeste software-support blandt aktuelle grafikløsninger.
Ellers kan du styre mod Nvidia RTX Pro 4000 24GB til priser fra 14.395 kroner, som tilbyder mindre hukommelse. Til gængæld har den klassens klart bedste software-support.
Løsningen her vil du dog skulle samle samle selv, hvilket kan virke en smule udfordrende for nybegyndere, men som ikke er sværere end en større omgang Lego Technics.
Apple Mac Studio, M3 Ultra – 35990 kroner
Apples stærke Mac Studio har igennem det seneste år vist sig at være en yderst kapabel platform, når det gælder lokal AI.
Selskabets MLX/Metal økosystem er i konstant udvikling og når den er parret op med en stærk båndbredde på over 800 GB/s og 96 gigabyte delt hukommelse, kan der ske rigtigt meget med maskinen.
Det rækker til at afvikle kompetente modeller op til 120B klassen.
Enheden er da også blevet revet ned fra hylderne, så både 256 og 512 gigabyte konfigurationer nu slet ikke er til at opdrive.
Der er rygter om, at Apples Mac Studio bliver opgraderet senere på året til den mere AI-optimerede M5-processor. Det kan du med fordel overveje, hvis du har lidt tålmodighed.
Mini AI-workstation med Nvidia-kræfter - 36.258 kroner
En anden yderst interessant mini-pc, du også bør overveje, er blandt den voksende skare af enheder, bygget omkring Nvidias GB10 chip. Chippen er en lilleput-version af de Grace-Blackwell chips, som i dag dominerer blandt AI-datacentre.
Her er denne chip parret op med 128 gigabyte hurtig hukommelse og fire terabyte lager samt en ekstrem hurtigt ConnectX opkobling, der gør det muligt at stykke flere af enhederne sammen, hvis der skal håndteres endnu større AI-modeller.
Ulempen er her, at båndbredden på 273 GB/s er begrænset, og derfor vil større modeller (op til 200B) arbejde langsommere.
Det bliver til gængæld opvejet delvist af, at du får adgang til Nvidias omfattende software-stack, hvor alt fungerer uden det store behov for tilpasninger eller krumspring.
Enheden kører til gængæld alene på Linux, og derfor bør du være fortrolig med at arbejde ved en terminalprompt, før du går 'shop-amok'.
Fuldblods AI Workstation – 37.591 kroner
Vil du have seriøst mange kræfter til at klare omfattende AI-algoritmer, skal du væsentligt op i pris for at få plads til flere grafikkort.
I denne mere ambitiøse AI-workstation er der lagt store prioritet i at få 64 gigabyte af den såkaldte VRAM. Det sker ved at få to styk AMD R9700 Pro til at virke i tandem. Det rækker til modeller i op til 80B klassen.
Et alternativ her er at skrotte grafikkortene (r9700Pro) til fordel for et enkelt Nvidia RTX 5090 32 gigabyte.
Det halverer den tilgængelie VRAM-mængde, men tilbyder i stedet hele 1800 GB/sekunds båndbredde, mod to gange 644 gb/sekund.
Da der her er kørt med to kort i parallelt eller serie, skal du regne med en yderligere fintuning, inden systemet kører optimalt.
Også her er du dog afhængig af, at du er i stand til at samle din egen pc.
