Ingen virksomheder har placeret sig så centralt og afgørende som amerikanske Nvidia, når det gælder om at udvikle den hardware, som AI-industrien skal køre på.
Hvor selskabets H100-chips og afledte chips bygget på ’Hopper’-arkitekturen siden 2023 har vakt en guldfeber efter hardwaren, er Nvidia i færd med at vise, hvad afløseren, B200-chippen, kan mønstre.
Her lover Nvidia intet mindre end fire gange højere ydelse – ifølge selskabets egne tal.
B200 bliver topmodellen bygget ovenpå selskabets nye ’Blackwell’ arkitektur, som vil blive delt med den lidt mere ydmyge B100-chip, som også står til at debutere snart.
En enkelt af de nye chips kan på egen hånd levere 11.264 tokens/sekund i open-source modellen Llama 2 70B fra Meta. Testen er en del af version 4.1 af MLPerf-benchmarket.
I en server-konfiguration kan B200 levere 10.755 tokens per sekund. Der skal typisk to til tre tokens til at stave hvert ord, en AI-sprogmodel leverer.
I en sammenligning med de nuværende H100 og H200 chips noterer netmediet Toms Hardware, at en enkelt B200-chip parret op med 180 gigabyte HBM3E-hukommelse er hurtigere end et system bestående af fire H100-chips med 80 gigabyte HBM3-hukommelse.
Her påpeges det, at B200-chippen arbejder med FP4-præcision, mens den H100-baserede maskiner opererer med FP8-præcision, hvilket giver dobbelt så meget regnearbejde. H100-arkitekturen understøtter dog alene FP8-udregninger.
Mediet noterer også, at B200-baserede AI-kort har en fordel med den større mængde arbejdshukommelse og pointerer, at kortets resultat kun er 2,5 gange højere end H200-kort ekviperet med 141 gigabyte HBM3E hukommelse.
Hvordan B200 kortet vil yde i andre afgørende discipliner til AI-udregninger løfter Nvidia ikke sløret for endnu. MLPerf 4.1 benchmarket har otte øvrige discipliner, som det rangordner efter, men Nvidia fremviser altså kun resultatet i den ene kategori.
Nvidias B100 forventes at blive handelsklar sidst i 2024, mens B200 får debut i første kvartal 2025.