Meta er klar med den største open-source storskala-sprogmodel til dato med version 3.1 af sin ’Llama’ model.
Modellen tilbydes i sin nyeste version i tre størrelser, den lille 8B-variant, den krævende 70B-variant og nu den kolossale 405B-variant, hvor selskabet hidtil kun har tilbudt de to mindste varianter.
Særligt for Metas sprogmodeller er, at de udgives som open-source og at de kan afvikles lokalt, hvis ellers ens system kan levere den massive regnekraft og hukommelse, som modellerne kræver.
Matcher førende GPT-modeller
Ifølge selskabets egne benchmark-resultater, formår selskabets 405B topmodel at overgå OpenAI’s førende modeller, både GPT-4 og GPT-4o i fleste discipliner.
Samtidig dyster Llama 3.1 405B med Anthropics nye Claude 3.5 Sonnet om at være bedst i striben af benchmarks, som vurderer modellernes evner indenfor en stribe discipliner såsom kodning, matematik, ræsonnement, flersprogethed og generelle forespørgsler.
Målt på menneskelige vurderinger af modellen, klarer den nye topmodel fra LLama sig mindre overbevisende i forhold til OpenAI’s modeller, der har en lille fordel, mens den igen matcher Anthropics Claude 3.5 Sonnet model.
Kræver enorme hardware-ressourcer
Modsat tjenester som OpenAI’s ChatGPT, Googles Gemini og Anthropics Claude kan Metas afvikles lokalt, men den nye model er med sine 405 billioner parameter langt hinsides det, der kan køres af almindelige maskiner.
Selv komprimerede versioner af modellen kræver systemer med flere hundrede gigabytes hukommelse, hvilket ville udelukke alt andet end yderst kraftige workstations eller dedikeret server-hardware.
Til mindre kraftige systemer tilbyder Meta i stedet de mindre 8B og 70B systemer, som kræver henholdsvis fra omkring 5-6 gigabyte hukommelse og 30-40 gigabyte hukommelse.
Disse mindre omfattende modeller er ifølge Metas benchmark sammenlignelige med ældre AI-tjenester som OpenAI’s GPT 3.5 Turbo.