Min indgangsvinkel til AI har været lidt speciel.
Jeg begyndte med at læse analytisk sprogfilosofi og kognitiv semantik på Københavns Universitet og skiftede derefter retning mod sin store passion for programmering og blev cand.it i Software Engineering på IT-universitet (ITU) med en specialisering i avanceret AI-programmering og fag ved Center for Sprogteknologi (CST).
Denne lidt særegne kombination af emneområder, kombinerer jeg i min forskning i, hvordan fremtidens sprogteknologiske AI-løsninger skal bygges, som er valideret af Berkeley Universitet.
Jeg brugte faktisk mit speciale til at udgive min mangeårige forskning i stedet for at gå Ph.d.-vejen, for hurtigere at kunne træde ind på arbejdsmarkedet, så jeg kalder mig gerne ”amatørforsker” trods den internationale anerkendelse.
Kort sagt forudser min forskning for 15+ år siden den udvikling, som vi ser med store sprogmodeller nu i dag.
Dengang skulle jeg til USA og forske, hvis jeg skulle arbejde med min specialviden inden for sprogteknologi, men da jeg valgte at blive i Danmark, arbejdede jeg i stedet med klassisk machine learning (ML), hvor jeg har haft alle rollerne: Programmør, arkitekt, leveranceansvarlig og visionær – og har stået bag prisvindende ML-løsninger, der i produktion i Danmark i dag.
De første godt seks år var jeg kendt som ”Mr. AI” i Netcompany, og i dag er jeg så Chief AI Officer i konsulenthuset Delegate.
I den tid har jeg deltaget i talrige udvalg og råd, såsom regeringens ekspertgruppe for dataetik, som nedsatte det Dataetiske Råd , somvi har i dag, og jeg sidder lige nu som næstforperson i IT Branchens NewTech Policy Board, hvor jeg er med til at forme landskabet i Danmarks møde med generativ AI og tit kaldes ind af regeringen som rådgiver og formidler af emnet. Se i øvrigt mere om mig på erk.dk.
Langt fra en rigtigt person på den anden side
En af fordelene ved at have tacklet både de praktiske, programmeringstekniske aspekter, såvel som de filosofiske og forskningsmæssige aspekter af generativ AI, er at jeg har et ret tydeligt billede af, hvad det er, og ikke mindst ikke er.
”Artificial General Intelligence” (AGI) er kendetegnet ved at kunne forstå, lære og anvende viden på tværs af en bred vifte af opgaver på samme niveau som et menneske.
Jeg forstår godt, at man hurtigt kan få en opfattelse af, at vi er ved at nå hertil, efter at have haft en dyb samtale med ChatGPT eller andre af de stærkeste store sprogmodeller.
Man fornemmer virkelig, at der er noget lig en rigtig person på den anden side af samtalen. Det er da også mest fordi, at jeg forstår, hvordan nutidens løsninger er bygget, at jeg selvsikkert kan sige, at dette ikke er tilfældet.
Lad mig forklare.
I stedet for at dykke ned i Deep Unsupervised Learning, Reinforcement Learning Human Feedback og andre tekniske ufremkommelige jungleterritorier, vil jeg bruge min egen forskning og introducere jer til to begreber:
”Logisk atomisme” og ”world knowledge” for på en mere simpel måde at vise, hvordan nutidens store sprogmodeller ikke kan anses for eller videreudvikles til AGI i deres nuværende form og designtilgang.
Logisk atomisme er simpelt sagt ideen om, at de mindste bestanddele af noget er det mest essentielle ved tingen.
Det svarer til, at jeg fortæller dig, at det mest essentielle ved dig, er de atomer, som du består af – noget, som jeg ikke synes er særlig oplagt at tilskrive sig.
Er stadig på de nederste niveauer
Store sprogmodeller i dag er baseret på logisk atomisme.
De arbejder ud fra ideen om, at forbindelsen mellem enkelte ord og fraser på ordniveau er det mest essentielle ved de menneskelige sprog.
Man begrænser sig så at sige til de nederste niveauer af sproganalyse: Grammatik og Morfologi – som er studiet af, hvordan enkelte ord formes og sammensættes.
De højere niveauer, som nutidens løsninger ikke arbejder på, er semantikken, som er hvad sætningen betyder, og herover pragmatikken, som er hvad sætningen betyder i den egentlige kontekst, som den er sagt/brugt i.
Det øverste niveau er så ”word knowledge,” som svarer til den viden om verden, som to parter skal have til fælles for at kunne have en meningsfuld interaktion.
Simpelt sagt: Har to folk ikke en fælles viden i hver deres indre verden om et emne, kan de heller ikke have en meningsfuld samtale om emnet.
Mit vigtigste argument for, at nutidens løsninger ikke kan tilnærme sig AGI, må netop være, at de ikke arbejder på disse niveauer og ikke har 'world knowledge.'
Det rejser nogle spørgsmål, for de samtaler, som man har med sprogmodellerne, er meget overbevisende, og hvordan ville det overhovedet se ud,hvis disse så faktisk arbejdede på de øvre niveauer og havde world knowledge?
Jo ser I: Årsagen til det høje niveau, som store sprogmodeller i dag kan præstere, er, at de har brugt mønstergenkendelse til at finde dybe mønstre i de enorme mængder tekst, som de er trænet på.
Lidt simpelt sagt så forstår de ikke, hvad det vil sige at være et menneske eller en menneskelig samtalepartner, men udnytter blot de dybe mønstre, som de har fundet i sproget ved at kigge på de nederste niveauer af sproganalyse – det vil sige den totale sammenhængskraft for alle ord og fraser på tværs af alle sprog.
Et svar på et spørgsmål er blot en videreførelse af samtalen baseret på den retning, som spørgsmålet stiller – en slags ”autocomplete på steroider”.
En lille fælde til maskinerne
Hvis man spørger den ”hvor mange ord er der i dit svar?” – en lille fælde jeg har fundet på for at illustrere dette – kan den heller ikke svare ordentligt på dette (prøv selv), netop fordi den ikke ved, hvor mange ord, der kommer til at være i dens svar, før den er færdig med at bygge det – ét ord ad gangen.
Det viser os, hvordan den ikke har en indre verden – en slags struktur og pladsholder til opsparede erfaringer, som kan give form til tanker og ideer.
Når vi mennesker bruger sproget, er det for gennem sproget at række ud af vores privatoplevelse – vores indre verden.
Store sprogmodeller har ikke nogen indre verden – de har ikke nogen world knowledge.
I stedet baserer de sig blot på de mønstre, som os menneskers sprogbrug har aflejret i vores sproglige tekster.
Med andre ord kan de mønstergenkende sig til, hvad det vil sige at tale/være menneske, fordi dette aflejres i de menneskelige tekster, hvis formål netop er at dele vores oplevelser og erfaringer ud fra en indre verden.
Store sprogmodeller har ikke nogen indre verden
Hvis de store sprogmodeller skal nå et niveau, hvor de ikke kun simulerer det tekstuelle output, men også den indre verden og forforståelse, der går forud for denne, så er de nødt til at have world knowledge – sådan som Stanfords anerkendte tænketank for AI også klart støtter op om.
Dette kaldes en ”ontologi” og der er et helt felt inden for ”ontology engineering,” der arbejder med dette.
Indtil nu er det ikke lykkes at indarbejde dette i de store sprogmodellers design og virkemåde.
Hvordan man så gør det, er netop emnet for min forskning.
Faktisk vil jeg argumentere for, at man skal til at designe fremtidens AI helt anderledes end man gør i dag, men indtil videre er vi i hvert fald nået til en forståelse af, hvordan disse løsninger ikke er AGI, og heller ikke lægger an til lige straks at blive det.
Det var et noget filosofisk indslag, som vi lagde ud med.
Næste gang bliver det mere teknisk, og jeg er sikker på, at vi med tiden nok skal runde alle de interessante aspekter og perspektiver af, hvordan man bedst tilgår emnet ”Generativ AI i Praksis”.
Klummer er læsernes platform på Computerworld til at fortælle de bedste historier, og samtidig er det vores meget populære og meget læste forum for videndeling.
Har du en god historie, eller har du specialviden, som du synes trænger til at blive delt?
Læs vores klumme-guidelines og send os din tekst, så kontakter vi dig - måske bliver du en del af vores hurtigt voksende korps af klummeskribenter.