Artikel top billede

Grafik: Dansk Sprognævn

Linux-baseret sprogteknologi jagter nye danske ord

Linux-maskineri kodet hos Dansk Sprognævn tygger hver måned 20 millioner ord igennem på jagt efter friske danske ord.

20 millioner ord om måneden.

Så mange slipper Dansk Sprognævn hver måned sinLinux-baserede crawler løs på i jagten efter friske og nye danske ord.

Dermed er der ikke meget støv og fjerpen over arbejdet med ordene hos vogterne af det danske sprog, som netop har offentliggjort de nye fund i danskernes brug af sproget det seneste år.

I stedet bruger Dansk Sprognævn Linux-baserede servere med perl- og java-programmerede applikationer som institutionens egne kodekarle har tunet til automatisk at surfe nettet tyndt efter nye danske ord.

"Vi koder vores ord direkte i xml, og vi genererer automatisk vores ordbøger ud fra vores xml-filer."

Det fortæller Sabine Kirchmeier-Andersen, direktør hos Dansk Sprognævn.

"Vi bruger typisk dagbladene og fagbladene. Vi får nogle ting elektronisk, som vi gerne må bruge. Og dem sender vi så vores ordtrawler ind på," siger hun.

Men hvordan bærer Dansk Sprognævn sig ad med at lede efter ord, som endnu ikke findes?

"Det er en sprogteknologisk udfordring, som vi har arbejdet meget med," forklarer hun til Computerworld.

Sorterer ordene

"Vi sorterer alle ordene. Vi får cirka 20 millioner ord om måneden. Og dem kører vi op mod de databaser, vi har i forvejen," siger direktøren.

Hun forklarer, at de 20 millioner ord består af alt muligt indhold og typisk stammer fra aviser. Men indholdet kan også stamme fra blogs.

"Vi prøver hele tiden at udvide området. Vi trækker ordene ud af al den tekst, vi kan få fat i lovligt," siger hun.

De 20 millioner bruttoord indeholder ifølge Sabine Kirchmeier-Andersen "en masse junk" i form af ad hoc-nye forkortelser, stavefejl og navne.

Når sprognævnets computere har filtreret alt junk fra, ender sprogforskerne med omkring 30.000 bogstavkombinationer, som ikke tidligere er set.

"Det er simpelthen ukendte ordstrenge, som ikke matcher noget, vi har i forvejen. Og computeren kan ikke se, om disse strenge betyder noget," siger Sabine Kirchmeier-Andersen.

Derfor skal der yderligere filtrering til for at sortere i de mange bogstavstrenge.

Et af midlerne er maskinel sortering hvor man ser bort fra endelser og bøjningsformer, fortæller hun.

Desuden handler det om at lede efter specifikke tekstmønstre, som signalerer, at her er der formentlig tale om et nyt ord. Det kan eksempelvis være ordet 'såkaldte', som ofte efterfølges af et nyt ord, forklarer sprogdirektøren.

Bedømmer sandsynligheden

Hun forklarer, at nævnet også benytter statistisk processering til at bedømme, hvad sandsynligheden er for, at et ord er nyt.

"Når vi er færdige med alle de her filtre, så er der måske et par tusind ord tilbage om måneden, som vi kigger på manuelt," siger Sabine Kirchmeier-Andersen.

Den manuelle gennemgang af ordene ender typisk med omkring 200 nye, rigtige ord om måneden som Dansk Sprognævn stopper i deres database.

Nogle af dem finder med tiden vej til ordbogen Nye Ord i Dansk, der er offentligt tilgængelig på nævnets hjemmeside.




Brancheguiden
Brancheguide logo
Opdateres dagligt:
Den største og
mest komplette
oversigt
over danske
it-virksomheder
Hvad kan de? Hvor store er de? Hvor bor de?
Ciklum ApS
Offshore software- og systemudvikling.

Nøgletal og mere info om virksomheden
Skal din virksomhed med i Guiden? Klik her

Kommende events
Bliv klar til AI Act: Det vil påvirke både din udvikling, drift og organisation

Fordelene ved at anvende kunstig intelligens bliver stadig mere udtalte, og både som virksomhed og myndighed er det i stigende grad uholdbart ikke at udforske mulighederne. Men der er også risici forbundet på den nye teknologi, og på dette formiddagsseminar ser vi på, hvordan verdens første regulatoriske kompleks – EUs kommende AI Act – adresserer behovet for en etisk, ansvarlig og kontrolleret anvendelse af AI.

20. august 2024 | Læs mere


Det Digitale Produktpas

Kom med og hør om, hvordan du kommer i gang med at sikre din virksomhed er klar til Det Digitale Produktpas. Vi sætter fokus på, hvordan du bliver klædt på til at få styr og struktur på dine data, samt hvilke krav du skal sætte til dine leverandører og andre i din værdikæde, for at sikre den nødvendige information er tilgængelig.

21. august 2024 | Læs mere


Cyber Security Summit 2024

På Cyber Security Summit får du indsigt i det aktuelle trusselslandskab, overblikket over de nyeste værktøjer og trends indenfor sikkerhedsløsninger, indsigt i de relevante rammeværktøjer og krav samt de bedste løsninger og værktøjer til at sikre effektiv drift og høj compliance.

27. august 2024 | Læs mere