Artikel top billede

(Foto: Nvidia)

Forskere snød AI-software til at lække persondata

Nvidia-værktøjet er tiltænkt at skulle kunne hjælpe med blandt andet chatbot-baseret kundeservice. Men forskere fra AI-konsulentvirksomheden Robust Intelligence fik lokket værktøjet på afveje.

Værktøjet NeMo Framework, der bruger Nvidias data til at generere udefrakommende svar til eksempelvis kundeservice baseret på chatbots, er blevet snydt til at lække persondata.

Det skriver Ars Technica.

Det er forskere fra Robust Intelligence, der har bedt værktøjet, som Nvidia står bag, om at bytte om på bogstaverne 'i' og 'j', hvilket snød værktøjet til at frigive oplysningerne.

Forskerne opdagede også, at de kunne omgå sikkerhedskontroller på andre måder.

Eksempelvis ved at få værktøjet til at afvige på måder, den ikke er tiltænkt at fungere på.

Ved at efterligne Nvidias eget eksempel på en diskussion om en jobrapport kunne forskerne få modellen til at beskæftige sig med emner som en Hollywood-filmskuespillers helbred og den fransk-tyske krig, selvom sikkerhedsforanstaltninger er designet til at forhindre AI'en i at bevæge sig ud over bestemte emner, lyder det.

Nvidias VP for anvendt forskning, Jonathan Cohen, siger til mediet, at værktøjet er udgivet som open source-software, så mulighederne kunne udforskes, og der kunne gives feedback samt bidrages til nye state of the art-teknikker.

Om fejlen, som forskerne fra Robust Intelligence fandt, lyder det fra Cohen, at de "identirficerede yderligere skridt, der ville være nødvendige for at implementere en produktionsapplikation."

Han ville dog ikke sige, hvor mange virksomheder der bruger produktet.

Til mediet siger han dog, at virksomheden ikke har modtaget andre rapporter om, at værktøjet har opførte sig uhensigtsmæssigt.




Brancheguiden
Brancheguide logo
Opdateres dagligt:
Den største og
mest komplette
oversigt
over danske
it-virksomheder
Hvad kan de? Hvor store er de? Hvor bor de?
JN Data A/S
Driver og udvikler it-systemer for finanssektoren.

Nøgletal og mere info om virksomheden
Skal din virksomhed med i Guiden? Klik her

Kommende events
PCI og cloud-sikkerhed: Strategi til beskyttelse af betalingsdata

Er din organisation klar til de nye PCI DSS 4.0-krav? Deltag i vores event og få indsigt i, hvordan du navigerer i compliance-udfordringerne i en cloud-drevet verden.

16. januar 2025 | Læs mere


Strategisk It-sikkerhedsdag 2025, Aarhus: Viden om trusler og tendenser – Beskyt din virksomhed

Gå ikke glip af årets vigtigste begivenhed for it-sikkerhedsprofessionelle! Mød Danmarks førende eksperter, deltag i inspirerende diskussioner og få praktisk erfaring med de nyeste teknologier. Bliv klogere på de seneste trusler og lær, hvordan du bedst beskytter din virksomhed mod cyberangreb. Tilmeld dig nu og vær på forkant med fremtidens cybersikkerhedsudfordringer.

21. januar 2025 | Læs mere


Strategisk It-sikkerhedsdag 2025, København: Viden om trusler og tendenser – Beskyt din virksomhed

Gå ikke glip af årets vigtigste begivenhed for it-sikkerhedsprofessionelle! Mød Danmarks førende eksperter, deltag i inspirerende diskussioner og få praktisk erfaring med de nyeste teknologier. Bliv klogere på de seneste trusler og lær, hvordan du bedst beskytter din virksomhed mod cyberangreb. Tilmeld dig nu og vær på forkant med fremtidens cybersikkerhedsudfordringer.

23. januar 2025 | Læs mere






White paper
SAP: Skab værdi og minimér omkostninger med effektiv dokumenthåndtering