93 de pagini de avertismente despre AI: ce recunoaște compania care a creat Claude

claude
Anthropic a dedicat 93 de pagini din documentația pentru listarea la bursă riscurilor pe care le-ar putea genera inteligența artificială: de la pierderea controlului asupra modelelor la atacuri cibernetice și procese.

Anthropic, compania care dezvoltă chatbotul Claude, a inclus în documentația depusă pentru listarea la bursă o amplă secțiune despre riscurile tehnologiei sale. Din cele 335 de pagini ale documentului, 93 sunt dedicate factorilor care ar putea afecta compania și investitorii, inclusiv scenariilor în care sistemele de inteligență artificială ar scăpa de sub control.

Documentul S-1 a fost depus la Comisia pentru Valori Mobiliare și Burse din SUA (SEC) pe 26 octombrie. Secțiunea „Risk Factors” începe la pagina 26 și se încheie la pagina 119. sec.gov

Modelele ar putea rezista opririi și ar putea manipula oamenii

Anthropic avertizează că modelele sale avansate ar putea genera „riscuri catastrofale sau existențiale pentru omenire”. Compania recunoaște că menținerea măsurilor de siguranță ar putea deveni dificilă pe măsură ce sistemele capătă mai multă autonomie și sunt folosite într-un număr tot mai mare de domenii.

Potrivit documentului, unele modele ar putea manifesta comportamente prin care încearcă să-și păstreze funcționarea sau accesul la resurse. Acestea ar putea „rezista opririi” ori ar putea recurge la manipulare, inclusiv la comportamente asemănătoare șantajului, pentru a convinge oamenii să le mențină active.

Compania menționează și posibilitatea ca un model să acționeze în contradicție cu intenția inițială a utilizatorului, de exemplu prin accesarea unor sisteme ale unor terți. Pe măsură ce sistemele devin mai autonome, consecințele unor astfel de comportamente ar putea fi mai grave, avertizează Anthropic.

Riscul nu se limitează la acțiunile autonome ale modelelor. Chiar și atunci când oamenii păstrează controlul, tehnologia ar putea fi folosită în scopuri ilegale. Anthropic enumeră dezvoltarea de arme, atacurile cibernetice și alte forme de abuz.

Îmbunătățirea modelelor ar putea depăși capacitatea de verificare

Un alt risc ține de folosirea inteligenței artificiale pentru dezvoltarea unor modele viitoare, proces cunoscut drept „îmbunătățire recursivă” (recursive self-improvement – RSI). Anthropic spune că tehnologia nu are încă această capacitate, dar avertizează că progresul ar putea ajunge mai repede decât sunt pregătite companiile și autoritățile.

Dacă modelele contribuie la construirea succesorilor lor, defectele sau erorile ar putea fi reproduse și în generațiile următoare, iar depistarea și corectarea lor ar putea deveni dificile. Ritmul de dezvoltare ar putea fi atât de rapid încât compania să nu mai aibă suficient timp pentru a evalua și securiza fiecare model nou. sec.gov

Atacurile cibernetice și riscul din interiorul companiei

Anthropic avertizează că persoane din afara companiei, inclusiv actori susținuți de state, ar putea încerca să obțină acces neautorizat la datele sale. Printre informațiile vizate s-ar putea afla detalii financiare, date despre modele, proprietate intelectuală și informații personale ale utilizatorilor.

Documentul menționează și riscuri interne. Atacatorii ar putea încerca să obțină un loc de muncă la companie folosind o identitate falsă, iar angajații ar putea fi constrânși să transmită date sensibile unor persoane din exterior.

Posibile procese, dar asigurări insuficiente

Compania admite că ar putea fi dată în judecată pentru daune provocate de modelele sale. Anthropic avertizează însă că este posibil să nu poată obține o asigurare suficientă pentru aceste riscuri, deoarece industria asigurărilor nu a mai acoperit până acum expuneri de acest tip.

„În cazul amplorii prejudiciilor care ar putea rezulta dintr-un incident catastrofal legat de AI, niciun asigurător și, posibil, nici industria asigurărilor în ansamblu nu ar putea avea capacitatea sau expertiza necesare pentru a oferi o acoperire proporțională cu expunerea”, a transmis compania în documentul depus la SEC. sec.gov

Avertismentele apar într-un moment în care Anthropic încearcă să convingă investitorii de potențialul economic al inteligenței artificiale. Așa cum arată și relatarea CBS News, compania își prezintă tehnologia drept una capabilă să transforme economia, dar admite în același timp că dezvoltarea și utilizarea ei pot produce efecte grave.

Experți citați de CBS News observă tensiunea dintre cele două mesaje: valoarea companiilor de AI depinde de răspândirea tehnologiei, în timp ce dezvoltatorii avertizează că aceasta ar putea provoca prejudicii la scară largă. Riscurile sunt incluse în prospect pentru ca investitorii să le poată lua în calcul înainte de a cumpăra acțiuni.

Actualitate Vezi toate articolele
x close