Etică și AI. Între documente oficiale și roboți de război27 min read

Discuțiile privind ce este și ce nu este etic în materie de inteligență artificială au ajuns în sfârșit la nivelul politicului, însă mai există timp pentru a dezbate norme înainte ca armata să deschidă Cutia Pandorei?

Problema inteligenței artificiale care scapă de sub control și se întoarce împotriva noastră a trecut de mult de faza în care era doar o predicție futuristă întreținută de cărți și filme SF și a ajuns tot mai des un motiv real de îngrijorare pentru cercetători.„How Britain’s oldest universities are trying to protect humanity from risky A.I.”, cnbc.com Just, având în vedere că tehnologiile de inteligență artificială devin din ce în ce mai complexe de la an la altul, iar ritmul în care adoptăm tot soiul de tehnologii inteligente și din ce în ce mai automatizate crește. Marile puteri s-au prins în sfârșit de trend și au decis să aducă în discuție partea etică a problemei, dar există oare timp pentru reglementări înainte ca vârful militar al tehnologiei să ne propună primele sisteme care pot calcula când, unde și cum să ucidă?

CITEȘTE ȘI: Etică și AI. Putem avea încredere în roboți?

Etica europeană

Comisia Europeană a lansat în februarie o foaie de parcurs „On Artificial Intelligence -A European approach to excellence and trust”, europa.eu privind AI-ul și principiile folosirii acestuia pe viitor, pentru care cetățenii UE și acționarii companiilor interesate au avut ocazia de a oferi feedback până pe 14 iunie. Documentul a apărut la mai puțin de doi ani după ce aceeași instituție a anunțat într-o comunicare către Parlamentul EuropeanDisponibilă pe europa.eu că 24 de state membre doresc să coopereze pentru a stabili o serie de cadre juridice pentru viitorul AI-ului. Spre surprinderea nimănui, România nu s-a numărat printre ele.

Foaia de parcurs din februarie se concentrează pe principiile pe care spațiul european ar trebui să le ia în considerare atunci când legiferează inteligența artificială. Ele au fost grupate în cinci categorii majore de recomandări:

1. Sistemele AI să aibă acces la date suficiente pentru a respecta atât standardele de siguranță, dar și protecția datelor personale (GDPR) precum și Drepturile Omului și principiul egalității de șanse;
2. Păstrarea unei documentări clare despre procesul de dezvoltare și testare a sistemelor AI. Practic, asigurarea faptului că ele nu vor ajunge să se dezvolte autonom, fără să înțelegem modul în care ajung să funcționeze sau să ia anumite decizii (cunoscut și sub numele de black box effect /„The “black box” metaphor in machine learning”, towardsdatascience.com);
3. Informațiile legate de funcționarea și utilizarea acestora să fie transparente. De exemplu, utilizatorul/operatorul să cunoască capacitățile și limitele unui sistem și gradul de acuratețe al acestuia în task-urile pentru care este utilizat;
4. Sistemele în sine să fie predictibileAdică să poată obțină un număr finit de rezultate în operațiunile în care sunt folosite, ce pot fi reproduse oricând și să se poată adapta și reacționa atunci când vine vorba de erori, precum și în cazul atacurilor sau al tentativelor de manipulare;
5. Sistemele să fie supervizate de un element uman și să permită intervenția umană în orice moment.

Comisia lasă loc și altor recomandări mai specifice, în funcție de domeniu. Dar cam atât – documentul e mai mult un cadru vag pentru o viitoare legislație europeană decât un tratat asupra întrebărilor fundamentale legate de etica domeniului. În schimb, pentru acest aspect, instituția a întrunit un grup de experți care a publicat pe 8 aprilie un ghid de etică„Ethics guidelines for trustworthy AI”, europa.eu pentru dezvoltarea de „trustworthy AI”, termenul pe care Uniunea pare să îl prefere atunci când discută despre un viitor în care inteligența artificială ne va servi, în loc să ne domine.

La partea de etică, experții UE notează patru principii care ar trebui respectate în funcționarea sistemelor AI: respectul pentru autonomia umană asupra acestora, prevenirea cauzării sau exacerbării de daune (atât fizice cât și psihice) pentru oameni, respectarea echitățiiDocumentul tratează termenul în două aspecte: de fond și procedurale. În fond, echitatea e definită ca asigurarea distribuirii egale și juste atât a costurilor cât și a beneficiilor, precum și evitarea prejudecăților nedrepte, a discriminării și stigmatizării indivizilor. Pe partea procedurală, ar trebui să fie oferită abilitatea de a contesta și a cere daune pentru deciziile făcute de sisteme AI sau de operatorii acestora, ceea ce înseamnă că entitatea care are responsabilitatea pentru o decizie care provoacă daune ar trebui să fie obligatoriu identificabilă, iar procesul prin care s-a luat decizia să poată fi explicat și înțeles și capacitatea de a putea explica și înțelege procesul prin care acest tip de sisteme funcționează.

În același timp, există și disclaimerul că aceste principii ar putea intra în conflict între ele, iar ghidul oferă exemplul sistemelor controversate de poliție predictivă,Sisteme AI folosite pentru a identifica potențiale crime înainte ca acestea să aibă loc, fie prin pre-identificarea suspecților, a posibilelor victime sau a locurilor în care există posibilități ridicate de a avea loc infracțiuni care ar putea reduce nivelul criminalității, dar duc la activități de supraveghere și profiling care încalcă dreptul la intimitate și pot prelua din prejudecățile existente„AI Now: Predictive policing systems are flawed because they replicate and amplify racism”, thenextweb.com în sistemul legal actual. În aceste cazuri, autorii recomandă ca dilemele și compromisurile etice să fie obținute pe baza argumentelor și a rațiunii, în locul intuiției, iar unele aspecte și drepturi fundamentale, precum demnitatea umană, să fie excluse de la orice tip discuții privind compromisuri.

În practică, pentru a ajunge la dezvoltarea unui „trustworthy AI”, aceste patru principii se transformă în șapte recomandări pentru dezvoltatori.  Practic, sunt variante mai aprofundate ale recomandărilor cuprinse în foaia de parcurs pentru legiferare, dar se bazează pe aceleași criterii de a construi sistemele exclusiv în beneficiul și sub supervizarea oamenilor, la care se adaugă transparența, respectarea drepturilor și în special a legislațiilor privind datele personale și adaptabilitatea/siguranță tehnică. Mai interesante sunt metodele tehnice menționate în document, în special ideea că sistemele ar trebui concepute în așa fel încât să nu încalce diversele norme legale. Deși nu este menționată specific, autorii par să sugereze că nu este de ajuns să dezvolți un AI care este conform cu normele în vigoare, ci unul care să nu poată fi folosit, cel puțin fără modificări substanțiale, în scopuri ilicite.

Etica defectelor AI-ului

Documentele UE nu sunt primele care încearcă o abordare oficială a problemei eticii AI-ului. În octombrie 2019, un document similar„AI Principles: Recommendations on the Ethical Use of Artificial Intelligence by the Department of Defense”, govexec.com (PDF) a fost publicat de Departamentul Apărării din Statele Unite (DOD), care acoperă cam aceleași aspecte, dar grupate diferit. Dar, probabil și din cauza faptului că vorbim de o instituție din zona de apărare/securitate, se pune un accent mult mai mare pe posibilele rateuri pe care le-ar putea astfel de sisteme și pe cum s-ar putea preveni daunelor și consecințelor care ar putea rezulta. Grupat sub principiul de „guvernabilitate”, DOD recomandă dezvoltatorilor să plece de la ideea că sistemele AI vor eșua la un moment dat. Iar în acest caz, arhitectura fiecărui sistem ar trebui să permită identificarea posibilelor defecțiuni, dar și sistarea parțială sau totală a operațiunilor, în funcție de caz. Mai mult, este recomandată documentarea exactă și categorisirea robustă a modurilor în care sistemele pot eșua, astfel încât să nu existe situații în care comportamentul defectuos al unui AI să nu poată fi contracarat sau oprit înainte de a crea pagube majore.

Deocamdată, acestea sunt doar prime proiecte și documente oficiale pe tema eticii dezvoltării AI-ului, iar alte state care se numără printre liderii din domeniu, precum ChinaO analiză a strategiei AI a Beijingului, efectuată de compania de market research Seafarer, poate fi consultată aici (PDF) sau Japonia,„Artificial Intelligence Technology Strategy”, nedo.go.jp încă nu au inclus subiectul în strategiile lor oficiale despre inteligența artificială. Pe de altă parte, giganții tech sunt cu unul sau mai mulți pași în fața statelor în această privință: Google,Principiile pot fi consultate pe platforma ai.google.com  Microsoft„Responsible bots: 10 guidelines for developersof conversational AI”, microsoft.com (PDF) sau FacebookPrincipiile pot fi consultate pe ai.facebook.com au deja publicate norme pentru folosirea etică a AI-ului. Google are chiar o listă vagă de domenii și scopuri în care spune că nu va utiliza AI-ul, precum în cazul tehnologiilor de război sau celor de supraveghere. Dar nu vorbim de actori care au vreo responsabilitate în adoptarea de legi sau impunerea de standarde sociale. Asta s-a văzut când Google și-a desființat grupul de etică în AI„Exclusive: Google cancels AI ethics board in response to outcry”, vox.com la doar o săptămână după ce și-a publicat principiile, din cauza unor controverse ce planau în jurul unor membri.

Etică versus război

Google poate că nu are de gând să dezvolte arme inteligente, însă asta nu poate reprezenta o constrângere pentru actorii statali. În ghidul de etică al grupului de experți ai Comisiei, autorii susțin că există un „număr necunoscut” de state și companii care dezvoltă în momentul de față sisteme autonome de arme letale, de la rachete care își pot identifica din mers țintele până la sisteme de machine learning care pot decide să înceapă atacuri fără a fi nevoie de intervenție umană. De altfel, Parlamentul European a adoptat o rezoluțiePoate fi consultată pe europa.eu în septembrie 2018 în care cere dezvoltarea unui cadru legal în privința modului în care astfel de sisteme ar putea coexista cu respectarea Drepturilor Omului și a tratatelor internaționale.

Dar cât de aproape suntem, în fapt, de dezvoltarea unui Skynet? Dacă e să ne luăm după o analiză Foreign Policy „No, the Pentagon Is Not Working on Killer Robots—Yet”, foreignpolicy.com a strategiei AI pentru viitor publicate de Pentagon în februarie 2019, nu foarte aproape. De altfel, din punct de vedere legal, sistemul militar din Statele Unite încă definește armele autonome ca având mereu un element uman în circuitul de utilizare, conform unei directiveDisponibilă pe whs.mil (PDF) specifice din 2012. E adevărat că este interpretabil cât de mult trebuie să fie implicat operatorul, însă deocamdată cea mai mare forță militară a lumii nu are în curs de implementare sisteme care să ia decizii total pe cont propriu. În schimb, strategia Pentagonului se axează mai mult pe folosirea AI-ului pentru culegerea datelor de pe câmpul de bătălie, precum și în situații de asistență în caz de dezastru sau incendii masive de vegetație.

Sigur, este de așteptat și ca astfel de proiecte să fie „top-secret” în cazul în care există. Probabil niciun stat nu s-ar aventura să anunțe că dezvoltă un sistem care ar putea decide să omoare oameni de unul singur. Așa că poate este mai indicat să ne uităm la ce oferă industria militară, în momentul de față, pentru a ne face o idee despre cât de aproape suntem de mașini care ucid autonom.

Cel mai cunoscut și discutat exemplu este cel al folosirii dronelor controlate de la distanță sau autonome Predator, denumite  MQ-9 Reaper„Unmanned Aerial Vehicles (UAVs) – Comparing the USA, Israel, and China”, emerj.com în context militar, de către SUA. Chiar dacă sunt câteodată descrise ca drone autonome, ele de fapt au doar un sistem de zbor autonom până la o locație țintă; un operator trebuie să le identifice țintele și să selecteze modulul de tragere preferat pentru un atac. De altfel, deși sunt folosite din 2002, doar de curând au căpătat capacitatea de a decola și ateriza pe  cont propriu.„USAF auto-lands MQ-9 Block 5 Reaper for first time”, flightglobal.com/

Ele vor fi, însă, înlocuite în viitorul apropiat. Forțele Aeriene americane au anunțat de curând că au de gând să utilizeze un nou tip de dronă„Air Force Seeks MQ-9 Replacement By 2031”, airforcemag.com „invizibilă, autonomă și dispensabilă” până în 2031. Și mai interesant este că oficialii militari americani vor ca noile sisteme să fie „conforme cu principiile enumerate în Strategia Națională de Securitate 2018”, care includ autonomia, folosirea AI-ului, a tehnologiilor de machine learning și inginerie digitală, printre altele. Există deja contractori care au anunțat că au în curs de dezvoltare astfel de drone.„AI in Military Drones and UAVs – Current Applications”, emerj.com Combinate, aceste caracteristici ar putea indica o capacitate sau măcar un potențial mult mai ridicat de a automatiza arma decât în prezent, însă este greu de spus deocamdată dacă USAF caută o dronă în care factorul uman ar deveni doar o condiție morală în locul unei necisități.

Sigur, avansurile în AI și robotică se vor transpune, încet-încet, și în celelalte domenii ale războiului. Rusia are deja un tanc pseudo-autonom, dar de dimensiuni mici. Uran-9Detalii tehnice găsești pe army-technology.com poate fi controlat de la distanță de un singur operator, și poate identifica, detecta sau urmări ținte inamice pe un drum pre-setat de către acesta. La nivel de conflict naval, Statele Unite au în lucru prototip de submarin fără echipaj, Sea Hunter,„Sea Hunter: inside the US Navy’s autonomous submarine tracking vessel”,  naval-technology.com care ar putea fi folosit pentru patrule la un cost mult mai mic decât cel al folosirii navelor de război. Niciunul dintre aceste sisteme nu poate deschide focul fără instrucțiuni specifice de la un operator – dar având în vedere faptul că în rest se pot descurca aproape autonom, e discutabil dacă nu cumva un sistem AI mai avansat le-ar putea ghida la fel de bine. Iar când acest AI va fi disponibil, vor începe discuții probabil interminabile legate de dreptul acestuia de a ordona o acțiune potențial letală pentru un om.

Pe de altă parte, sisteme AI care ar putea deschide focul pe cont propriu sunt folosite de ani buni de Coreea de Sud în contextul conflictului mocnit din zonă. Vorbim de turete automate, similare celor folosite des în jocuri video. SGR-1,„Future Tech? Autonomous Killer Robots Are Already Here”, nbcnews.com produse de Samsung, sunt folosite pe post de santinele la limitele zonei demilitarizate dintre cele două state coreene, pot identifica automat persoane care încearcă să traverseze zona și pot oferi avertismente verbale. Însă, deși au capabilitatea de a deschide focul autonom, au nevoie de aprobarea unui operator uman pentru a o face.

Această necesitate a prezenței unui operator uman, nu doar în context militar, a fost considerată multă vreme motiv pentru a evita sau amâna discuțiile privind etica AI-ului în diverse domenii, sau a de a proiecta motivele de îngrijorare într-un viitor mai îndepărtat. Însă, după cum o arată și noile documente care tratează problema într-un mod oficial și pregătesc domeniul pentru viitoare reglementări, o discuție la nivel global nu va mai putea fi amânată prea mult. Mai ales în contextul în care avem o situație internațională fără mari perspective de detensionare, în care avansurile în materie de tehnică militară vor fi considerate în continuare priorități de către marile puteri, iar resursa umană este finită și, cel puțin teoretic, mai puțin dispensabilă decât mașinăriile.