Un sistem AI creat de o româncă analizează fotografii și detectează falsuri în artă33 min read

Art Recognition, o companie care folosește inteligența artificială pentru a autentifica operele de artă, este co-fondată de Carina Popovici, de origine română. Printre cele 40 de falsuri identificate cu acest sistem se numără lucrări atribuite lui Monet și Renoir, găsite pe eBay.

Zilele trecute, mi-au apărut în feed niște imagini cu Jason Momoa în chip de Mica Sirenă,// Poți să-l admiri și tu aici: instagram.com // perfect integrat în decor. Dacă în urmă cu doar un an, fake-urile realizate cu AI erau destul de ușor de reperat cu ochiul liber, în prezent sunt atât de convingătoare încât singurele lucruri care te ajută să desparți realitatea de ficțiune sunt fie propria rațiune, fie absurdul situației și, dacă niciuna dintre cele două nu funcționează, niște căutări serioase pe internet. În cazul lui Momoa, nu e așa greu să îți dai seama că imaginile din fața ta sunt fake, deși, vizual, nimic nu trădează asta. În cazul artei, e un pic mai complicat.  

Dr. Carina Popovici lucrează însă cu armele AI-ului pentru a rezolva fix această problemă. Este director executiv și co-fondatoare a companiei elvețiene Art Recognition,// Site oficial: art-recognition.com // care colaborează în domeniul cercetării cu Universitatea Liverpool și Universitatea Tilburg din Țările de Jos.

Pictura “A View of Het Steen in the Early Morning”, de Rubens. Foto: Wikimedia/Public domain

Tehnologia Art Recognition folosește două tipuri de rețele neuronale artificiale cu ajutorul cărora analizează lucrările artiștilor în cele mai mici detalii, de la tușe până la paletele de culori. Art Recognition a aplicat-o la mai mult de 500 de lucrări din diverse colecții. De exemplu, sistemul Art Recognition a atribuit o probabilitate de 98,76% ca pictura A View of Het Steen in the Early Morning din Galeria Națională din Londra// O poți vedea aici: nationalgallery.org.uk // să fie un Rubens autentic, dar a contestat autenticitatea picturii Samson și Dalila,// A aceluiași Rubens, nationalgallery.org.uk // ceea ce confirmă vechile îndoieli ale unor critici care suspectau că ar putea fi o copie.// „Is “Samson and Delilah” a Fake?”, spiegel.de //

Tehnologia lor a ajutat și la clarificarea situației unor lucrări contestate, cum ar fi un autoportret din 1889 al lui Vincent van Gogh din Muzeul Național din Oslo. După ce lucrarea a fost analizată de AI, autenticitatea ei a fost confirmată.// „A genuine van Gogh”, nasjonalmuseet.no //  

Noile tehnologii bazate pe AI au dus posibilitatea de a identifica falsurile online la un alt nivel. „În trecut, era foarte dificil să identifici aceste lucruri, pentru că nu puteai lua mostre dintr-o imagine de pe internet. Dar, cu noua tehnologie, este ușor. Poți descărca o imagine și, în zece minute, veți ști”, spune dr. Popovici. Practic, inteligența artificială simplifică și rezolvă rapid (și imparțial) o problemă complexă într-un sector care, în mod tradițional, se bazează pe judecăți subiective ale experților umani.

Se anunță zile grele pentru falsificatorii de artă. 

CITEȘTE ȘI: Cum îți dai seama dacă un tablou e fals?

Dr. Carina Popovici. Foto: Gaby Trujillo

Cum identifici autenticul într-o lume post-adevăr

Carina Popovici a crescut într-o localitate din apropierea Bucureștiului. În România, a studiat fizica. Apoi, a finalizat doctoratul în fizica teoretică a particulelor la Universitatea din Tübingen, Germania. A fost cercetător asociat în orașele Coimbra din Portugalia și Giessen din Germania. Ulterior, s-a mutat la Zurich, în Elveția, unde a lucrat ca analist de risc financiar la Credit Suisse. În 2019, a fondat Art Recognition împreună cu colega sa, Christiane Hoppe-Oehl.

„Inspirația pentru dezvoltarea acestui program a apărut în 2018, în urma discuțiilor cu un istoric de artă care m-a făcut să devin conștientă de problema autentificării pe piața de artă. Fiind pasionată de domeniu, am vrut neapărat să-mi pun competențele tehnice în slujba artei”, spune Carina Popovici. „Misiunea mea este să promovez transparența și obiectivitatea pe piața de artă, folosind tehnologii AI de ultimă oră.”

Art Recognition a fost fondată înainte de revoluția AI, într-o perioadă în care piața de artă era încă destul de sceptică față de noile tehnologii. Pe lângă dezvoltarea unui program AI avansat pentru autentificarea și detectarea falsurilor în artă, Art Recognition își asumă și un rol educațional și explică felul în care tehnologia poate îmbunătăți transparența și obiectivitatea pe piața artei.

„La acea vreme, nu existau programe de calculator pentru această provocare, așa că am început să scriu eu însumi un program în timpul liber”, spune Popovici. „În cele din urmă, am renunțat la jobul meu la bancă și am înființat o companie. În primul an, am obținut un grant de cercetare de la Uniunea Europeană. Acest grant ne-a oferit finanțarea necesară pentru a dezvolta programul fără presiunea de a căuta investitori sau de a face față provocărilor tipice pentru startup-uri.”

Autentificarea artei se bazează tradițional pe expertiza și judecata subiectivă a cunoscătorilor, care rămân autoritatea principală în acest domeniu. Însă această metodă este vulnerabilă la prejudecăți, interpretări individuale și erori umane. Iar dependența de un singur expert este problematică și pentru că pune o putere imensă în mâinile unei singure persoane.

„Diferența este că introducerea tehnologiilor AI oferă soluții promițătoare și transparente pentru rezolvarea problemelor în autentificarea artei, fiindcă poate furniza analize bazate pe date și dovezi obiective”, spune Carina Popovici.

Rezultate rapide și precise, cu tehnologie AI de ultimă oră

Tehnologia patentată folosită de Art Recognition, susținută de modele precise și o bază de date extinsă, a fost publicată în reviste de informatică după o evaluare riguroasă de către colegii din știință.// „Art authentication with vision transformers”, link.springer.com // Procesul de autentificare implică compararea caracteristicilor lucrării analizate cu cele ale operelor originale ale artistului respectiv. „Ce este cel mai satisfăcător este că, dincolo de faptul că programul este accesibil și rentabil, rezultatele precise, 100% obiective și imparțiale, sunt primite în doar câteva zile”, spune Popovici. „Indiferent unde se află opera supusă analizei, ea va fi autentificată digital și astfel, complicațiile cu taxele de transport și asigurare vor fi eliminate.”

În același timp, prin folosirea tehnologiei, valoarea operelor de artă este protejată, fie că sunt expuse în muzee, deținute de colecționari sau vândute pe piața de artă. „Verificarea operelor de artă presupune un parcurs costisitor, consumator de timp și adesea subiectiv”, spune co-fondatoarea Art Recognition. „În mod tradițional, comunitatea artistică apelează la experți care solicită ca obiectul de artă să le fie livrat fizic, îl studiază și apoi decid dacă este probabil să fie sau nu al artistului presupus. Prin autentificarea AI, acești pași sunt săriți, iar lucrarea este ferită de eventuale deteriorări.”

Tehnici de învățare automată și viziune computerizată

Pentru a determina autenticitatea operelor de artă, Art Recognition utilizează două tipuri de rețele neuronale artificiale: o rețea neuronală convoluțională (Convolutional Neural Network – CNN) și un transformator de viziune cu ferestre deplasate (Shifted Window Vision Transformer – SWIN). 

Rețelele neuronale convoluționale (CNN)// Detalii pe wikipedia.org // sunt utilizate în principal pentru procesarea și analiza imaginilor și sunt inspirate de modul în care funcționează cortexul vizual al creierului uman. CNN-urile sunt utilizate pe scară largă în recunoașterea obiectelor, clasificarea imaginilor sau segmentarea imaginilor.

Pe de altă parte, SWIN-ul// „Swin Transformer: Hierarchical Vision Transformer using Shifted Windows”, computer.org // este un tip avansat de model de rețea neuronală, conceput pentru sarcini de viziune computerizată, care utilizează mecanismul de atenție pentru a procesa informațiile din imagini prin utilizarea unui mecanism de fereastră deplasată.

Imaginează-ți că ai o imagine mare și aplici o grilă peste ea pentru a o împărți în mai multe pătrate mici (ferestre). În prima etapă, aplici mecanismul de atenție pe fiecare pătrat. Apoi, deplasezi ușor grila, astfel încât noile pătrate să se suprapună parțial peste cele vechi. Aplici din nou mecanismul pe noile pătrate. Acest proces permite modelului să integreze informațiile de la marginea fiecărui pătrat inițial și să capteze mai bine contextul general al imaginii.

„Aceste tehnici de ultimă generație au fost adaptate pentru a clasifica operele de artă ca autentice sau neautentice”, spune Carina Popovici. „În timp ce CNN-urile au excelat în mod tradițional în clasificarea imaginilor, SWIN-urile reprezintă o arhitectură modernă, iar Art Recognition a fost lider în adaptarea acestora pentru autentificarea artei. Tehnologia noastră AI poate detecta falsurile digitale produse de inteligența artificială generativă, datorită includerii operelor autentice și imitațiilor în seturile noastre de date. Studiile recente arată că integrarea imaginilor sintetice, generate de algoritmi AI, crește precizia sistemului nostru de autentificare.”// „Synthetic images aid the recognition of human-made art forgeries”, arxiv.org //

Colectarea și preprocesarea datelor și un AI antrenat pe falsuri

Art Recognition are o bază de date internă cu imagini de înaltă calitate ale operelor de artă autentice, de la vechii maeștri până la artiști contemporani. Pentru fiecare artist, sunt colectate imagini autentice și combinate cu fotografii ale unor falsuri documentate, lucrări create de imitatori și lucrări generate de AI. „Creăm multiple versiuni ale fiecărei imagini prin ajustarea contrastului, nuanței și luminozității, pentru a ajuta AI-ul să identifice trăsăturile esențiale indiferent de condițiile de fotografiere. Acest proces îmbunătățește capacitatea algoritmului de a distinge între opere autentice și falsuri”, explică dr. Popovici. 

Din imaginile pe care se antrenează, inteligența artificială captează detalii fine, precum tehnica de pensulă, contururile, formele și variațiile de culoare, dar și elemente de compoziție – repetarea motivelor, plasarea obiectelor și proporțiile generale. Odată finalizat procesul de învățare, AI-ul poate recunoaște aceste caracteristici în opere de artă pe care nu le-a mai văzut anterior.

„Utilizăm validarea încrucișată, împărțind datele în subseturi, antrenând modelul pe majoritatea imaginilor și evaluându-l pe un subset mai mic”, spune Carina Popovici. „Repetarea acestui proces cu diferite subseturi ajută la identificarea celui mai eficient model și asigură, în același timp, performanțe bune în diferite seturi de date, lucru care sporește puterea și coerența modelului.” 

Lucrurile nu sunt întotdeauna ușoare nici pentru AI. Mai ales cu picturile (atribuite) lui Rafael

În cazul operelor mai vechi, Art Recognition folosește și literatura disponibilă pentru a distinge operele create de maeștri de cele realizate de ucenici, mai ales pentru perioada renascentistă și barocă, dar nu numai. În cazul pictorului italian Amedeo Modigliani, de exemplu, dificultatea principală în autentificarea operelor sale provine din existența mai multor cataloage de autentificare, create de diverși experți, care prezintă diferențe legate de evaluare și recunoașterea unor lucrări. În astfel de situații, Art Recognition folosește doar operele acceptate de toți experții pentru a antrena algoritmul de inteligență artificială. 

Pictura “De Brecy Tondo Madonna”. Foto: DeBrécy Trust

Dintre cele peste 500 de lucrări analizate până în prezent de Art Recognition, câteva au fost cu adevărat speciale. În 2023, pictura De Brecy Tondo Madonna// „The de Brecy Tondo, Madonna and Child at Cartwright Hall Art Gallery, Bradford, July 2023 – January 2024”, bradfordmuseums.org // a fost autentificată inițial ca o capodoperă creată de Rafael. Pentru asta, s-a folosit un sistem AI de la Universitatea Bradford, care a arătat o asemănare de 95% cu Madonna Sixtină a lui Rafael.// „Raphael discovered by facial recognition technology”, bradford.ac.uk // Art Recognition a realizat o analiză proprie și a obținut o probabilitate de 85% ca lucrarea De Brecy Tondo Madonna să nu fi fost creată de Raphael, datorită unei abordări diferite a AI-ului, care a luat în considerare elemente artistice precum tehnica pensulei și cromatica. Diferențele în rezultatele AI sunt datorate metodelor distincte și seturilor de date utilizate.

Raffaello Sanzio, cunoscut sub numele de Rafael, a fost un pictor european proeminent al Renașterii înalte de la începutul secolului al XVI-lea. În timpul scurtei sale vieți de artist, Papa, curtea și patronii bogați i-au comandat compoziții religioase și lucrări mai mici, precum portrete. Odată ce Rafael s-a stabilit ca pictor la Roma și a început să lucreze la fresce mai mari, a angajat asistenți și elevi care au devenit parte a atelierului său.

În ceea ce privește tehnica sa, se pare că toate picturile sale timpurii au fost executate folosind ulei sau tempera cu ouă. Ulterior, el a folosit numai vopsele în ulei, deoarece în acea perioadă, în Italia, acestea erau tot mai des folosite de artiști. Vopseaua lui Rafael conținea adesea orpiment,// Pigment natural de arsen, de culoare galbenă-strălucitoare. // care era folosit și de Leonardo da Vinci sau Michelangelo. 

Un alt client a solicitat Art Recognition să autentifice o pictură descoperită în 1995 în zona rurală din Anglia. Pictura în cauză o înfățișează pe Maria legănându-l pe pruncul Iisus, în timp ce Elisabeta și tânărul Ioan Botezătorul îi privesc afectuos. În fundal se află un stejar cu un ghiocel, un simbol al crucificării în antichitate. În ceea ce privește proveniența, clientul știa că a aparținut, din 1836, Surorilor Carității din Nazareth, o mănăstire din Kentucky. 

Clientul a explicat că episcopul Joseph Benedict Flaget, unul dintre fondatorii Ordinului, a donat tabloul către mănăstire. Acesta este motivul pentru care pictura și-a primit numele, Madonna Flaget.// Tabloul are un site dedicat: raphael-flagetmadonna.com //

„Convins că a descoperit un tablou valoros, clientul a petrecut zeci de ani cercetând dacă acesta ar putea fi creat de Rafael”, spune Carina Popovici. „Prezentarea Madonnei Flaget mai multor istorici de artă a generat dezbateri privind autenticitatea, unii considerând că ar putea fi parțial realizată de asistenții săi. Art Analysis & Research din Londra a datat aproximativ pictura și a confirmat prezența orpimentului, excluzând alți artiști ai perioadei. AI-ul nostru a arătat că fețele Mariei și ale lui Iisus sunt realizate de Rafael cu o probabilitate de 97%, în timp ce restul picturii a fost evaluat ca nefiind realizat de Rafael. Aceste rezultate ar putea încuraja o reevaluare a picturii.” 

Pictura “Rinaldo și Armida”. Foto: Wikimadia/Public domain

Puși sub lupă și analizați termic

Nicolas Poussin, un pictor francez activ în Italia, este cunoscut pentru picturile sale dramatice și emoționale. Tabloul Armide și Renaud, analizat de Art Recognition, a fost autentificat inițial în 2022 și reanalizat în 2024 folosind tehnologie AI avansată. Reevaluarea a ajustat datarea lucrării la începutul anilor 1630 și a crescut probabilitatea autenticității tabloului de la 78,9% la 84%. Aceasta a adus informații valoroase despre lucrările timpurii ale lui Nicolas Poussin și a evidențiat diferențele față de versiunea din Gemäldegalerie, Berlin. Aceste descoperiri subliniază importanța tehnologiei moderne în procesul de autentificare a artei, confirmând contribuția lui Poussin la această lucrare​ 

Vincent van Gogh, autoportret. Foto: Nasjonalmuseet Børre-Høstland

În 2019, Art Recognition a fost solicitat de un expert în van Gogh să analizeze mai multe picturi, inclusiv un controversat autoportret din Muzeul Național Norvegian din Oslo. Fără a cunoaște cercetările recente, AI-ul a clasificat autoportretul ca autentic cu o probabilitate de 97%. Analiza a fost confirmată de Muzeul van Gogh în 2020. 

În 2010, Wolfgang Beltracchi a fost arestat de poliția germană pentru falsificarea a cel puțin 30 de picturi, vândute pentru 45 de milioane de dolari. El a mărturisit că a falsificat lucrări de Max Ernst, Heinrich Campendonk, Andre Derain și Max Pechstein și a fost condamnat la șase ani de închisoare.

Beltracchi folosea un proiector de imagini pentru a reproduce trăsăturile picturilor pe pânze mai mari. Chiar și așa, AI-ul Art Recognition a clasificat lucrarea Seine Bridge with Freight Barges de Max Pechstein// Detalii pe art-recognition.com // ca neautentică, cu o probabilitate de 94,75%. 

AI-ul declanșează o revoluție pe piața artei

Carina Popovici crede că tehnologia AI va continua să evolueze în domeniul autentificării artei în următorul deceniu și mai departe de el. „Are potențialul de a determina schimbări profunde și pozitive în acest domeniu, iar Art Recognition ține pasul cu această mișcare”, spune ea. „Sistemul nostru de autentificare se bucură deja de încrederea a sute de colecționari de artă și instituții care apreciază obiectivitatea și transparența pe care le oferim. Instituții importante precum Kunsthaus Zurich au început chiar să analizeze mai atent picturile din colecțiile lor, pe baza informațiilor noastre.” 

Cu toate acestea, există și preocupări legate de aceste sisteme AI, inclusiv potențialul acesteia de a imita stilurile artiștilor renumiți și de a crea falsuri digitale. „Pentru a contracara această situație, am inclus falsuri generate de AI ca exemple negative în setul nostru de date, pentru a antrena AI să facă diferența între operele autentice și falsurile grosolane”, spune Popovici.

Dincolo de autentificare, există și alte domenii în lumea artei în care există potențiale aplicații pentru tehnologia AI. „Un nou proiect pe care îl dezvoltăm în prezent se concentrează pe atribuirea operelor de artă. Clienții ne solicită frecvent să identificăm creatorii necunoscuți ai operelor de artă pe care le dețin”, spune Popovici. „Nu este vorba doar despre verificarea unor artiști cunoscuți, cum ar fi confirmarea unui Van Gogh, este vorba despre găsirea artistului din spatele unei picturi prețioase pe care cineva a moștenit-o. Pentru a răspunde acestor solicitări, trebuie să perfecționăm tehnologia și să extindem baza de date cu artiști, pentru a asigura astfel o acoperire completă și o acuratețe maximă.”

Poți să pui și tu umărul la acest proces, dacă ești interesat de artă și AI. Art Recognition primește în mod constant stagiari și masteranzi în echipă. Carina Popovici te încurajează să aplici pentru un schimb de idei și experiență practică. „Oferim supervizarea tezelor de masterat și prezentăm proiecte captivante studenților excepționali. Dacă ești masterand în informatică sau într-un domeniu conex, precum și în istoria artei, nu ezita să iei legătura cu noi.”

Cea mai satisfăcătoare parte din munca Art Recognition este că a reușit să introducă această tehnologie pe piața de artă și să o impună ca instrument standard pentru autentificare. „Am investit mult timp pentru a explica funcționalitatea și beneficiile sale, am îmbunătățit procesele existente și am crescut transparența. Am ajutat oamenii să înțeleagă că inteligența artificială nu trebuie privită cu teamă, ci celebrată și adoptată”, spune Popovici.

Cea mai mare provocare rămâne totuși scepticismul experților în artă. Inițial, unii au văzut tehnologia AI ca pe o amenințare. Însă Popovici vrea să-i liniștească. „Intenția noastră este să colaborăm și să sprijinim experții, nu să-i înlocuim. Dar va dura ceva timp până când această teamă va dispărea complet.”