Despre știință și cercetare în domeniul medical dincolo de „nou” și „senzațional”40 min read

Despre știință și cercetare în domeniul medical dincolo de „nou”, „inovator” și „senzațional”, într-un interviu exclusiv cu John P. A. Ioannidis, profesor la Stanford University, realizat de Sorina Vasile, Monica Georgescu și Aurel F. Marin.

Știința este în criză. Majoritatea lucrărilor academice publicate în ultimii ani sunt exagerate sau false. Frauda, bias-ul și presiunea de a publica mult în detrimentul calității sunt tot mai frecvente în sistemele de învățământ superior din toată lumea. Acest fenomen poate avea consecințe dramatice în domenii precum medicina, unde studiile nou apărute afectează diagnosticul și tratamentul oamenilor bolnavi.

Medicul american de origine greacă John Ioannidis, profesor de medicină, cercetare și politici de sănătate la Universitatea Stanford, a semnalat public problema încă din vara lui 2005, când a publicat în PLoS Medicine „De ce cele mai multe rezultate ale cercetării publicate sunt false”. Demersul lui a dus la dezvoltarea unei discipline numită meta-cercetare, care analizează motivele pentru care oamenii de știință greșesc și încearcă să dezvolte noi reguli de funcționare a comunității științifice per ansamblu.

Cu John Ioannidis am vorbit recent despre criza replicabilității în știință și despre responsabilitatea jurnaliștilor de știință: pot propaga sau demasca știința făcută prost. Ioannidis mai crede că și în rolul neașteptat al științei și al educației științifice în a ne învăța să gestionăm incertitudinea și să fim toleranți într-o lume tot mai radicală și mai polarizată.

Ioannidis este unul dintre cei mai citați oameni de știință în viață – indice h178 și peste două sute de mii de citări în total. La peste două treimi din articolele sale este autor unic, autor principal sau autor senior.

Putem vorbi despre o criză în știință? De ce?

De cele mai multe ori, investigatorii sunt obligați să pretindă că fac ceva inovator, chiar dacă nu este așa. Aceasta e cultura cercetării: vrei să-i convingi pe ceilalți că ai făcut ceva nou. Ceva inovator, diferit, ce n-a mai făcut nimeni. Sau să duci o cercetare la un nivel nou, într-o zonă nouă. Și, astfel, trebuie publicat. Există o presiune să spui că ai făcut ceva nou, chiar dacă nu ai făcut nimic nou sau ai făcut ceva doar minim nou. Și această cultură induce în eroare, pentru că inovația cu adevărat importantă este chiar neobișnuită.

Chiar este loc pentru atâtea descoperiri?

Nu cred. Adică există descoperiri, există progres în medicină, dar nu atât de mult pe cât se declară că ar fi. Nu cred că ar trebui să discredităm eforturile care se depun, pentru că se realizează progrese importante, dar, când vezi milioane de articole științifice care pretind că au descoperit sau au îmbunătățit ceva, e clar că vasta lor majoritate nu a făcut ceea ce a promis.

Cum poate fi protejat publicul de așa-zise descoperiri – de rezultate prezentate mereu ca „noi” și „de excepție”?

Cred că ar trebui să fim un pic mai sceptici. Ar fi bine să evităm să credem afirmații extreme – dacă pretinde cineva că a realizat ceva cu totul ieșit din comun, e cel mai probabil că nu e așa. Mai probabil să fie adevărat dacă sunt afirmații ceva mai temperate. Ar trebui să ne concentrăm pe studiile care au cel mai bun design – și aici sunt mai importante cele experimentale, studiile randomizate, decât cele observaționale. Sunt mai bune studiile mai mari, cele care au grijă la eventualele erori de design. Atenție la conflictele de interes, cu toate că unele studii pot fi sponsorizate, dar fără ca sponsorii să fie implicați direct – deși cea mai mare parte a cercetărilor sponsorizate va avea niște conflicte de interese ce nu pot fi evitate. Și ar trebui să încercăm să ne concentrăm nu doar asupra descoperirilor comunicate, ci și asupra limitărilor fiecărei cercetări. Care sunt limitele acestui nou mesaj? Se aplică tuturor sau poate doar unui grup mic? Sunt argumente pro și contra? Sunt beneficii, dar și riscuri? Sunt aspecte pe care nu le cunoaștem? Ce a rămas de dovedit, pe lângă ce știm cu siguranță? Dintr-o astfel de perspectivă, cred că abordarea unor studii devine mult mai echilibrată, mai ales atunci când decidem ce demonstrează cercetarea și, mai ales, ce nu poate demonstra.

Poate o abordare sceptică să fie pe placul publicului larg? Există o presiune pe jurnaliști, să vină mereu cu subiecte noi, extraordinare.

E adevărat. Cred că există un anumit nivel de toleranță. Oamenii se satură, de la un punct încolo, să găsească subiecte care nu se confirmă în timp. Nu cred că poți servi oamenilor, continuu, tot felul de rezultate exagerate. Vor obosi, mai devreme sau mai târziu – cred că s-a și întâmplat asta deja. Vedem asta în social media, în ziare – mulți oameni nu mai sunt interesați să citească, pentru că nu pot crede ce citesc.

Da, dar de partea cealaltă avem subiecte care vorbesc despre descoperiri care ar putea fi adevărate, cu un grad oarecare de probabilitate.

E drept, așa nu o să ai un titlu mare și care să atragă atenția, desigur, dar dacă acela este adevărul, de ce să nu fii cinstit? Asta știm și asta nu știm. Presa are o responsabilitate, pentru că ea stabilește profilul publicului general. Ce ar trebui acesta să aștepte de la informațiile pe care le primește. Cred că publicul poate fi instruit să înțeleagă știința într-un mod mai corect decât doar prin titluri răsunătoare.

Ce ar trebui să schimbăm, în sistemul de educație, pentru a face ca oamenii să fie mai responsabili?

Cred că este nevoie de o intervenție foarte precoce. Nu aș aștepta să ajungă adulți. Există dovezi că, la școală, copii de opt-zece ani pot înțelege designul studiilor clinice randomizate și metodele experimentale. Dacă li s-ar spune că de asta este nevoie pentru a lua decizii, ar putea înțelege acest lucru de foarte devreme. Nu cred că avem vreo scuză pentru faptul că nu învățăm oamenii, foarte de timpuriu, în privința metodelor științifice, care sunt cele mai bune designuri de studiu și să-i ajutăm să știe să citească și să numere din punct de vedere științific. Și cred că asta are repercusiuni nu doar asupra înțelegerii științei, ci și asupra înțelegerii lumii care-i înconjoară. Sunt informații care sunt importante pentru a duce o viață mai bună, pentru a avea o vedere mai echilibrată asupra lucrurilor, pentru a fi mai tolerant cu ceilalți. Ne confruntăm cu o mulțime de incertitudini, cu toate că mulți oameni au opinii fanatice – iar acestea devin tot mai proeminente, chiar și în societățile cele mai evoluate. Vedem cum intoleranța este tot mai frecventă. Cred că știința ne învață toleranța și incertitudinea, ceea ce e important. Începi prin a te îndoi de tine însuți înainte de a te îndoi de ceilalți.

Cum putem încuraja publicarea seturilor de date care stau la baza rezultatelor unei cercetări?

Ar fi util ca informația să ajungă la publicul general, deoarece astfel vor fi mai mulți cei care pot verifica acuratețea prelucrării datelor. Totuși, vor fi și riscuri. Dacă ai mai mulți oameni care prelucrează un set de date, dar care nu știu foarte bine care sunt metodele și cum să interpreteze rezultatele, poate că vei ajunge să ai niște rezultate pretinse care sunt cu mult mai rele decât cele originale. Dar, dacă există transparență, înseamnă că orice astfel de rezultat pretins adevărat poate fi contrazis pe baza datelor respective. Ceea ce nu se poate întâmpla atunci când totul este ascuns și nu poate fi reanalizat. Dar trebuie să găsim un echilibru, pentru că nu putem cere tuturor să reanalizeze orice rezultat, de la zero. Este nevoie de o oarecare încredere. Până acum, am operat pe baza unei încrederi în știință. Când auzim un om de știință, nu ne gândim automat că e vorba de un șarlatan, un escroc. Și nici nu ar trebui să ne gândim astfel. Ce ar trebui este să facem informația disponibilă pentru oamenii potriviți, la momentul potrivit, pentru a verifica rezultatele. Nu cer tuturor să reanalizeze totul în profunzime, atunci când citesc ceva.

Sunt diverse curente de opinie despre cum ar trebui realizată transparența în știință. Care ar fi modelul acceptat de comunitatea științifică?

Sunt vehiculate multe idei diferite referitoare la publicarea și diseminarea rezultatelor. Cred că întreaga structură a modului în care se publică rezultatele din cercetarea științifică este pus în discuție în prezent. Vedem că apar metode noi de diseminare a informației, unele cu foarte mult succes, cum sunt serverele pre-print, care domină științele fizice și cresc rapid în importanță în domeniul științelor biomedicale. Au apărut metode alternative de revizuire a articolelor publicate, prin deschiderea acestui proces către noi revizori potențiali. Este, de fapt, vorba de o evoluție. Se atinge un echilibru, după care apar mai multe idei și sistemul evoluează. Lucrurile nu rămân la fel – nici acum nu sunt ca acum cinci ani, de exemplu, și vom continua să vedem schimbări. Sunt multe zone ineficiente în prezent. Avem, în principal, o zonă ocupată de marile reviste științifice, care câștigă bani serioși, cam 30 de miliarde de euro anual, din ce știu, pentru publicațiile din domeniul științei, tehnologiei, ingineriei și matematicii (STEM), și asta fără costuri. Practic, oamenii de știință își dau articolele, revizorii nu sunt plătiți, cu foarte mici excepții, iar revistele fac bani din asta. E un sistem foarte inteligent, dar nu unul care poate fi menținut, mai ales în condițiile în care avem modele competitive pentru publicare, revizie și diseminare a științei.

Credeți că inițiative precum Retraction Watch fac un serviciu pentru comunitate?

Mie îmi place Retraction Watch, cred că este o inițiativă care poate sensibiliza oamenii și poate genera un volum de informație despre felul în care rezultatele sunt corectate sau retrase. Desigur, retragerea unui articol este încă neobișnuită. Cele mai multe articole nu sunt retrase niciodată, deși cele mai multe articole sunt greșite. Standardele pentru retragerea unui articol sunt foarte diferite. Până de curând, era în principal vorba de fraude dovedite sau foarte probabile. În prezent, însă, cred că avem o idee mult mai deschisă despre ce înseamnă să retragi un articol.

Sunt autori care cer ca unele articole ale lor să fie retrase.

Mulți autori ar vrea ca unele lucrări să fie retrase și/sau republicate cu unele corecții. De curând, am avut un articol care a fost retras și republicat, la cererea autorilor, pentru că un număr, o estimare din articol, era greșit cu 2% față de valoarea corectă. Și numărul acela era greșit pentru că utilizaseră o estimare greșită dintr-un articol publicat de mine. Am considerat că retragerea și republicarea au fost fără sens, era suficientă o notă care să explice lucrurile. În același timp, în exact aceeași lucrare, concluzia principală era în întregime greșită, pentru că era bazată pe o estimare destul de imprecisă.

Credeți că știința cu greșeli, în general, ar trebui retrasă? Cum ar trebui procedat?

E un subiect sensibil, pentru că, odată ce retragi ceva, apare impresia că ceva nu e în regulă, că ar fi o violare a codului etic sau cine știe ce fraudă. Într-un fel, știința este aproape întotdeauna retrasă. Știința progresează prin retragerea a ceea ce credeam că știm și înlocuirea cu lucruri mai bune. Nu sunt sigur că știu care e cel mai bun model, că ar fi nevoie de acea ștampilă de retragere. Știu însă că avem nevoie de transparență, ca să nu reciclăm informație falsă sau dovedită greșită. Doar așa putem merge înainte.

Dar nu creează confuzie pentru cititor și pentru oamenii de știință dacă unele articole cu probleme sunt retrase iar altele rămân nemodificate? Și vorbim despre revistele mari. New England Journal of Medicine are reputația de a nu retrage studiile publicate.

Depinde. De editor, de jurnal, de percepții. Cred că jurnalele cele mai influente au o mai mare responsabilitate de a corecta ce au publicat. Dar lucrurile diferă de la un caz la altul, de la un articol la altul. Multe studii sunt de la început publicate cu mesaje sau concluzii înșelătoare. Până la urmă, pe baza acelorași date, se poate ajunge la concluzii diferite. Poate că mă uit la un număr și cred că este mare, dar altcineva crede că este mic. Nu este o dispută care poate fi tranșată, chiar dacă una sau alta dintre interpretări ar putea fi de bun-simț.

Este nevoie de un sistem internațional de diseminare a informației. Dar datele, metodologiile ocupă mult spațiu. Cum putem trece peste acest obstacol?

Spațiul nu mai este o problemă. Dispunem de atât de mult spațiu, în cloud, încât spațiul nu mai este o problemă. În teorie, orice poate fi diseminat.

Dar avem puterea necesară pentru a analiza datele? Puterea de calcul, puterea de analiză.

Puterea de calcul există. Puterea de analiză, să înțelegem ce ar putea să însemne rezultatele – probabil că nu. Întrebarea este: e nevoie să aruncăm din date? Da, probabil, acele date care sunt complet inutile din cauza felului în care au fost colectate, care au vicii de care știm. Nu ar avea sens să le păstrăm decât pentru a le expune la muzeu. Eventual, să mergi la muzeu și să te întrebi: îți vine să crezi că făceam așa acum douăzeci de ani sau acum două sute de ani?

Cum ar putea fi diseminate mai bine informațiile?

Există deja numeroase platforme și ajută să ai astfel de platforme centralizate. Astfel, oamenii știu că le pot utiliza și că nu trebuie să le construiască de la zero. Sunt domenii care au propriile resurse și platforme: genetica, proteomica și altele. Cele mai multe au devenit chiar prietenoase cu utilizatorul.

De unde știm care sunt datele cele mai utile, din ce colectăm?

Nu cred că e ușor să zici dinainte care sunt datele cele mai utile. Acesta este motivul pentru care trebuie să salvăm datele integral și apoi să vedem la distanță care au fost cele mai utile și care nu. Cu toții suntem convinși că datele pe care le colectăm sunt cele mai utile din lume. Dar, câțiva ani mai târziu, te întrebi: de ce am făcut asta? Însă unele informații își vor dovedi utilitatea. Dacă ar exista un mecanism prin care să salvăm de rutină toate aceste date, nu ar fi o idee rea. Nu te costă, odată ce te apuci să o faci la scală mare.

Credeți că multe din problemele din știință cu care ne confruntăm în prezent vin din felul în care evaluăm știința și oamenii de știință? În prezent, sunt utilizați diverși indici, care pot fi manipulați.

Evaluarea unui om de știință nu este deloc ușoară. Da, sunt utilizați diverși indici. Nu sunt împotriva lor, cu condiția să înțelegem exact ce măsoară, care le sunt punctele tari și limitările. Odată ce ai acest bagaj de cunoștințe, poți folosi indicii și vei ști ce îți zic și ce nu îți zic. Nu aș folosi un singur indice, putem folosi un catralion de indici. Dar trebuie să evaluezi multidimensional un om de știință, și prin indici, dar și prin alte tipuri de contribuții. Sunt un pic sceptic în a critica indicii, pentru că fără ei ajungi în situații în care totul este foarte subiectiv. Dacă ai un mediu științific sănătos, probabil vei putea alege cel mai bun om de știință. Dar, dacă mediul nu este cel mai sănătos, atunci nici alegerile nu vor mai fi cele mai sănătoase. Dacă ai un mediu corupt, vei alege cel mai corupt om de știință. Indicii pot contrabalansa corupția și mediile nu tocmai sănătoase, cu condiția să fie utilizați corect, având în minte limitările lor. Dar, în orice scenariu, trebuie să ne întrebăm ce vrem cu adevărat. Ce considerăm a fi valoros? Odată ce răspundem, putem decide care este cea mai bună cale de a măsura valoarea. Punem preț pe productivitate? Pe impactul în literatura de specialitate? Pe numărul de vieți salvate? Pe contribuțiile în comunitate? Pe contribuțiile aduse comunității științifice? Toate acestea pot fi măsurate, mai precis sau mai puțin precis, și pot fi măsluite. Ideal ar fi ca datele măsurate să exprime realitatea. Să împingem oamenii să facă acele lucruri care contează cu adevărat. Dacă le-am cere oamenilor de știință să salveze mai multe vieți, ar ajunge să încerce să salveze mai multe vieți. Nu ar fi minunat?

Ce ar trebui făcut în privința cercetărilor care nu au nicio utilitate?

Dacă știm dinainte că o cercetare nu are potențialul de a fi utilă, atunci nu ar trebui realizată. Dar sunt mi multe tipuri de cercetare. Cercetarea exploratorie, ideile de început – nu putem ști dinainte dacă sunt utile sau nu. Aceste cercetări sunt necesare, pentru că furnizează observațiile inițiale și primele posibilități pentru o explorare în faza următoare. Deci depinde dacă ne referim la cercetări inițiale sau la aplicații tardive. Acestea din urmă trebuie să își justifice utilitatea. Primele – nu, și ar trebui să le permitem să se desfășoare, dar să fim conștienți că sunt exploratorii. Explorarea trebuie verificată, validată și apoi avansată.

Credeți că felul în care sunt finanțate știința și cercetarea are un impact important asupra faptului că cele mai multe rezultate din cercetare sunt false*? Avem exemplul Theranos din SUA.

Da. Dacă vii cu stimulente greșite, stimulezi știința greșită și obții mai multe rezultate greșite. Cu siguranță că finanțarea ar trebui să se bazeze pe indicatori responsabili, de încredere, pentru a crește credibilitatea cercetării. Dacă răsplătim oamenii pentru că permit accesul la rezultatele lor, pentru că au rezultate reproductibile, pentru că încearcă să obțină ceva util, atunci ar trebui să stimulăm tocmai aceste atitudini. Cercetătorii știu că vor fi evaluați pe baza acestor indicatori și nu doar pentru că pun în circulație mai multe valori p.

Ar trebui să fie mai dorite finanțările publice decât investițiile private?

Este nevoie de ambele tipuri de finanțare, publică și privată. Cercetarea este încă subfinanțată, nu aș putea spune niciodată că investim prea mult în știință, dimpotrivă, trebuie să investim mai mult. Și este nevoie și de fonduri publice, și de fonduri private. Ar trebui poate să ne gândim care este metoda optimă de a alinia aceste surse. În prezent, cercetarea exploratorie inițială este finanțată mai ales din surse publice – rezonabil, câtă vreme nicio companie nu ar vrea să investească în ceva despre care nu știu că ar putea avea vreo utilitate. Dar avem apoi cercetarea aplicată, translațională și cea mai mare parte a fondurilor publice merge în acea direcție. Eu sunt de părere că acest tip de cercetare ar trebui finanțat de companii, de start-up-uri, de „unicorni”. Aceste companii au toate motivele posibile pentru a dezvolta aplicații funcționale.

Astfel s-ar reduce presiunea pe finanțările publice.

Dacă există ținta de a produce un medicament sau un test diagnostic, sectorul privat ar trebui să fie acolo, pentru că vrea să obțină ceva palpabil. În vreme ce universitarii vor să publice articole.

Da, dar așa ajungem la o altă problemă. Obținem terapii atât de scumpe încât nu pot fi utilizate în populații largi.

Asta e cu totul altă problemă. Aici e vorba de finanțarea din stadiile finale. Aș zice că, dacă ai o țintă ce poate fi atinsă, atunci sectorul privat ar trebui să asigure finanțarea. Și, dacă vrei să testezi ceea ce obții – medicament sau test diagnostic – atunci ai din nou nevoie de finanțare publică. Pentru că vrei să fii sigur că vei livra publicului ceva care chiar ajută. La final, vine întrebarea: care este prețul acestei metode? Și asta e o întrebare foarte complexă și dificilă.

Cum încurajăm un cercetător să facă studii de reproductibilitate și nu cercetări originale?

Depinde de valoarea pe care o atribui acestor studii. În cele mai multe cazuri, replicarea are o valoare științifică mai mare decât descoperire propriu-zisă. În multe domenii, mulți au început să ceară studii de replicare, fără care nu se poate publica. La modul ideal, ar trebui să vedem replicarea ca pe o parte integrantă din descoperire. Nu putem avea descoperire fără replicare. Orice ideea ai avea, dacă nu o poți replica, nu ai nimic.

Da, dar studiul original apare în Science, Nature sau Cell…

Nu aș publica studiul original până nu am replicarea. I-aș spune autorului: nu ai replicat studiul, de ce să-l public? Cu mai mulți ani în urmă, am scris un articol în care argumentam că toate studiile negative ar trebui să fie publicate. Iar studiile pozitive ar trebui să fie publicate mult mai rar. Cu excepția cazului în care sunt replicate. Dacă ai replicat un studiu, atunci ar trebui să-l publici împreună cu originalul. Cultura actuală a dus la o credibilitate foarte redusă. Avem literatură de specialitate cu o credibilitate foarte mică.

Poate lipsa de reproductibilitate a cercetării să explice de ce cele mai multe rezultate din cercetare publicate sunt false*?

Diverși factori contribuie în diferite feluri și nu cred că aveam de-a face cu același tip de erori în toate disciplinele. În unele cazuri, prelucrarea statistică precară joacă un rol major, în alte situații vorbim de un design deficitar [al cercetării], în unele cazuri putem avea viciu de selecție. Sunt cazuri în care este vorba de studii foarte mici, uneori întâlnim conflicte de interese care afectează rezultatele și tot așa. Este o combinație de diverse modele, diverși factori, diverse probleme, care pot să varieze de la o disciplină la alta.

Și, în această ecuație, ce pondere are reproductibilitatea?

Depinde de felul în care definim reproductibilitatea. Ar trebui întâi să identificăm cât de frecvent încercăm – sau nu – să reproducem unele aspecte ale cercetării și cât de des nu reușim să le reproducem. Apoi, cât de des publicăm datele care stau în spatele cercetării, protocoalele. Măcar am încercat să replicăm rezultatele? Și, sunt sigur, răspunsurile vor fi foarte diferite de la un domeniu la altul.

Dacă ne referim doar la cercetarea din domeniul biomedical…

Un domeniu destul larg.

În acest caz, există o cultură a reproductibilității cercetării? Se va întâmpla curând?

Cred că da, există o cultură a reproductibilității în unele zone ale cercetării biomedicale. Genetica e un bun exemplu în acest sens. Studiile clinice randomizate, de obicei, solicită un al doilea studiu pentru a-l confirma pe primul, dar probabil nu mai mult de atât. Multe subdomenii, epidemiologia, de pildă, nu vor să vadă reproductibilitate, ci analize diferite între ele, în comparație cu cea originală.