Cercetator în securitate cibernetică, Dragoș Gavriluț activează în cadrul companiei Bitdefender, unde coordonează echipe care dezvoltă soluții avansate de detecție a amenințărilor informatice și răspuns la incidente. Este, de asemenea, conferențiar universitar la Universitatea „Alexandru Ioan Cuza” din Iași. Activitatea sa academică și profesională se concentrează pe inteligența artificială, analiza malware și securitatea infrastructurilor critice, contribuind la inovarea în domeniu. Despre ce este inteligența artificială și cum se prefigurează viitorul am încercat să aflăm în interviul pe care ni l-a acordat.

Deși inteligența artificială oferă soluții avansate în securitatea cibernetică, există și preocupări legate de riscurile sale. În ce condiții poate deveni inteligența artificială o armă?

Sînt mai multe scenarii în care acest lucru asta se poate întîmpla. Pînă la urmă, inteligența artificială se bazează pe o serie de algoritmi pe care oricine îi poate folosi. Creare de malware nou – un atacator ar putea exploata aceste modele pentru a crea cod malițios care să execute anumite acțiuni (ex: criptare de fișiere, furt de date, etc). Deși platformele comerciale populare, precum ChatGPT sau GitHub Copilot, implementează măsuri de securitate pentru a preveni astfel de utilizări, există multe modele open-source care pot fi rulate pe infrastructuri private și care nu au același nivel de securitate. În acest caz, atacatorii pot folosi tehnici de prompt engineering, prin care nu cer generarea unui program complet, ci solicită modelelor să creeze părți mai mici de cod, care pot fi ulterior asamblate într-un malware funcțional.

Scams – tehnici utilizate pentru a înșela oamenii, de obicei cu scopul de a le fura bani, cît mai realiste. Acest lucru poate include generarea de e-mailuri scrise corect gramatical, în diverse limbi, sau adaptarea mesajelor pentru a rezona cu interesele și profilul țintelor. De exemplu, un scam destinat medicilor poate utiliza un limbaj specific domeniului medical pentru a părea mai credibil.

DeepFake – tehnici folosite pentru a clona vocea cuiva sau pentru a genera un video care imită o altă persoană. Aceste lucruri combinate pot fi folosite pentru a crea un atac în care atacatorul impersoneaza pe cineva și cere anumite lucruri în numele acelei persoane. Există și atacuri documentate. De exemplu, o companie din Hong Kong a plătit 25 de milioane de dolari în urma unui astfel de atac, în care o persoană a folosit tehnici deepfake pentru a se da drept CFO-ul companiei. Aceasta a participat la o conferință video și a cerut unui subordonat să efectueze transferul de bani. În practică sînt diverse scenarii în care tehnicile de AI-ul pot fi folosite in scop malițios. Trebuie, totuși, punctat că acest lucru este rezultatul intenției malițioase a unor persoane și nu în sine scopul unui algoritm de AI.

În opinia dumneavoastră, ar trebui să existe reglementări stricte pentru inteligența artificială sau este mai bine să lăsăm inovația să progreseze liber, fără bariere?

Este dificil de oferit un răspuns clar aici. Trebuie luate în calcul două aspecte importante: prevenirea utilizărilor malițioase și încurajarea inovației. La nivel global, vedem abordări diferite. De exemplu, Uniunea Europeană a adoptat recent un act de reglementare pentru IA, care urmărește utilizarea cat mai responsabilă a acestor tehnologii. Dacă ne uităm, în schimb, la ce se intampla în Statele Unite, reglementările sînt mult mai relaxate, ceea ce permite un progres tehnologic rapid, dar poate amplifica riscurile. Un aspect important este reprezentat de modelele open-source. Acestea sînt benefice pentru comunitate, deoarece sprijină cercetarea și dezvoltarea. Însă, odată ce un model devine accesibil publicului, este imposibil de controlat modul în care va fi utilizat sau modificat, iar acest lucru poate duce la utilizări riscante sau malițioase. Pe de altă parte, reglementările excesive pot încetini semnificativ inovația. Din acest punct de vedere, soluția optimă la care se va ajunge va reflecta un echilibru între reglementări clare și bine definite, care să prevină utilizările malițioase, și flexibilitate, pentru a permite inovația. Această abordare va necesita un efort atît din partea guvernelor, cît și din partea organizațiilor și companiilor, pentru a crea un cadru care să permită cercetarea și inovația în domeniul inteligenței artificiale, fără să implice riscuri de securitate.

Credeți că inteligența artificială ar putea ajunge la un moment dat să ia decizii etice mai bune decît oamenii?

Este dificil de răspuns clar la această întrebare, deoarece deciziile etice implică nu doar calcule matematice, ci și valori/contexte culturale pe care inteligența artificială nu le poate înțelege complet. Atunci cînd se adresează aceeași întrebare unui chatbot bazat pe astfel de modele, răspunsurile sînt diferite. Acest lucru este important, deoarece evidențiază că acești algoritmi nu oferă întotdeauna rezultate exacte sau consistente. Un alt aspect important este corpusul de antrenament și cît de mult reflectă el etica și contextul cultural aferente societății în care s-ar folosi acest model. Pe de altă parte, este important să luăm în calcul și cît de pregatită este o societate să accepte ca o formă de AI să fie folosită în procesele decizionale și pînă în ce punct. De exemplu, cîte persoane ar accepta sa fie tratate nu de un chirurg (persoana), ci de un echivalent care se bazează pe un AI?

AI trebuie văzută ca o oportunitate, nu ca un scenariu defavorabil

Inteligența artificială avansează rapid și deja începe să automatizeze multe sarcini care pînă nu demult erau realizate exclusiv de oameni. Unii cred că acest lucru va duce la pierderea masivă a locurilor de muncă, în timp ce alții susțin că inteligența artificială va oferi noi oportunități. Dumneavoastră cum vedeți această tranziție?

Cred că mai important este ca lumea să fie capabilă să vadă oportunitatea și nu neapărat un scenariu care este defavorabil. Putem face o paralelă între construcția de mașini înainte și după apariția roboților industriali. Într-adevăr, înainte de apariția roboților industriali existau diverse locuri de muncă specifice acestei industrii: lăcătuși, sudori, mecanici. După apariția roboților industriali, toate sarcinile repetitive au fost preluate de aceștia, ceea ce a dus la scăderea numărului de locuri de muncă pe pozițiile de sudori, lăcătuși și altele similare. Pe de alta parte, au apărut alte locuri de muncă (programator pentru acei roboți, tehnicieni care să se ocupe de întreținerea lor, etc). în plus, riscurile de accidente la locul de muncă au fost puternic reduse.

Pornind de la exemplul de mai sus, ne putem aștepta ca ceva similar să se întîmple și în zona de AI: o să dispară/ o să se reducă cererea pentru anumite meserii, dar o să apară altele, legate de antrenamentul unui model, validarea lui).

Și aici există un exemplu interesant care arată clar de ce va fi nevoie de o serie de poziții în care un om sa supervizeze un astfel de model. O companie aeriană (Air Canada) a inlocuit o serie de operatori umani cu un bot bazat pe o tehnologie LLM. Acest bot a oferit indicații greșite unui pasager, care, la rîndul său, a dat compania în judecată și a cîștigat. Exemplul este interesant, deoarece arată că, în acest moment, chiar dacă se folosește un bot pentru conversații, este util să existe și o persoană care să supervizeze răspunsurile, pentru a evita astfel de probleme. Ceea ce este clar este că vor apărea schimbări. Depinde de fiecare dacă vede aceste schimbări ca o oportunitate sau nu. Ceea ce va fi necesar, însă, este ca oamenii să fie dispuși să se adapteze la aceste schimbări.

Considerați că inteligența artificială este un sprijin valoros pentru profesori? Cît de mare este riscul să înlocuiască învățarea tradițională?

Sprijin valoros, da, însă e important să fie utilizat corect. De exemplu, sumarizarea informațiilor din mai multe surse sau căutarea rapidă în documentații pot fi exemple în care aceste tehnologii economisesc timp. Pe de altă parte, un elev care primește o compunere și folosește un LLM ca să o genereze nu procedează corect.

Ar mai trebui punctate cîteva aspecte care sînt relevante. LLM-urile pot oferi și rezultate incorecte. Acest lucru poate fi cauzat fie de un corpus de date de antrenament care conține informații eronate, fie de fenomenul de „halucinație”, o situație în care factorul de randomizare determină un răspuns incorect sau incorect relativ la întrebarea adresată. Este important ca răspunsurile generate să fie validate. Trebuie evitată dependența de o astfel de tehnologie (mai exact, să evităm ca orice întrebare să primească un răspuns prin consultarea unui LLM).

Din perspectiva unui programator, un LLM este util pentru operații redundante. O utilizare incorectă ar fi folosirea unui LLM pentru a rezolva o problemă sau un algoritm fără ca programatorul să înțeleagă/învețe algoritmul respectiv.

Un alt aspect important de menționat este că interacțiunea umană joacă un rol important. Este mult mai probabil ca un profesor să insufle dorința de a învăța unui student atunci cînd lucrează direct cu acesta și îi explică, decît atunci cînd studentul citește ceva generat de un LLM.

„Orice afirmație legată de AI trebuie să fie însoțită de explicații tehnice care să o valideze”

Credeți că inteligența artificială ar putea ajunge la un nivel atît de avansat încît să se îmbunătățească singură?

Depinde mult cum înțelegem acest lucru. Putem privi inteligența artificială ca pe o funcție matematică (care primește o serie de date de intrare) și returnează un răspuns. Strict din această perspectivă, un model nu își poate schimba parametrii de funcționare; dacă a fost creat pentru a oferi răspunsuri la întrebări, aceasta va face. Pe de altă parte, este mai probabil ca o persoană să construiască un program care preia rezultatul unui model și îl folosește pentru a-l îmbunătăți.

Mai exista și un alt aspect care trebuie luat în calcul: capacitatea de inferență a unui model. Dacă un model este antrenat pe un corpus de date limitat, este improbabil să poată extrage informații despre un subiect care nu se regăsește deloc în setul său de date de antrenament. Din acest punct de vedere, pentru a avansa, un model ar trebui să aibă acces la date noi din care să învețe. Deci cineva trebuie sa îi dea access la aceste date sau măcar modalitățile prin care poate ajunge la ele. Ce vroiam sa punctez e că este nevoie de intervenția umană pentru a crea un astfel de sistem.

Care este cel mai mare mit despre inteligența artificială pe care ar trebui să-l combatem?

Deobicei miturile despre inteligența artificială provin din neînțelegerea modului în care funcționează această tehnologie. Mulți oameni, și în special dacă nu cunosc matematica sau felul în care funcționează un serviciu bazat de AI, tind să perceapă acel lucru ca pe ceva periculos și de aici apar și diverse mituri. Cred că, în realitate, este important ca orice afirmație legată de acest subiect să fie însoțită de explicații tehnice (matematice și/sau informatice) care să o valideze. Este bine să luăm în considerare și faptul că se lucrează la legi care au rolul de a preveni diverse scenarii apocaliptice legate de domeniul inteligenței artificiale.

Considerați că la un moment dat, în viitor, inteligența artificială ar putea să se întoarcă împotriva noastră?

Înainte să răspundem la această întrebare, cred că este bine să definim ce înseamnă „să se întoarcă împotriva noastră”. De exemplu, înainte de apariția calculatoarelor de buzunar, oamenii erau obișnuiți să efectueze multe calcule matematice simple (înmulțiri, adunări etc.) mental. Acest lucru nu se mai întîmplă astăzi. Într-un fel, putem spune că apariția calculatoarelor de buzunar (și ulterior a telefoanelor mobile, care oferă funcționalități similare) a dus la pierderea acestui antrenament mental pe care mulți dintre noi îl aveam. Asta înseamnă că apariția calculatoarelor de buzunar este un lucru care s-a întors împotriva noastră? E greu de spus. Mă aștept să se întîmple ceva similar și în cazul inteligenței artificiale.

Părerea mea este că depinde de noi toți să folosim această tehnologie într-un mod echilibrat și să evităm situațiile în care ajungem să ne bazăm complet pe astfel de sisteme. Aici nu mă refer doar la interacțiunea fiecăruia dintre noi cu un astfel de sistem, ci și la integrarea acestora în alte mecanisme de control (în procese de fabricație sau în luarea deciziilor).

Scurtă biografie

Dragoș Gavriluț, un informatician român de renume, a adus contribuții semnificative în domeniul securității cibernetice. După ce și-a finalizat studiile doctorale la Universitatea din Iași, s-a alăturat companiei Bitdefender. În prezent, Dragoș Gavriluț contribuie la dezvoltarea de soluții inovatoare pentru protejarea sistemelor informatice la nivel global. Cercetările sale acoperă o gamă largă de subiecte, de la teoria învățării automate pînă la securitatea dispozitivelor mobile.

Sursă cover foto: jurnalul.ro