Era digitală și justiția (III). Etică, Drept și Responsabilitate – un triptic indispensabil în reglementarea IA
Andreea Ciurea - octombrie 7, 20221. Introducere
Inteligența artificială[1] (IA) este peste tot. Totul devine dată digitală, stocare digitală, exploatare digitală, rezultate digitale. IA se referă la „sisteme care demonstrează un comportament inteligent analizând mediul lor și acționând, cu un anumit grad de autonomie, pentru a atinge obiective specifice”[2]. „Inteligența” se datorează faptului că mașina imită funcțiile cognitive asociate cu mintea umană: capacitățile de învățare și rezolvarea problemelor.
Revoluția digitală generează noi așteptări, noi constrângeri, noi lupte de putere și noi sisteme de dominație. Altfel spus, sistemele de IA generează oportunități, dar și riscuri pentru indivizi și societate[3]. De pildă, alocarea de locuințe sau beneficii sociale este din ce în ce mai delegată sistemelor de IA; un algoritm calculează, în Los Angeles, vulnerabilitatea comparativă a zeci de mii de persoane fără adăpost pentru a le acorda prioritate. Deși aceste instrumente au o anumită utilitate socială, în Statele Unite au fost observate și efectele discriminatorii (dincolo de programul COMPAS[4]). Discriminarea rasială, socială sau de gen a fost astfel denunțată, în special în activitățile de justiție „predictivă” și de poliție, fiind adesea imposibil de înțeles cum aceste „cutii negre” funcționează și ce date, personale sau nu, sunt prelucrate[5].
În acest cadru politico-economic, una dintre cele mai dificile probleme constă în a orienta dezvoltarea inteligenței artificiale către scopuri dezirabile din punct de vedere moral și social, care implică: bunăstare, respect pentru autonomia umană, protecția vieții private, solidaritate, participare democratică, echitate, includerea diversității, prudență, responsabilitate și dezvoltare durabilă[6].
Încrederea societății civile în inteligența artificială depinde de cunoașterea mecanismelor și provocărilor sale. Cu alte cuvinte, se pune problema cum să construim o IA centrată pe om, responsabilă și incluzivă[7], pentru a a elimina sau estompa riscurile sociale ale folosirii noilor tehnologii. Dezvoltarea unei responsabilități digitale pune probleme etice importante care vor continua să crească pe măsură ce se dezvoltă noi tehnici legate de inteligența artificială.
Caracteristicile IA justifică adoptarea unei reglementări specifice, însă rămâne de determinat: ce instituții și organisme se vor implica, cu câtă forță și celeritate o vor face, care va fi sfera și conținutul acestei reglementări..
La nivel mondial și european, există un arsenal normativ, un arsenal etic și doctrinar prin care se încearcă oferirea unui răspuns adecvat provocărilor revoluției digitale. De exemplu, Canada și Franța au adoptat o declarație comună în iunie 2018 în favoarea inteligenței artificiale etice, centrată pe respectul pentru drepturile omului, incluziune, diversitate, inovare și creștere economică[8].
La nivelul Uniunii Europene, s-a ajuns deja la concluzia că este nevoie să se adapteze acquis-ul comunitar și să se creeze o legislație specifică pentru IA, astfel încât legea să-și mențină propria proeminență și – mai ales – să se asigure respectarea principiilor democratice, ale căror valori irigă tratatele fondatoare ale Uniunii Europene[9].
2. Relația dintre Etică și Drept în reglementarea IA
a. Dinamica circulatorie între Etică și Drept
Mai întâi, se pune problema rolului eticii și al dreptului în reglementarea inteligenței artificiale. Care este relația dintre etică și drept: Legea este o reluare a eticii? sau dimpotrivă, etica este circumscrisă legii?
Etica lansează obiectivele ideale sau valorile morale pe care dorim să le vedem protejate când utilizăm IA (adică „ceea ce ar trebui să facem”). Evident, prin idealurile promovate, etica are un domeniu de acțiune mai vast decât legea. Profesorul de etică François Dermange explică: „etica oferă o zonă de cvasi-drept, mai flexibilă și mai mobilă, mai puțin obligatorie formal (…); legea poate da substanță aspirațiilor etice prin forța sa obligatorie”[10].
Însă, etica poate conține valori incompatibile între ele. De exemplu, când IA este utilizată în așa-numita „poliție predictivă”, aceasta mărește autonomia umană prin reducerea potențialului de criminalitate, dar induce activități de supraveghere care sunt în detrimentul libertăților individuale. În aceste cazuri, prin reglementarea juridică a domeniului, ne putem asigura că suma avantajelor legate de IA este semnificativ mai mare decât riscurile individuale; de exemplu, prin lege se poate impune o procedură de autorizare prealabilă a supravegherii video pe drumurile publice și o perioada scurtă de păstrare a imaginilor etc.
Apoi, etica și legea se disting prin scopurile lor: dacă legea stabilește mijloacele obligatorii de realizare a idealurilor eticii în IA, etica alimentează încrederea pe care trebuie să o trezească IA. Extinderea folosirii IA în domenii-cheie ale vieții necesită acceptare din partea societății civile, iar acceptarea trebuie să fie bazată pe încredere în utilizarea inteligenței artificiale. Etica este unul dintre modurile de propagare a acestei încrederi[11]. Însă, această misiune specială a eticii poate duce la neînțelegeri între etică și drept. Etica (furnizorul de încredere) și dreptul (care sancționează regula), sunt ghidate uneori de aspirații divergente. De exemplu, transparența și explicabilitatea algoritmilor se opune protecției secretelor comerciale și a proprietății intelectuale.
Spre deosebire de lege, obiectivele etice nu au o forță obligatorie. Ele vor deveni obligatorii numai după ce au fost acceptate și instituționalizate prin lege. Dar numai valorile practicabile în starea actuală de dezvoltare a tehnicilor de IA, vor accede la consacrarea legală. De exemplu, explicabilitatea – ideal etic, nu este total practicabil din punct de vedere tehnic; programatorii sunt capabili să facă o decizie algoritmică inteligibilă, dacă nu întru totul explicabilă. Inteligibilitatea își propune să „identifice cei mai importanți factori, (…) cei care participă cel mai mult la o decizie”.
Idealul transparenței și explicabilității este important deoarece instrumentele opace de IA duc la o formă de deresponsabilizare a factorului de decizie, ceea ce este inacceptabil pentru societate. Aici se pune și problema priorității pe care o acordăm fie explicației, fie calității prognozei, pentru că, adeseori, un algoritm mai opac permite rezultate mai bune. Răspunsul poate fi diferit în funcție de activitățile sau domeniile în cauză, în sensul de a trata diferit regimul unui algoritm utilizat în medicină, de cel utilizat în justiție sau în tehnicile de marketing. În orice caz, este esențial să putem face „o alegere socială asupra a ceea ce este de preferat … între calitatea explicației și calitatea prognozei ”[12].
Cerința transparenței trebuie îndeplinită atât în etapa proiectării, cât și în cea a utilizării algoritmilor. Astfel, se ridică cel puțin două probleme: cea a eticii proiectării și cea a eticii utilizării algoritmilor.
În etapa de proiectare, cerința de transparență necesită explicarea logicii de operare a algoritmului într-un limbaj ușor de înțeles de publicul țintă. Pentru a satisface această cerință, proiectanților li se impune obligația – în prezența unei decizii bazată exclusiv pe prelucrarea automată și care generează efecte juridice semnificative pentru persoana vizată de decizie – de a comunica „regulile care definesc prelucrarea și principalele caracteristici ale implementării sale”. Însă, pentru algoritmii de învățare automată, explicabilitatea se limitează la dezvăluirea metodei experimentale pe care proiectantul a implementat-o pentru ca algoritmul să ducă la un rezultat.
Și în etapa utilizării, etica algoritmilor implică imperativul transparenței. Mai concret, etica ar putea impune, pentru utilizatorii de instrumente ale IA, obținerea unei autorizații a diferitelor scopuri, de la o autoritate publică, iar licența acordată le-ar interzice să deturneze sau să ocolească funcționalitățile autorizate (de exemplu, interzicerea întocmirii unor profiluri discriminatorii ale consumatorilor sau a excluderii asiguraților al căror risc are o probabilitate mai mare).
Cerința unui drept la explicație reprezintă traducerea legală[13] a idealului transparenței și explicabilității.
Apoi, utilizarea algoritmilor trebuie să asigure și protecția vieții private; aici, avem Regulamentul european nr. 679/2016 privind protecția datelor (GDRP), aplicabil începând cu 25 mai 2018, care răspunde dezideratului de a consolida obligațiile operatorilor de date și a subcontractanților acestora, pentru a preveni repercusiunile potențial dăunătoare ale prelucrării datelor cu caracter personal.
Așadar, unele obligații legale reflectă idealurile și principiile etice. Identitatea dintre aceste idealuri și cadrul legal pentru IA este cel mai mic numitor comun al eticii și dreptului.
Astfel, „particulele” de etică sunt uneori supuse presiunii de reglementare și traversează membrana pentru a se difuza în mediul legal.
Profesoara Lemy Godefroy apreciază că etica și dreptul afișează relații ambivalente[14], fiind necesară o interdisciplinaritate pentru reglementarea complexă a inteligenței artificiale. Practic, elementele eticii și ale dreptului se deplasează de la un mediu la altul: de exemplu, drepturile fundamentale se deplasează de la drept către etică, în timp ce transparența, corectitudinea, autonomia umană circulă de la etică la drept.
Tot astfel, reglementarea IA trebuie să aibă la bază un flux bidirecțional între etică și drept: de la drept la etică și de la etică la drept. Așadar, între etică și drept există o dinamică circulatorie: etica și legea funcționează în osmoză, dar nu sunt în simbioză[15]. Prin acest dialog, etica și legea interferează și se întâlnesc, fără a se confunda.
b. Necesitatea de a da prioritate Dreptului
Până de curând, industria tehnologiei a concentrat atenția și resursele pe formularea unei etici a IA, amânând dezbaterile privind un drept al IA. Astăzi domină „Etica IA”, rezultată din îndrumare, declarații și carte, fiind identificate peste 200 de texte etice, elaborate de către societatea civilă, guverne, organizații interguvernamentale sau nonguvernamentale[16]. Profesorii de Drept atenționează, însă, că o astfel de masă normativă generează confuzie și saturație[17]: fie principiile stabilite sunt aceleași, creând o redundanță inutilă, fie sunt (sau par) diferite, necesitând o analiză semantică fină. Aceiași profesori-cercetători semnalează apariția unor fenomene și procese precum „ethical shopping”, „ethical washing ”, „lobby ethic”.
Astfel, s-a deschis un fel de „piață” către părțile interesate, care fac „ethical shopping”, fiind tentate să aleagă cele mai puțin exigente principii, să amestece mai multe texte pentru a propune propria lor cartă etică, cu riscul de inconsecvență și neconcordanță. Practic, „cumpărătorii de etică” se asigură că acțiunile lor anterioare corespund principiilor etice alese și că le justifică a posteriori procedurile și strategiile; astfel, nu vor fi nevoiți să le îmbunătățească. Companiile își auto-propun regulile etice[18], alegându-le pe cele mai puțin constrângătoare; însă, etica implică, în principiu, un control extern independent.
De asemenea, s-a dezvoltat un proces de „spălare etică” – „ethical washing”, care presupune o dorință conștientă și deliberată a unei companii de a dezinforma publicul prin dezvăluirea unor informații nesubstanțiale, cu scopul de a părea mai etică decât este în realitate. Dar acest comportament este o formă de fraudă.
„Lobby etic” se referă la faptul că adoptarea de către o companie privată a propriilor regulilor etice (soft law) poate avea ca scop evitarea intervenției legiuitorului și a controlului din partea unei autorități publice prin aplicarea efectivă a sancțiunilor (hard law).
În atare condiții, oamenii de știință (juriști, economiști, informaticieni, filosofi) atrag atenția că „natura abhorret vacuum”, în sensul că acest postulat antic este transpozabil la guvernarea relațiilor economice și sociale. Dacă autoritățile publice învestite cu puterea legislativă nu o exercită, puterile economice private, grupurile profesionale, comunitățile de utilizatori se vor ocupa în mod natural de elaborarea legii[19]. Fie puterea autorităților publice se estompează și codul algoritmic va reglementa după standardele create de el însuși, fie autoritățile preiau controlul codului algoritmic, astfel încât algoritmii să pună în aplicare legea creată de oameni.
Pentru ca noile tehnologii să fie primite în mod favorabil de către cei asupra cărora au zilnic impact (utilizatori ai serviciilor publice, consumatori, pacienți, justițiabili etc.), a devenit necesar să se dezvolte un drept general al algoritmilor, astfel încât funcția lor să fie exercitată în conformitate cu legea. Cu alte cuvinte, pentru a construi o normă solidă și previzibilă a IA, care să asigure un control imperativ al societății asupra algoritmilor, trebuie să repunem dreptul în centrul procesului normativ.
Avem drepturi fundamentale aflate pe frontispiciul ierarhiei normelor multor state și al textelor internaționale (cel al demnității umane, al egalității și nediscriminării, dreptul la viață privată, dreptul la protecția datelor cu caracter personal, dreptul la un proces echitabil și prezumția de nevinovăție etc.), care nu sunt negociabile și nici opționale, spre deosebire de obiectivele sau idealurile etice. Prin urmare, este timpul să dăm prioritate dreptului, iar conținutul normelor legale trebuie gândit în sensul unei IA responsabile și inclusive.
Din moment ce este necesar să se reglementeze IA prin lege, se impune o abordare interdisciplinară, implicând juriști, matematicieni și informaticieni, pentru a face posibilă integrarea în lege a particularităților IA. Metodele extrem de complexe ale IA (învățarea automată profundă – „deep learning”, supravegheată, nesupravegheată sau combinată) generează riscuri sociale, obligându-l pe jurist să înțeleagă tehnica atunci când elaborează norma și apoi, când o aplică.
3. Responsabilitatea digitală: provocarea unei responsabilități umanizate specifice
a. Responsabilitatea digitală: o problemă juridică majoră
Acceptarea socială a utilizării algoritmilor este strâns legată de atribuirea și distribuirea responsabilităților în caz de daune. În prezența sistemelor de auto-învățare ale IA, una dintre principalele dificultăți este definirea unui cadru responsabil raportat la riscurile sociale previzibile.
Inteligența artificială este punctul culminant al unui lanț complex de activități, necesitând intervenția mai multor categorii de producători și operatori; aceasta înseamnă că sarcinile trebuie să fie distribuite și urmărite în mod clar: proiectantul trebuie să cunoască constrângerile sale juridice și etice, să transcrie instrucțiunile aferente în codul algoritmic.
Prin urmare, este necesar să avem regimuri juridice adecvate pentru verigile unui întreg lanț de responsabilitate:
- răspunderea proiectantului pentru daunele cauzate de programarea inițială incorectă;
- răspunderea pentru vigilența insuficientă în timpul funcționării instrumentului algoritmic;
- răspunderea utilizatorului pentru daune cauzate prin manipularea instrumentului algoritmic;
- răspunderea pentru daunele cauzate de autonomia funcțională cu care algoritmul a fost înzestrat din fabricație, pe care a dezvoltat-o în timpul învățării și pe tot parcursul funcționării sale etc.
Revine legii să atenueze dificultățile de urmărire a lanțului cauzalităților și să faciliteze desemnarea debitorului obligației de reparare a prejudiciului, pentru a evita o diluare a responsabilităților.
Până de curând, regulile clasice ale răspunderii civile au fost capabile să răspundă nevoilor societății în evoluție. Răspunderea juridică digitală – combinată cu revoluția în matematică și în tehnologii, care afectează direct transportul, educația, sănătatea, justiția – este deja implementată prin recurgerea la regulile clasice ale răspunderii civile (delictuală, extracontractuală, contractuală), administrative, penale, disciplinare.
Cu toate acestea, răsturnările generate de tehnologia digitală în activitățile umane (robotică, telemedicină, justiție predictivă, educație, avioane autonome, drone, nanotehnologii etc.), sunt de așa natură încât legea clasică a răspunderii poate cădea în desuetudine. În domeniile confidențialității, protecției proprietății intelectuale (software, aplicații), pierderii sau distrugerii datelor, eșecurilor computerului care paralizează companiile mari, criminalității informatice, se nasc probleme complexe în ceea ce privește răspunderea civilă, penală și administrativă, pe fondul creșterii fără precedent a pagubelor digitale de tot felul.
Potrivit distincției clasice, răspunderea poate fi contractuală sau delictuală, după cum sistemul de IA este sau nu proiectat/utilizat în cadrul unui contract. Regimurile răspunderii delictuale par să se potrivească sistemelor de IA, considerând că IA este un „lucru” necorporal. Se apreciază că, în special, răspunderea pentru produsele defecte poate fi utilizată ca bază, cu unele adaptări ale conceptelor de „produs” sau „defect”[20]. Cu toate acestea, imprevizibilitatea și autonomia unor sisteme nu se potrivesc bine cu regimurile de răspundere pentru ”fapta” lucrurilor, iar interacțiunea om-mașină determină adaptări permanente ale sistemelor[21]. „Lucrul” în cauză este mai activ și mai autonom decât în ipotezele acoperite în mod tradițional de aceste regimuri de răspundere. De aici, s-a pus în discuție relevanța unei analogii cu răspunderea indirectă pentru fapta altora (pentru copii și animale); dar o astfel de analogie este dificil de reținut, în absența naturii vii a sistemelor.
De exemplu, dezvoltarea domeniului transportului (prin proiectarea digitală, construirea automobilului prin tehnici 3D/4D, controlul vehiculului prin instrumente conectate, GPS) impune identificarea unor reguli de răspundere mai adecvate; șoferul, un jucător cheie în răspunderea civilă tradițională, va dispărea treptat pentru a fi înlocuit de conducerea automată, autonomă și dezumanizată, programată de diferitele instrumente ale IA. Apar deja propuneri în care vehiculele ar putea fi comparate cu roboți inteligenți, câștigând în mod constant autonomie, având o personalitate juridică electronică și, ca atare, fiind responsabili.
De asemenea, în domeniul medical, folosirea aplicațiilor digitale în îngrijirea pacienților poate conduce la erori de diagnostic și tratament. Întrebarea este cum se va împărți răspunderea între profesioniștii din domeniul sănătății și proiectanții de aplicații.
Desigur, răspunderea pentru prejudiciul cauzat de lucruri, mai ales în cazul produselor defecte[22], poate fi invocată în continuare, pentru o perioadă de tranziție. Rămâne de văzut dacă aceste reguli vor asigura, pe termen lung, un echilibru juridic satisfăcător, atunci când victima-reclamant va întâmpina dificultăți majore în accesarea diferitelor tehnici digitale pentru a demonstra cauzalitatea acestora cu daunele suferite.
La fel, în timpul desfășurării justiției digitale (justiția predictivă care anticipează și prezintă avocaților probabilitatea deciziilor judiciare, software-uri care ajută magistrații să decidă cu privire la eliberarea condiționată a condamnaților etc.), ar putea fi avute în vedere noi tipuri de responsabilități, asociate cu daune specifice tehnologiei digitale și cu noi tipuri de probe, atât în ceea ce privește funcționarii din instanță care folosesc aceste noi tehnici, cât și în ceea ce privește apariția unor noi „actori” (start-up-uri, specialiști IT, roboții care înlocuiesc parțial avocații și magistrații). De exemplu, în materia probelor, trasabilitatea digitală a tuturor acțiunilor întreprinse de părțile unui contract, influențează repartizarea responsabilităților în cazul unor activități interdependente care au condus la acțiunea vătămătoare etc.
b. Responsabilitate ex ante și ex post
Pentru a genera încredere socială în IA, responsabilitatea trebuie să existe ex ante („condiții de admisibilitate”) și ex post (după apariția daunelor generate de IA).
Pentru a garanta pe deplin un cadru responsabil și incluziv pentru IA, trebuie luată în considerare responsabilitatea ex ante, adică aplicarea regulilor începând cu proiectarea sistemelor, cu scopul de a minimiza sau chiar evita apariția daunelor.
La nivel european, mai ales, s-au conturat două abordări privind responsabilitatea: o primă abordare se concentrează pe explicabilitatea și transparența deciziilor luate, prin acordarea unui drept la explicație, în timp ce o a doua evaluează impactul socio-economic al sistemului pentru a verifica loialitatea, explicabilitatea, audibilitatea, responsabilitatea și acuratețea. Cert este că multe voci sunt ridicate în doctrina internațională[23] pentru a cere mai multă transparență, explicabilitate și loialitate (nediscriminare) a sistemelor de IA.
Explicabilitate și transparență. Uniunea Europeană acordă persoanelor fizice dreptul de a nu face obiectul unei decizii bazate exclusiv pe prelucrarea automată, inclusiv crearea de profiluri, care produce efecte juridice care privesc persoana vizată sau o afectează în mod similar într-o măsură semnificativă [a se vedea GDPR – Regulamentul general privind protecția datelor cu caracter personal 2016/679 / UE, art. 22 alin. (1 )]. Sunt prevăzute excepții [art. 22 alin. (2)], însoțite de garanții, legate de dreptul de a obține intervenția umană, de a-și exprima punctul de vedere, de a contesta decizia (art. 22 alin.3) și de a primi explicații individuale [a se vedea alin. (71) din expunerea de motive, art. 12 din Regulament etc.]. Operatorul de date trebuie să asigure, de asemenea, controlul asupra procesării algoritmice și evoluțiilor sale, pentru a putea explica, în detaliu și într-o formă inteligibilă persoanei vizate, modul în care a fost efectuată prelucrarea datelor în ceea ce o privește.
Prin urmare, nu este posibil să se utilizeze algoritmi capabili să revizuiască singuri regulile pe care le aplică, fără verificarea și validarea din partea unui controlor uman. În Franța, nici o decizie cu efecte juridice nu poate avea aplicabilitate fără participarea ființei umane în procesul său[24]; însă, în anumite domenii, sunt acceptate decizii complet automatizate emise de o administrație publică (de exemplu, pentru calcularea impozitelor).
După cum putem vedea, legiuitorii europeni se concentrează pe dreptul la transparență și pe explicarea deciziilor algoritmice. Cu toate acestea, astfel de drepturi iau în considerare doar o parte a riscurilor sociale și nu protejează suficient împotriva discriminării sistemice, în special pentru că explicația este ulterioară deciziei și, prin urmare, intervine ex post[25].
Studiu de impact algoritmic. A doua abordare a responsabilității ex ante promovează un studiu de impact algoritmic care constă în evaluarea, înainte de producerea oricărui sistem automatizat de luare a deciziilor, a posibilului impact social al acestuia și în determinarea nivelurilor de exigență pentru a minimiza riscurile, pentru a se asigura că nu există părtiniri neprevăzute în date și alți factori care ar putea influența în mod nedrept rezultatele. În Franța, în Raportul Villani[26], se încurajează luarea în considerare a unei evaluări a impactului disparat pentru a reduce riscurile de discriminare, iar în Canada, guvernul federal a adoptat în februarie 2019 o directivă care se aplică oricărui sistem automatizat de luare a deciziilor, dezvoltat sau achiziționat de administrație care prevede un instrument de evaluare a impactului algoritmic[27]. Evaluarea ar trebui revizuită în mod regulat, iar după luarea deciziei, administrația ar trebui să ofere o explicație semnificativă celor afectați cu privire la modul în care a fost luată decizia și de ce a fost luată. Cetățenii canadieni trebuie să aibă toate posibilitățile de a contesta procesul de luare a deciziilor. Administrația trebuie să publice codul sursă, sub rezerva datelor clasificate, precum și informații despre eficacitatea sistemelor în atingerea obiectivelor.
c. Crearea unei responsabilități digitale acceptabile, justificate și „umanizate”.
Cercetătorii identifică mai multe cauze sau motive care vor îngreuna stabilirea unui sistem de răspundere adecvat tulburărilor generate de activitatea digitală contemporană[28].
Fără îndoială că trebuie luată în considerare influența crescândă a GAFAMI (Google, Apple, Facebook, Amazon, Microsoft, IBM) și BATX (Baidu, Alibaba, Tencent, Xiaomi), jucătorii aflați la originea acestei revoluții. Această influență este susceptibilă să pună sub semnul întrebării suveranitatea statului, termenii reglementării normative și activității judiciare, tinzând la crearea unei suveranități digitale[29]. Marile companii digitale tind să-și creeze propriile reglementări – coduri de conduită și coduri etice; astfel, s-a născut temerea stabilirii unei justiții paralele, mai ales că GAFAMI dispune de nenumărate mijloace tehnice capabile să programeze noi tipuri de soluționare a litigiilor[30]. De altfel, știm că aceste companii au instrumente cu impact asupra tuturor activităților umane. De exemplu, acțiunile fiecărei persoane, fizice sau juridice, nu mai sunt secrete pentru Google: Google Map permite localizarea fiecărei acțiuni a persoanei care recurge la aceasta; Google Analytics colectează diferite elemente statistice despre utilizator pentru folosirea lor publicitară; Google Play listează achizițiile de diverse aplicații, abonamente la filme, muzică, cărți, dispozitive digitale, permițând o mai bună înțelegere a consumatorului; sistemul de operare pentru telefoanele mobile Android îi încurajează pe utilizatori să favorizeze anumite aplicații și să răspundă la întrebări „Ok” etc.
Evoluția responsabilității digitale tinde să răspundă nevoilor imediate și eminamente tehnice, în detrimentul unei abordări umane. Însă, schimbările tehnologice nu trebuie să dăuneze persoanei, deoarece tehnicitatea, oricât de obiectivă și precisă ar fi, poate deveni inumană. Cu alte cuvinte, riscul major care apare în timpul implementării contemporane a responsabilității digitale este dezumanizarea sa[31].
Regulile clasice de responsabilitate, aplicabile încă, vor fi înlocuite treptat de o responsabilitate digitală specială, care se va dezvolta progresiv.
Prin urmare, suntem provocați să realizăm o construcție originală a responsabilității digitale în secolul XXI, care să fie acceptabilă, justificată și „umanizată”. Pentru a avea legitimitate, orice utilizare a inteligenței artificiale și a tehnicilor asociate acesteia trebuie să fie însoțită de o garanție umană, combinat cu o responsabilitate socială mai largă. Sub acest aspect, în Declarația de la Montreal pentru o dezvoltare responsabilă a IA[32] se afirma, deja din 2018, că, în cazul în care „un prejudiciu a fost cauzat de un SIA [sistem de inteligență artificială] și SIA s-a dovedit a fi fiabil și supus utilizării normale, nu este rezonabil să acuzăm persoanele implicate în dezvoltarea sau utilizarea acesteia”. Compensația pentru daunele cauzate de un risc algoritmic ar intra sub conceptul unei „solidarității naționale”, ancorată pe fundamente societale și colective, mai degrabă decât să implice o răspundere individualistă nejustificată a omului.
Așadar, pare necesar să reacționăm cu o responsabilitate socială mai largă, lăsând spațiu pentru reflecție etică, la diferite niveluri. Pentru aceasta, este important ca toate părțile interesate să poată dezbate și să se poată pronunța asupra utilizării IA: cetățeni, actori economici (start-up-uri, giganți digitali), universitari, instituții publice (judiciare, fiscale, sociale), încurajând reflecția colectivă asupra scopurilor tehnologiei digitale și asupra responsabilităților digitale conexe. Există diverse proceduri: fie un grup de experți elaborează un proiect pe care îl trimit părților interesate, fie părțile interesate sunt consultate în amonte, participând la dezbateri, răspunzând la chestionare, pentru ca ulterior răspunsurile să fie prelucrate de experți. Apoi, organizații abilitate de autoritățile publice și formate din reprezentanți ai tuturor părților interesate derulează o procedură de certificare, cu scopul de a atesta că inteligența artificială este „demnă de încredere”.
Noile mecanisme de responsabilitate legală și ipoteza IA responsabilă vor trebui gândite și realizate la scară internațională, mondială, nu mai la nivel european, dată fiind internaționalizarea jucătorilor digitali, a cloud-urilor, a platformelor gestionate în principal de giganții digitali precum GAFAMI și BATX.
4. Viziunea europeană
În ultimii 4-5 ani, instituțiile Uniunii Europene și Consiliul Europei au intensificat inițiativele pentru a evalua efectele inteligenței artificiale în diferite domenii, apelând la grupuri de experți la nivel înalt și înființând diverse comisii care să elaboreze studii, rapoarte, recomandări și propuneri legislative.
În cele ce urmează, vom enumera cele mai importante acte elaborate de organismele europene în perioada 2018-2022 (de la carte și rezoluții la propuneri de regulamente și regulamente intrate în vigoare), cu privire la utilizarea IA și impactul tehnologiei digitale asupra societății umane, în special a celei europene; apoi, într-un studiu viitor, vom analiza cu precădere conținutul documentelor care vizează utilizarea IA în sistemul judiciar.
În anul 2018, Comisia Europeană a însărcinat un Grup de experți la nivel înalt cu elaborarea regulilor etice pentru o inteligență artificială de fiabilă; experții au explicat, printre altele, ce este etica IA: „Etica este o disciplină academică, ce reprezintă un subdomeniu al filozofiei. La modul general, aceasta tratează aspecte precum «Ce este o faptă bună?», «Ce valoare are viața omului?», «Ce este justiția?» sau «Ce înseamnă o viață bună?» … Etica aplicată tratează situații din viața reală, în care trebuie să se ia decizii sub presiunea timpului și adesea cu o judecată limitată. Etica IA este văzută adesea ca un exemplu de etică aplicată și se axează pe problemele normative generate de dezvoltarea, implementarea, punerea în aplicare și utilizarea IA”. De asemenea, Grupul de experți a identificat principiile etice care ar trebui respectate atunci când se implementează și se utilizează tehnici de inteligență artificială: respectarea autonomiei umane, prevenirea oricărei daune, echitate și explicabilitate[33].
Ca urmare, pe 19.02.2020, Comisia Europeană a prezentat o Cartă albă privind inteligența artificială: excelență și încredere[34], care are la bază liniile directoare etice pentru IA de încredere, identificate de Grupul de experți la nivel înalt. Comisia preia punctele-cheie prezentate de grupul de experți referitoare la: factorul uman și controlul uman; robustețe și securitate tehnică; confidențialitate și guvernanța datelor; transparență; diversitate, nediscriminare și loialitate; bunăstarea socială și ecologică; responsabilitate[35].
În același timp, sub egida Consiliului Europei, în decembrie 2018, Comisia Europeană pentru Eficiența Justiției (CEPEJ) a creat Carta etică europeană pentru utilizarea inteligenței artificiale în sistemele judiciare și în mediul lor[36], pentru a stabili un prag insurmontabil pentru toți cei care participă – în calitate de proiectanți, legislatori, decidenți judiciari, actori sociali și economici – la procesul de elaborare și diseminare a tehnologiei avansate aplicate lumii justiției, adică lumii drepturilor fundamentale. Carta se vrea a fi o busolă pentru politica publică, după cum subliniază autorii înșiși în partea introductivă, subliniind necesitatea unei aplicații supuse monitorizării și evaluării continue. Principiile expuse – și care nu au forță obligatorie – trebuie văzute ca piatra de temelie a utilizării inteligenței artificial în justiție, termenul de „utilizare” incluzând întregul lanț de la concepție și proiectare până la instrumentul de evaluare a folosirii IA.
Carta stabilește cinci principii care trebuie respectate în domeniul IA și al justiției, care preiau valorile sistemului european de drept:
- Principiul respectării drepturilor fundamentale: asigurarea faptului că proiectarea și implementarea instrumentelor și serviciilor de IA sunt compatibile cu drepturile fundamentale;
- Principiul nediscriminării: prevenirea specifică a dezvoltării sau intensificării oricărei discriminări între indivizi sau grupuri de indivizi;
- Principiul calității și securității: se referă la prelucrarea deciziilor și datelor judiciare, utilizând surse certificate și modele concepute într-o manieră multidisciplinară, într-un mediu tehnologic sigur;
- Principiul transparenței, imparțialității și corectitudinii: asigurarea accesului și înțelegerii metodelor de prelucrare a datelor, autorizarea auditurilor externe;
- Principiul „controlului utilizatorilor”: excluderea unei abordări prescriptive și asigurarea faptului că utilizatorii sunt actori informați și controlează alegerile lor.
Fără a oferi soluții-miracol, Carta CEPEJ reprezintă un prim pas în eforturile de a promova utilizarea responsabilă a inteligenței artificiale în sistemele judiciare europene, în conformitate cu valorile Consiliul Europei. Ca urmare, Comisia Europeană pentru Eficiența Justiției a elaborat un recent Plan de acțiune pentru perioada 2022-2025, intitulat: „Digitalizarea pentru o justiție mai bună. Foaie de parcurs revizuită pentru a asigura urmărirea adecvată a Cartei etice privind utilizarea inteligenței artificiale în sistemele judiciare”[37].
În plus, semnalăm existența Comitetului pentru Inteligența Artificială – CAI[38] (Committee on Artificial Intelligence), un organism interguvernamental care funcționează din 2019, în cadrul Consiliului Europei, sub autoritatea Comitetului de Miniștri. CAI examinează, pe baza unor consultări ample cu mai multe părți interesate, fezabilitatea și elementele potențiale ale unui cadru juridic pentru dezvoltarea, proiectarea și aplicarea inteligenței artificiale, bazat pe standardele Consiliului Europei în domeniul drepturilor omului, al democrației și Statului de drept. În îndeplinirea acestei sarcini, CAI trebuie să ia în considerare instrumentele juridice internaționale relevante (universale și regionale), activitatea desfășurată de alte organisme ale Consiliului Europei, de alte organizații regionale și internaționale.
De asemenea, în perioada 2020-2022, au fost emise următoarele documente sau acte relevante la nivelul UE:
- Comunicare a Comisiei către Parlamentul European, Consiliu, Comitetul economic și social european și Comitetul regiunilor: „Digitalizarea justiției în Uniunea Europeană. O panoplie de posibilități”[39], din 02.12.2020;
- Propunere de Regulament al UE de stabilire a unor norme armonizate privind inteligența artificială (Legea privind inteligența artificială) și de modificare a anumitor acte legislative ale Uniunii[40], din 21.04.2021;
- Rezoluția Parlamentului European conținând recomandări adresate Comisiei privind regimul de răspundere civilă pentru inteligența artificială[41], din 06.10.2021;
- Propunere de Regulament al UE privind digitalizarea cooperării judiciare și a accesului la justiție în cadrul procedurilor transfrontaliere în materie civilă, comercială și penală și de modificare a anumitor acte din domeniul cooperării judiciare[42], din 01.12.2021
- Regulamentul (UE) 2022/850 privind un sistem informatizat pentru schimbul electronic transfrontalier de date în domeniul cooperării judiciare în materie civilă și penală (sistemul e-CODEX) și de modificare a Regulamentului (UE) 2018/1726[43], publicat la 01.06.2022 în Jurnalul oficial al UE.
În februarie 2022, Comisia Europeană declara, într-o publicație proprie[44], că „toți cetățenii UE ar trebui să profite la maximum de transformarea digitală”, sens în care își propune să promoveze o modalitate europeană de tranziție digitală centrată pe cetățeni, având la bază valorile europene și aducând beneficii tuturor cetățenilor și întreprinderilor. Se afirmă că drepturile și principiile digitale vor călăuzi UE în promovarea unei societăți favorabile incluziunii, prospere și durabile. Drepturile și principiile digitale sunt sintetizate astfel:
- Tranziție digitală centrată pe cetățeni: tehnologiile digitale ar trebui să protejeze drepturile cetățenilor, să sprijine democrația și să garanteze că toți actorii digitali acționează în mod responsabil și în condiții de siguranță.
- Durabilitate: dispozitivele digitale ar trebui să sprijine durabilitatea și tranziția verde. Cetățenii trebuie să fie informați cu privire la impactul asupra mediului și la consumul de energie al dispozitivelor lor.
- Solidaritate și incluziune: tehnologia ar trebui să îi unească pe cetățeni, nu să creeze discrepanțe între ei. Toată lumea ar trebui să aibă acces la internet, la competențe digitale, la servicii publice digitale și la condiții de muncă echitabile
- Siguranță și securitate: mediul digital ar trebui să fie sigur și securizat. Toți utilizatorii, tineri și bătrâni deopotrivă, ar trebui să fie responsabilizați și protejați
- Libertatea de alegere: cetățenii ar trebui să beneficieze de un mediu online echitabil, să fie protejați de conținuturi ilicite și prejudiciabile și să aibă acces la mijloacele necesare pentru a interacționa cu tehnologii noi și în evoluție, cum ar fi inteligența artificial
- Participare: cetățenii ar trebui să se poată implica în procesul democratic la toate nivelurile și să dețină controlul asupra propriilor date.
Aceste abordări europene se vor a fi în concordanță cu așteptările societății în ceea ce privește impactul tehnologiei digitale asupra vieții cetățenilor. Însă, juriștii mai ales, prin reprezentanții diverselor corpuri profesionale, au făcut o multitudine comentarii privind conținutul acestor documente europene, observând că anumite reglementări nu sunt adecvate, nu sunt suficient de clare și coerente pentru o bună punere în aplicare. În acest sens, Consiliul Barourilor Europene[45] (CCBE) a luat poziție sistematic, a răspuns la chestionare în numele avocaților și a cetățenilor europeni, a făcut analize și comentarii punctuale cu privire la toate documentele europene prezentate mai sus. De exemplu, în luna iulie 2022, CCBE atrage atenția că anumite dispoziții din Propunerea de Regulament privind digitalizarea cooperării judiciare (la care am făcut trimitere mai sus) nu respectă pe deplin particularitățile sistemelor judiciare naționale și nici rolurile și responsabilitățile diferiților actori implicați în justiție; în plus, sunt promovate anumite operațiuni care ar putea submina un sistem național care funcționează bine. Astfel, s-ar putea adânci „falia digitală” în interiorul și între statele membre, iar tehnologia, în loc să simplifice accesul la justiție, ar avea efectul opus[46].
Prin urmare, digitizarea nu ar trebui să fie nici totală, nici complet obligatorie. În acest context, este remarcabilă recenta hotărâre a Curții Europene a Drepturilor Omului în cauza Xavier Lucas c. Franței (cererea nr.15567/20), din 9 iunie 2022, prin care Franța a fost condamnată pentru formalism excesiv, statuându-se următoarele: „Făcând să prevaleze principiul obligației de a comunica prin mijloace electronice pentru a sesiza Curtea de Apel, fără a ține cont de obstacolele practice pe care le-a întâlnit reclamantul pentru a-l respecta, Curtea de Casație a demonstrat un formalism care nu era necesar pentru a asigura securitatea juridică sau buna administrare a justiției și care, prin urmare, trebuie să fie considerat excesiv”. Curtea concluzionează că reclamantului i s-a impus o sarcină disproporționată, care a perturbat echilibrul adecvat între, pe de o parte, preocuparea legitimă de a asigura respectarea formalităților pentru inițierea unei proceduri judiciare și, pe de altă parte, dreptul de acces la o instanță.
Așadar, mai avem un drum lung pentru a construi o IA responsabilă și incluzivă. În toate circumstanțele, însă, revine legii să stabilească valorile etice și cadrul juridic care însoțesc IA în timpul concepției și al exploatării sale. Dreptul – care constituie esența reglementării relațiilor socio-economice – trebuie să stabilească sistemul responsabilității digitale, iar statele, prin organismele lor interne și internaționale, să își îmbunătățească abilitățile de supraveghere și să-și asume rolul de gardieni ai respectării regulilor privind utilizarea tehnologiilor digitale în toate domeniile de activitate ale societății umane.
DOWNLOAD FULL ARTICLE[1] Paternitatea termenului de „IA” îi este atribuită lui John McCarthy de la MIT (Massachusetts Institute of Technology). Apoi, termenul a fost popularizat de John McCarthy și Marvin Lee Minsky, organizatori ai conferinței de la Darmouth din 1956, care a făcut din IA un domeniu de cercetare în sine.
[2] Artificial Intelligence : A European Perspective, Joint Research Centre, EUR 29425 EN, 2018.
[3] A. Ciurea, Era digitală și justiția (II). Obstacole generale în calea dezvoltării IA în justiție. Condițiile pentru a avea instrumente de IA eficiente în justiție, pe www.universuljuridic.ro, 9 februarie 2022.
[4] Correctional Offender Management Profiling for Alternative Sanctions – este software pentru calcularea riscului de recidivă utilizat de anumite jurisdicții, dezvoltat de societatea privată Equivant (ex-Northpointe): http://www.equivant.com/solutions/inmate-classification.
Pentru detalii, a se vedea C.M. Drăgușin, State of Wisconsin v. Loomis sau intersecția dintre inteligența artificială și dreptul fundamental la un proces echitabil, Revista ”Dreptul” nr.4/2020, p.108; L.M. Stănilă, Inteligența Artificială. Dreptul penal și sistemul de justiție penală, Amintiri despre viitor, Editura Universul Juridic, 2020, pp. 175-178.
[5] J. Angwin, S. Larson, S. Mattu et L. Kirchner, Machine Bias : How We Analyzed the COMPAS Recidivism Algorithm Propublica, mai 2016: https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing ; A. Chouldechova, Fair Prediction with Disparate Impact: A Study of Bias, in Recidivism Prediction Instruments, 2016. http://arxiv.org/abs/1610.07524; C. O’Neil, Weapons of Math Destruction : How Big Data Increases Inequality and Threatens Democracy, Crown Random House, 2016.
[6] A se vedea: Déclaration de Montréal pour un développement responsable de l’intelligence artificielle, 2018, https://www.declarationmontreal-iaresponsable.com/la-declaration.
[7] C. Castets-Renard, Comment construire une intelligence artificielle responsable et inclusive?, Recueil Dalloz 2020, p. 225.
[8] https://www.international.gc.ca/world-monde/international_relations-relations_internationales/europe/2018-06-07-france_ai-ia_france.aspx?lang=fra.
[9]A. Deroudille, Actualité du droit du numérique dans l’Union européenne: bilan et perspectives, Revue de l’Union européenne, 2020, p.13.
[10] F. Dermange, L. Flachon (dir.), Éthique et droit, Éditions Labord et Fides, Genève, 2002, p. 15, citați de L. Godefroy, Éthique et droit de l’intelligence artificielle, Recueil Dalloz 2020 p. 231.
[11] V. P. Besse, C. Castets-Renard, A. Garivier et J.-M. Loubes, L’IA du Quotidien peut-elle être Éthique ? Loyauté des Algorithmes d’Apprentissage Automatique, 2018, https://hal.archives-ouvertes.fr/hal-01886699v2.
[12] V. P. Besse, C. Castets-Renard, A. Garivier et J.-M. Loubes, L’IA du Quotidien peut-elle être Éthique ? Loyauté des Algorithmes d’Apprentissage Automatique, 2018, https://hal.archives-ouvertes.fr/hal-01886699v2.
[13] De exemplu, în Franța, de la Legea pentru o republică digitală (Loi n° 2016-1321 du 7 oct. 2016 pour une République numérique), intrată în vigoare în 2017, administrația este obligată să menționeze în mod explicit oricărei persoane că a fost luată o decizie cu privire la acestea prin prelucrare algoritmică și să îi comunice, la cerere, alte detalii.
[14] L. Godefroy, Éthique et droit de l’intelligence artificielle, Recueil Dalloz 2020, p. 231.
[15] L. Godefroy, idem.
[16] J. Fjeld, H. Hilligoss, N. Achten, M. Levy Daniel, J. Feldman et S. Kagay, Principled Artificial Intelligence : A Map of Ethical and Rights-Based Approaches, juill. 2019, https://ai-hr.cyber.harvard.edu/primp-viz.html.
[17] C. Castets-Renard, Comment construire une intelligence artificielle responsable et inclusive ?, Recueil Dalloz 2020, p. 225.
[18] A se vedea start-up-ul francez PREDICTICE și Carta sa etică: https://blog.predictice.com/livre-blanc-sciences-po-paris-les-enjeux-%C3%A9thiques-de-la-justice-pr%C3%A9dictive.
[19] L. Godefroy, Le code algorithmique au service du droit, Recueil Dalloz 2018, p. 734.
[20] G. Loiseau, Intelligence artificielle et responsabilité – Les responsabilités du fait de l’intelligence artificielle, CCE 2019. Comm. 24.
[21] J. Millar et I. R. Kerr, Delegation, Relinquishment and Responsibility : The Prospect of Expert Robots, 2013, https://ssrn.com/abstract=2234645; A. D. Selbst, Negligence and AI’s Human Users, Boston University Law Review, 2019; A. M. Froomkin, I. R. Kerr et J. Pineau, When AIs Outperform Doctors: Confronting the Challenges of a Tort-Induced Over-Reliance on Machine Learning, 61 Arizona Law Review 33, 2019.
[22] A se vedea Directiva Consiliului Europei din 25 iulie 1985 de apropiere a actelor cu putere de lege și a actelor administrative ale statelor membre cu privire la răspunderea pentru produsele cu defect, disponibilă pe https://eur-lex.europa.eu.
[23] L. Godefroy, Éthique et droit de l’intelligence artificielle, Recueil Dalloz 2020, p.231; S. Wachter, B. Mittelstadt et L. Floridi, Transparent, Explainable, and Accountable AI for Robotics, Science Robotics, vol. 2, issue 6, 2017; A. Koene, C. Clifton, Y. Hatada, H. Webb, M. Patel, C. Machado, J. La Violette, R. Richardson et D. Reisman, A Governance Framework for Algorithmic Accountability and Transparency, European Parlimentary Research Service, P.E. 624.262, mars 2019; A. D. Selbst et S. Barocas, The Intuitive Appeal of Explainable Machines, Fordham Law Review 87, 1085, 2018; B. Mittelstadt, C. Russell, C. et S. Wachter, Explaining Explanations in AI, Proceedings of FAT* ’19: Conference on Fairness, Accountability and Transparency, 2018; A. D. Selbst, D. Boyd, S. Friedler, S. Venkatasubramanian et J. Vertesi, Fairness and Abstraction in Sociotechnical Systems, ACM Conference, Fairness, Accountability, and Transparency (FAT*), vol. 1, n° 1.
[24] A se vedea, pe www.legifrance.gouv.fr, Legea n° 78-17 din 1978, modificată prin L. n° 2018-493: „Aucune décision de justice impliquant une appréciation sur le comportement d’une personne ne peut avoir pour fondement un traitement automatisé de données à caractère personnel destiné à évaluer certains aspects de la personnalité de cette personne”.
[25] C. Castets-Renard, Régulation des algorithmes et gouvernance du machine learning : vers une transparence et « explicabilité » des décisions algorithmiques?, Rev. Droit & Affaires, 15e éd., 2018.
[26] Rapp. Villani, Donner un sens à l’intelligence artificielle. Pour une stratégie nationale et européenne, Doc. fr., mars 2018, disponibil pe https://www.enseignementsup-recherche.gouv.fr/cid128577/rapport-de-cedric-villani-donner-un-sens-a-l-intelligence-artificielle-ia.html.
[27] https://www.tbs-sct.gc.ca/pol/doc-fra.aspx?id=32592.
[28] B. Bévière-Boyer, Responsabilité numérique: le défi d’une responsabilité spécifique humanisée, Dalloz IP/IT 2020, p. 159.
[29] B. Bévière-Boyer, idem.
[30] A. Picard, Modération des contenus : la « Cour suprême » de Facebook sera en place début 2020, Le Monde, 17 sept. 2019, https://bit.ly/2HWiu0R.
[31] B. Bévière-Boyer, idem.
[32] Déclaration de Montréal pour un développement responsable de l’intelligence artificielle, 2018, https://www.declarationmontreal-iaresponsable.com/la-declaration.
[33] A se vedea: Orientări în materie de etică pentru o inteligență artificială (IA) fiabilă, publicate în 2019, document disponibil pe: https://www.europarl.europa.eu/meetdocs/2014_2019/plmrep/COMMITTEES/JURI/DV/2019/11-06/Ethics-guidelines-AI_RO.pdf.
[34] https://ec.europa.eu/info/files/white-paper-artificial-intelligence-european-approach-excellence-and-trust_en.
[35] A se vedea, pentru detalii: D.Vișan, Etica inteligenței artificiale. Premisele cadrului legal pentru inteligența artificială – o abordare europeană. Cartea albă a Comisiei Europene, pe www.universuljuridic.ro, 6 aprilie 2020.
[36] Comisia europeană pentru eficacitatea justiției (CEPEJ), Charte éthique européenne d’utilisation de l’intelligence artificielle dans les systèmes judiciaires et leur environnement, 2018, disponibilă pe https://www.coe.int/fr/web/cepej/cepej-european-ethical-charter-on-the-use-of-artificial-intelligence-ai-in-judicial-systems-and-their-environment.
[37] https://rm.coe.int/cepej-2021-16-en-revised-roadmap-follow-up-charter/1680a4cf2f.
[38] https://www.coe.int/fr/web/artificial-intelligence/cai.
[39] https://eur-lex.europa.eu/legal-content/RO/ALL/?uri=CELEX:52020DC0710.
[40] https://eur-lex.europa.eu/legal-content/RO/TXT/?uri=CELEX:52021PC0206.
[41] https://eur-lex.europa.eu/legal-content/RO/TXT/?uri=CELEX:52020IP0276.
[42] https://eur-lex.europa.eu/legal-content/RO/TXT/?uri=CELEX:52021PC0759
[43] https://eur-lex.europa.eu/legal-content/RO.
[44] https://op.europa.eu/ro/publication-detail/-/publication/2d130a54-8a28-11ec-8c40-01aa75ed71a1/language-ro.
[45] The Council of Bars and Law Societies of Europe (CCBE) – este o asociație internațională, înfiițată în 1960; în prezent, reprezintă barouri din 46 de țări europene.
[46] https://www.ccbe.eu/fileadmin/speciality_distribution/public/documents/IT_LAW/ITL_Position_papers/.
Arhive
- februarie 2024
- ianuarie 2024
- decembrie 2023
- noiembrie 2023
- octombrie 2023
- septembrie 2023
- august 2023
- iulie 2023
- iunie 2023
- mai 2023
- aprilie 2023
- martie 2023
- februarie 2023
- ianuarie 2023
- decembrie 2022
- noiembrie 2022
- octombrie 2022
- septembrie 2022
- august 2022
- iulie 2022
- iunie 2022
- mai 2022
- aprilie 2022
- martie 2022
- februarie 2022
- ianuarie 2022
- decembrie 2021
- noiembrie 2021
- octombrie 2021
- septembrie 2021
- august 2021
- iulie 2021
- iunie 2021
- mai 2021
- aprilie 2021
- martie 2021
- februarie 2021
- ianuarie 2021
- decembrie 2020
- noiembrie 2020
- octombrie 2020
- septembrie 2020
- august 2020
- iulie 2020
- iunie 2020
- mai 2020
- aprilie 2020
- martie 2020
- februarie 2020
- ianuarie 2020
- decembrie 2019
- noiembrie 2019
- octombrie 2019
- septembrie 2019
- august 2019
- iulie 2019
- iunie 2019
- mai 2019
- aprilie 2019
- martie 2019
- februarie 2019
- ianuarie 2019
- decembrie 2018
- noiembrie 2018
- octombrie 2018
- septembrie 2018
- august 2018
- iulie 2018
- iunie 2018
- mai 2018
- aprilie 2018
- martie 2018
- februarie 2018
- ianuarie 2018
- decembrie 2017
- noiembrie 2017
- octombrie 2017
- septembrie 2017
- august 2017
- iulie 2017
- iunie 2017
- mai 2017
- aprilie 2017
- martie 2017
- februarie 2017
- ianuarie 2017
- decembrie 2016
- noiembrie 2016
- octombrie 2016
- septembrie 2016
- august 2016
- iulie 2016
- iunie 2016
- mai 2016
- aprilie 2016
- martie 2016
- februarie 2016
- ianuarie 2016
- decembrie 2015
- noiembrie 2015
- octombrie 2015
- septembrie 2015
- august 2015
- iulie 2015
- iunie 2015
- mai 2015
- aprilie 2015
- martie 2015
- februarie 2015
- ianuarie 2015
Calendar
L | Ma | Mi | J | V | S | D |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 | 30 | 31 |
Lasă un răspuns
Trebuie să fii autentificat pentru a publica un comentariu.