Diversos acadèmics i experts en polítiques han proposat que el Consell Internacional de la Ciència, amb la seva participació plural de les ciències socials i naturals, estableixi un procés per produir i mantenir un marc/llista de verificació anotat dels riscos, beneficis, amenaces i oportunitats. associades a tecnologies digitals de ràpid moviment, inclosa, però no limitada a, la IA. L'objectiu de la llista de verificació seria informar a totes les parts interessades, inclosos els governs, els negociadors comercials, els reguladors, la societat civil i la indústria, sobre possibles escenaris futurs, i marcaria com podrien considerar les oportunitats, els beneficis, els riscos i altres qüestions.
L'ISC té el plaer de presentar aquest document de discussió sobre l'avaluació de la tecnologia digital i relacionada amb el ràpid desenvolupament. La intel·ligència artificial, la biologia sintètica i les tecnologies quàntiques són exemples excel·lents d'innovació, informada per la ciència, que sorgeix a un ritme sense precedents. Pot ser un repte anticipar sistemàticament no només les seves aplicacions, sinó també les seves implicacions.
Avaluar els aspectes socials de la IA generativa, com ara els grans models de llenguatge, que previsiblement representen la major part d'aquest document de discussió, és un pont necessari dins del discurs actual –de vegades impulsat pel pànic, altres vegades no prou profund en el pensament– i els cursos necessaris de acció que podem prendre. L'ISC està convençut que es requereix un marc analític entre l'acceptació social d'aquestes noves tecnologies i la seva possible regulació per facilitar les discussions de múltiples parts interessades que calen per prendre decisions informades i responsables sobre com optimitzar els beneficis socials d'aquesta tecnologia emergent.
L'ISC està obert a les reaccions de la nostra comunitat a través d'aquest document de discussió per tal d'avaluar la millor manera de continuar formant part i contribuint al debat sobre la tecnologia.
Salvatore Aricò, CEO
Un document de discussió de l'ISC
Un marc per avaluar les tecnologies digitals i relacionades amb un ràpid desenvolupament: IA, grans models de llenguatge i més enllà
Aquest document de discussió proporciona l'esquema d'un marc inicial per informar les múltiples discussions globals i nacionals que tenen lloc sobre la IA.
Descarregueu l’informe
Nou! Llegiu la versió 2024 per als responsables polítics amb un marc que es pot descarregar per a la vostra organització.
Una guia per als responsables polítics: avaluar les tecnologies de desenvolupament ràpid, com ara la intel·ligència artificial, els grans models lingüístics i més enllà
Aquest document de discussió proporciona l'esquema d'un marc inicial per informar les múltiples discussions globals i nacionals que tenen lloc sobre la IA.
contingut
introducció
Les tecnologies emergents ràpidament presenten problemes difícils pel que fa a la seva governança i regulació potencial. La política i els debats públics sobre la intel·ligència artificial (IA) i el seu ús han posat en relleu aquests problemes. Tot i que la UNESCO, l'OCDE i altres han promulgat principis amplis per a la IA, i hi ha discussions naixents sobre la regulació global o jurisdiccional de la tecnologia, hi ha una bretxa ontològica entre el desenvolupament de principis d'alt nivell i la seva incorporació a la normativa, les polítiques, enfocaments de govern i gestió. Aquí és on la comunitat científica no governamental podria tenir un paper particular.
Diversos acadèmics i experts en polítiques han proposat que el Consell Internacional de la Ciència (ISC) –amb els seus membres pluralistes de les ciències socials i naturals– estableixi un procés per produir i mantenir un marc/llista de verificació anotat dels riscos, beneficis, amenaces i oportunitats associades a les tecnologies digitals que es mouen ràpidament, inclosa, però no limitada a, la IA. L'objectiu de la llista de verificació seria informar a totes les parts interessades, inclosos els governs, els negociadors comercials, els reguladors, la societat civil i la indústria, sobre possibles escenaris futurs, i marcaria com podrien considerar les oportunitats, els beneficis, els riscos i altres qüestions.
Els resultats no actuaran com un òrgan d'avaluació, sinó com un marc analític adaptatiu i en evolució que podria donar suport a qualsevol procés d'avaluació i reglamentació que poguessin desenvolupar les parts interessades, inclosos els governs i el sistema multilateral. Qualsevol marc analític hauria de desenvolupar-se idealment independentment de les afirmacions governamentals i de la indústria, atesos els seus interessos comprensibles. També ha de ser el màxim pluralisme en les seves perspectives, abastant així tots els aspectes de la tecnologia i les seves implicacions.
Aquest document de discussió proporciona l'esquema d'un marc inicial per informar les múltiples discussions globals i nacionals que tenen lloc sobre la IA.
Antecedents: Per què un marc analític?
La ràpida aparició d'una tecnologia amb la complexitat i les implicacions de la IA està impulsant moltes afirmacions de grans beneficis. Tanmateix, també provoca pors de riscos importants, des de l'individual fins a l'àmbit geoestratègic. Gran part de la discussió tendeix a tenir lloc als extrems de l'espectre de punts de vista, i cal un enfocament més pragmàtic. La tecnologia d'IA continuarà evolucionant i la història mostra que pràcticament totes les tecnologies tenen usos tant beneficiosos com nocius. La pregunta és, doncs: com podem aconseguir resultats beneficiosos d'aquesta tecnologia, alhora que es redueix el risc de conseqüències perjudicials, algunes de les quals podrien ser de magnitud existencial?
El futur és sempre incert, però hi ha prou veus creïbles i expertes en relació amb la IA i la IA generativa per fomentar un enfocament relativament cautelar. A més, cal un enfocament de sistemes, perquè la IA és una classe de tecnologies amb un ampli ús i aplicació per part de diversos tipus d'usuaris. Això vol dir que s'ha de tenir en compte tot el context a l'hora de considerar les implicacions de la IA per als individus, la vida social, la vida cívica, la vida social i en el context global.
A diferència de la majoria de tecnologies anteriors, les tecnologies digitals i relacionades tenen un període de temps molt curt des del desenvolupament fins al llançament, en gran part impulsades pels interessos de les empreses productores o agències. La IA és ràpidament generalitzada; algunes propietats només poden ser evidents després del llançament, i la tecnologia podria tenir aplicacions tant malèvoles com benèvoles. Les dimensions dels valors importants influiran en com es percep qualsevol ús. A més, hi pot haver interessos geoestratègics en joc.
Fins ara, la regulació d'una tecnologia virtual s'ha vist en gran mesura a través de la lent dels "principis" i el compliment voluntari. Més recentment, però, la discussió s'ha centrat en qüestions de governança nacional i multilateral, inclòs l'ús d'eines normatives i d'altres polítiques. Les afirmacions a favor o en contra de la IA són sovint hiperbòliques i, donada la naturalesa de la tecnologia, difícils d'avaluar. Establir un sistema de regulació tecnològic global o nacional eficaç serà un repte i es necessitaran múltiples capes de presa de decisions informades sobre el risc al llarg de la cadena, des de l'inventor fins al productor, passant per l'usuari, el govern i el sistema multilateral.
Tot i que la UNESCO, l'OCDE i la Comissió Europea, entre d'altres, han promulgat principis d'alt nivell, i s'estan duent a terme diverses discussions d'alt nivell sobre qüestions de regulació potencial, hi ha una gran bretxa ontològica entre aquests principis i un marc de governança o reglamentació. Quina és la taxonomia de les consideracions que un regulador podria haver de tenir en compte? Un enquadrament molt enfocat no seria prudent, ateses les àmplies implicacions d'aquestes tecnologies. Aquest potencial ha estat objecte de molts comentaris, tant positius com negatius.
El desenvolupament d'un marc analític
L'ISC és la principal ONG global que integra les ciències naturals i socials. El seu abast global i disciplinari significa que està en una bona posició per generar assessorament independent i rellevant a nivell mundial per informar les complexes decisions futures, sobretot perquè les veus actuals en aquest àmbit provenen en gran part de la indústria o de les grans potències tecnològiques. Després d'un ampli debat durant els darrers mesos, inclosa la consideració d'un procés d'avaluació no governamental, l'ISC va concloure que la seva contribució més útil seria produir i mantenir un marc analític adaptatiu que es pugui utilitzar com a base per al discurs i la presa de decisions dels totes les parts interessades, fins i tot durant qualsevol procés d'avaluació formal que sorgeixi.
Aquest marc prendria la forma d'una llista de verificació global que podrien utilitzar tant les institucions governamentals com les no governamentals. El marc identifica i explora el potencial d'una tecnologia com la IA i els seus derivats a través d'una lent àmplia que abasta el benestar humà i social, així com factors externs, com l'economia, la política, el medi ambient i la seguretat. Alguns aspectes de la llista de verificació poden ser més rellevants que d'altres, depenent del context, però les millors decisions són més probables si es tenen en compte tots els dominis. Aquest és el valor inherent d'un enfocament de llista de verificació.
El marc proposat es deriva de treballs i pensaments anteriors, inclòs l'informe de benestar digital de la Xarxa Internacional d'Assessoraments Científics Governamentals (INGSA).1 i el Marc de Classificació de la IA de l'OCDE2 presentar la totalitat de les oportunitats, riscos i impactes potencials de la IA. Aquests productes anteriors estaven més restringits en la seva intenció atesa el seu temps i context, hi ha una necessitat d'un marc global que presenti tota la gamma de problemes tant a curt com a llarg termini.
Tot i que es va desenvolupar per a la consideració de la IA, aquest marc analític es podria aplicar a qualsevol tecnologia emergent. Les qüestions s'agrupen generalment en les categories següents per a un posterior examen:
S'inclou una llista de consideracions per a cadascuna de les categories anteriors juntament amb les seves respectives oportunitats i conseqüències. Alguns són rellevants per a instàncies o aplicacions específiques d'IA, mentre que altres són genèrics i agnòstics de la plataforma o l'ús. Cap consideració inclosa aquí s'ha de tractar com una prioritat i, com a tal, s'hauria d'examinar totes.
Com es podria utilitzar aquest marc?
Aquest marc es pot utilitzar de les maneres següents, però no limitada a:
La taula següent és una configuració inicial de les dimensions d'un marc analític. Segons la tecnologia i el seu ús, alguns components seran més rellevants que altres. Els exemples es proporcionen per il·lustrar per què cada domini pot importar; en el context, el marc requeriria una expansió contextualment rellevant. També és important distingir entre els desenvolupaments de la plataforma i els problemes genèrics que poden sorgir durant aplicacions específiques.
Dimensions a tenir en compte a l'hora d'avaluar una nova tecnologia
| Esborrany inicial de les dimensions que caldria tenir en compte a l'hora d'avaluar una nova tecnologia | ||
| Dimensions de l'impacte | Criteris | Exemples de com això es pot reflectir en l'anàlisi |
| Individual/ autònom | Competència d'IA dels usuaris | Què tan competents i conscients de les propietats del sistema són els usuaris probables que interactuaran amb el sistema? Com se'ls proporcionarà la informació i les precaucions rellevants per a l'usuari? |
| Actors afectats | Quins són els principals actors que es veuran afectats pel sistema (és a dir, persones, comunitats, treballadors vulnerables, sectorials, nens, responsables polítics, professionals)? | |
| Opcionalitat | Els usuaris tenen l'opció de desactivar-se del sistema? s'han de donar oportunitats per desafiar o corregir el resultat? | |
| Riscos per als drets humans i els valors democràtics | Podria el sistema impactar (i en quina direcció) en els drets humans, inclosos, entre d'altres, la privadesa, la llibertat d'expressió, l'equitat, el risc de discriminació, etc.? | |
| Efectes potencials en el benestar de les persones | Podria el sistema afectar (i en quina direcció) el benestar de l'usuari individual (és a dir, la qualitat del treball, l'educació, les interaccions socials, la salut mental, la identitat, el medi ambient)? | |
| Potencial de desplaçament laboral humà | Hi ha possibilitat que el sistema automatitzi tasques o funcions que estaven executant els humans? Si és així, quines són les conseqüències aigües avall? | |
| Potencial de manipulació de la identitat, els valors o el coneixement | El sistema està dissenyat o potencialment capaç de manipular la identitat o els valors de l'usuari establerts, o difondre desinformació? Hi ha possibilitats de declaracions d'expertesa falses o no verificables? | |
| Mesures d'autoestima | Hi ha pressió per retratar un jo idealitzat? L'automatització podria substituir una sensació de realització personal? Hi ha pressió per competir amb el sistema en el lloc de treball? Es fa més difícil protegir la reputació individual de la desinformació? | |
| Privacitat | Hi ha responsabilitats difuses per salvaguardar la privadesa i es fan suposicions sobre com s'utilitzen les dades personals? | |
| Autonomia | Podria el sistema afectar l'autonomia humana generant una dependència excessiva de la tecnologia per part dels usuaris finals? | |
| Desenvolupament humà | Hi ha un impacte en l'adquisició d'habilitats clau per al desenvolupament humà, com ara funcions executives, habilitats interpersonals, canvis en el temps d'atenció que afecten l'aprenentatge, desenvolupament de la personalitat, problemes de salut mental, etc.? | |
| Atenció personal de la salut | Hi ha reclamacions de solucions sanitàries personalitzades? En cas afirmatiu, estan validats segons els estàndards reglamentaris? | |
| Salut mental | Hi ha risc d'augmentar l'ansietat, la solitud o altres problemes de salut mental, o la tecnologia pot mitigar aquests impactes? | |
| Evolució humana | La tecnologia podria provocar canvis en l'evolució humana? | |
| Dimensions de l'impacte | Criteris | Descripció |
| Societat/vida social | Valors socials | El sistema canvia fonamentalment la naturalesa de la societat o permet la normalització d'idees que abans es consideraven antisocials, o incompleix els valors socials de la cultura en què s'aplica? |
| Interacció social | Hi ha un efecte en el contacte humà significatiu, incloses les relacions emocionals? | |
| Equitat | És probable que l'aplicació/tecnologia redueixi o millori les desigualtats (és a dir, econòmiques, socials, educatives, geogràfiques)? | |
| Salut de la població | Hi ha possibilitat que el sistema avança o soscabi les intencions de salut de la població? | |
| Expressió cultural | És probable o més difícil d'abordar l'augment de l'apropiació o la discriminació cultural? La dependència del sistema per a la presa de decisions pot excloure o marginar sectors de la societat? | |
| Educació pública | Hi ha un efecte en les funcions dels professors o les institucions educatives? El sistema posa èmfasi o redueix la desigualtat entre els estudiants i la bretxa digital? El valor intrínsec del coneixement o la comprensió crítica està avançat o minat? | |
| Realitats distorsionades | Els mètodes que fem servir per discernir el que és veritat encara són aplicables? Està compromesa la percepció de la realitat? | |
| Context econòmic (comerç) | Sector industrial | En quin sector industrial es desplega el sistema (és a dir, finances, agricultura, sanitat, educació, defensa)? |
| Model de negoci | En quina funció empresarial s'utilitza el sistema i en quina capacitat? On s'utilitza el sistema (privat, públic, sense ànim de lucre)? | |
| Impacte en activitats crítiques | Una interrupció de la funció o activitat del sistema afectaria els serveis essencials o les infraestructures crítiques? | |
| Alè de desplegament | Com es desplega el sistema (extrictement dins d'una organització i generalitzat a nivell nacional/internacional)? | |
| Maduresa tècnica (TRL) | Què tan madur té el sistema tècnicament? | |
| Sobirania tecnològica | La tecnologia impulsa una major concentració de la sobirania tecnològica? | |
| Redistribució de la renda i palanques fiscals nacionals | Es podrien comprometre les funcions bàsiques de l'estat sobirà (és a dir, els bancs de reserva)? S'avançarà o reduirà la capacitat de l'estat per satisfer les expectatives i les implicacions dels ciutadans (és a dir, socials, econòmiques, polítiques)? | |
| Dimensions de l'impacte | Criteris | Descripció |
| Vida cívica | Governança i servei públic | Els mecanismes de governança i els sistemes de governança global es poden veure afectats positivament o negativament? |
| Mitjans de comunicació | És probable que el discurs públic estigui més o menys polaritzat i arrelat a nivell de població? Hi haurà un efecte en els nivells de confiança en els mitjans de comunicació? Es veuran més afectats els estàndards d'ètica i integritat del periodisme convencional? | |
| Estat de dret | Hi haurà un efecte en la capacitat d'identificar individus o organitzacions per fer-se responsables (és a dir, quin tipus de responsabilitat assignar a un algorisme per a resultats adversos)? Això crea una pèrdua de sobirania (és a dir, ambiental, fiscal, social, ètica)? | |
| Política i cohesió social | Hi ha una possibilitat de visions polítiques més arrelades i menys oportunitats per a la construcció de consens? Hi ha la possibilitat de marginar encara més els grups? Es fan més o menys probables els estils de política adversaris? | |
| Context geoestratègic/ geopolític | Vigilància de precisió | Els sistemes estan formats en dades biològiques i de comportament individuals i, si és així, es podrien utilitzar per explotar individus o grups? |
| Colonització digital | Els actors estatals o no estatals són capaços d'aprofitar sistemes i dades per entendre i controlar les poblacions i els ecosistemes d'altres països, o per soscavar el control jurisdiccional? | |
| Competència geopolítica | Afecta el sistema la competència entre nacions i plataformes tecnològiques per accedir a dades individuals i col·lectives amb finalitats econòmiques o estratègiques? | |
| Comerç i acords comercials | El sistema té implicacions en els acords comercials internacionals? | |
| Canvi de poders globals | Està amenaçat l'estatus dels estats-nació com a principals actors geopolítics del món? Les empreses tecnològiques exerciran el poder abans reservat als estats-nació i es convertiran en actors sobirans independents? | |
| Desinformació | És més fàcil per als actors estatals i no estatals produir i difondre desinformació que impacti en la cohesió social, la confiança i la democràcia? | |
| ambiental | Consum d'energia i recursos (petjada de carboni) | El sistema i els requisits augmenten l'absorció del consum d'energia i recursos per sobre dels guanys d'eficiència obtinguts amb l'aplicació? |
| Dimensions de l'impacte | Criteris | Descripció |
| Dades i entrada | Detecció i recollida | Les dades i les entrades les recullen humans, sensors automatitzats o tots dos? |
| Procedència de les dades | Pel que fa a les dades, aquestes són proporcionades, observades, sintètiques o derivades? Hi ha proteccions de filigrana per confirmar la procedència? | |
| Caràcter dinàmic de les dades | Les dades són dinàmiques, estàtiques, actualitzades de tant en tant o actualitzades en temps real? | |
| Drets | Les dades són propietat, públiques o personals (és a dir, relacionades amb persones identificables)? | |
| Identificació de les dades personals | Si són dades personals, són anònimes o pseudonimitzades? | |
| Estructura de les dades | Les dades estan estructurades, semiestructurades, complexes o no estructurades? | |
| Format de les dades | El format de les dades i metadades està estandarditzat o no estandarditzat? | |
| Escala de les dades | Quina és l'escala del conjunt de dades? | |
| Adequació i qualitat de les dades | El conjunt de dades és adequat per al propòsit? La mida de la mostra és adequada? És prou representatiu i complet? Què tan sorollosos són les dades? És propens a errors? | |
| model | Disponibilitat d'informació | Hi ha informació sobre el model del sistema disponible? |
| Tipus de model d'IA | El model és simbòlic (regles generades per humans), estadístic (utilitza dades) o híbrid? | |
| Drets associats al model | El model és de codi obert, o és propietari, gestionat per compte propi o per tercers? | |
| Models únics o múltiples | El sistema està format per un model o per diversos models interconnectats? | |
| Generativa o discriminatòria | El model és generatiu, discriminatiu o tots dos? | |
| Edifici de maquetes | El sistema aprèn basant-se en regles escrites per humans, a partir de dades, mitjançant aprenentatge supervisat o aprenentatge de reforç? | |
| Evolució del model (deriva de l'IA) | El model evoluciona i/o adquireix habilitats a partir de la interacció amb les dades del camp? | |
| Aprenentatge centralitzat o federat | El model està entrenat de manera centralitzada o en diversos servidors locals o dispositius "edge"? | |
| Desenvolupament i manteniment | El model és universal, personalitzable o adaptat a les dades de l'actor d'IA? | |
| Determinista o probabilista | S'utilitza el model d'una manera determinista o probabilística? | |
| Transparència del model | Hi ha informació disponible per als usuaris per permetre'ls entendre els resultats i les limitacions del model o les limitacions d'ús? | |
| Limitació computacional | Hi ha limitacions computacionals al sistema? Podem predir els salts de capacitat o les lleis d'escala? | |
| Dimensions de l'impacte | Criteris | Descripció |
| Tasca i sortida | Tasca(s) realitzada pel sistema | Quines tasques realitza el sistema (és a dir, reconeixement, detecció d'esdeveniments, previsió)? |
| Combinació de tasques i accions | El sistema combina diverses tasques i accions (és a dir, sistemes de generació de continguts, sistemes autònoms, sistemes de control)? | |
| Nivell d'autonomia del sistema | Què tan autònomes són les accions del sistema i quin paper juguen els humans? | |
| Grau d'implicació humana | Hi ha alguna implicació humana per supervisar l'activitat global del sistema d'IA i la capacitat de decidir quan i com utilitzar el sistema en qualsevol situació? | |
| Aplicació bàsica | El sistema pertany a una àrea d'aplicació bàsica com les tecnologies del llenguatge humà, la visió per computador, l'automatització i/o l'optimització o la robòtica? | |
| Avaluació | Hi ha estàndards o mètodes disponibles per avaluar la sortida del sistema o fer front a propietats emergents imprevistes? | |
Clau per a fonts dels descriptors
Text simple:
Gluckman, P. i Allen, K. 2018. Entendre el benestar en el context de les transformacions digitals ràpides i associades. INGSA. https://ingsa.org/wp-content/uploads/2023/01/INGSA-Digital-Wellbeing-Sept18.pdf
Text en negreta:
OCDE. 2022. Marc de l'OCDE per a la classificació de sistemes d'IA. Documents d'economia digital de l'OCDE, núm. 323, Edicions de l'OCDE, París. https://oecd.ai/en/classification
El text en cursiva:
Nous descriptors (de diverses fonts)
Un camí a seguir
Depenent de la resposta a aquest document de discussió, l'ISC formaria un grup de treball d'experts per desenvolupar o modificar el marc analític anterior mitjançant el qual les parts interessades podrien examinar de manera exhaustiva qualsevol desenvolupament significatiu de les plataformes o de les dimensions d'ús. El grup de treball seria disciplinàriament, geogràficament i demogràficament divers, amb experiència que abasta des de l'avaluació de la tecnologia fins a les polítiques públiques, des del desenvolupament humà fins a la sociologia i els estudis de futurs i tecnologia.
Per participar amb aquest document de discussió, visiteu council.science/publications/framework-digital-technologies
Agraïments
Moltes persones han estat consultades en l'elaboració d'aquest document, que va ser redactat per Sir Peter Gluckman, president, ISC i Hema Sridhar, antic científic en cap del Ministeri de Defensa, i ara investigador sènior de la Universitat d'Auckland, Nova Zelanda.
En particular, agraïm a Lord Martin Rees, antic president de la Royal Society i cofundador del Center for the Study of Existential Risks, Universitat de Cambridge; el professor Shivaji Sondhi, professor de Física de la Universitat d'Oxford; el professor K Vijay Raghavan, antic assessor científic principal del govern de l'Índia; Amandeep Singh Gill, enviat de tecnologia del secretari general de l'ONU; Dr. Seán Óh Éigeartaigh, director executiu, Centre per a l'estudi dels riscos existencials, Universitat de Cambridge; Amanda-June Brawner, assessora sènior de polítiques i Ian Wiggins, director d'Afers Internacionals, Royal Society UK; el doctor Jerome Duberry, la doctora Marie-Laure Salles, directora de l'Institut de Postgrau de Ginebra; Chor Pharn Lee, Centre de Futurs Estratègics, Oficina del Primer Ministre, Singapur; Barend Mons i el doctor Simon Hodson, del Comitè de Dades (CoDATA); la professora Yuko Harayama, Japó; el professor Rémi Quirion, president de l'INGSA; la doctora Claire Craig, de la Universitat d'Oxford i antiga cap de prospectiva de l'Oficina de Ciència del Govern; i el professor Yoshua Bengio, Consell Assessor Científic del Secretari General de l'ONU i de la Universitat de Mont-real. En general, es va aprovar l'enfocament de la llista de verificació i es va posar èmfasi en l'oportunitat de qualsevol acció de l'ISC.
Imatge: Adamichi a iStock
Llegeix més sobre El dèficit de contextualització: replantejar la confiança en la ciència per a la política multilateral
Més informació sobre el document de posició per al Fòrum polític d'alt nivell 2023
Llegeix més sobre El futur de l'avaluació de la recerca: una síntesi dels debats i desenvolupaments actuals
