Ayer presentamos un artículo sobre un incidente con la IA, los expertos opinaron al respecto en el siguiente artículo publicado en el diario La Nación:
“Es
el precio a pagar”: los riesgos de una IA cada vez más autónoma, según los
expertos
El reciente caso en el que un agente de OpenAI realizó por sí solo un
hackeo a otra empresa despierta incertidumbre respecto a la seguridad de estos
sistemas; el humano, el principal responsable
“Un incidente de seguridad
sin precedentes”. Así definió OpenAI —la
compañía detrás de ChatGPT— un reciente episodio que despertó alarmas
en el universo tecnológico. Según explicó la firma, sus modelos
más avanzados de inteligencia artificial (IA) se descontrolaron durante
una prueba de seguridad y, por iniciativa propia, hackearon a una
popular plataforma para programadores.
En consecuencia, OpenAI
aseguró que llevará adelante una investigación conjunta con Hugging
Face, la empresa afectada.
Todo comenzó la semana
pasada, cuando la propia Hugging Face detectó una intrusión en sus sistemas de
procesamiento de datos que, según sus sospechas, había sido causada por un
agente de IA que actuó por su cuenta de manera autónoma.
OpenIA indicó que el
episodio involucró una combinación de modelos, incluyendo su recién lanzado GPT-5.6
Sol “y uno en prelanzamiento” con aún más capacidad. La empresa
intenta evaluar las capacidades de hackeo de sus programas al darles tareas en
un espacio digital de pruebas controlado, donde el acceso a internet es
limitado por motivos de seguridad.
“Mientras operaban en
nuestro entorno de pruebas aislado, nuestros modelos invirtieron una cantidad
considerable de potencia de cálculo en buscar una forma de obtener
acceso a internet para resolver el problema de evaluación”, explicaron
desde la compañía según una publicación del blog de OpenAI.
Tras conectarse a internet,
los modelos decidieron atacar la plataforma Hugging Face —un
gran repositorio de modelos de IA, conjuntos de datos y otra información— para
facilitar su búsqueda.
Al buscar “información
secreta” que les permitiera manipular la evaluación, el sistema de OpenAI “encadenó
múltiples vectores de ataque, incluidos el uso de credenciales robadas”.
Por su parte, Hugging Face
contó en su blog oficial que lo ocurrido “era diferente a todo lo que
habían gestionado antes” y afirmó que “fue llevado a cabo, de principio a fin,
por un sistema autónomo de agentes de IA”. “Lo detectamos y analizamos en gran
medida con nuestra propia IA”, insiste el comunicado.
Responsabilidad, el lado B
de los agentes de IA
El caso pone en el centro,
una vez más, un aspecto sensible cuando se trata de agentes de IA: la responsabilidad. En
ese sentido, Alan Daitch, especialista en tecnología, señala que “siempre
un humano debe hacerse cargo”. “En términos generales, cuando una
máquina genera algún perjuicio, lo que sucede es que la responsabilidad se
reparte entre el fabricante, la persona que lo configuró y la persona que que
lo utilizó”, detalla.
¿El motivo? Un agente de IA
funciona a partir de un prompt inicial, es decir, una
orden dada por un humano. Ahora bien, Daitch destaca una
particularidad: “Uno puede haber dado una orden general y de largo plazo de
objetivo, y el agente, por sí solo, pudo haber definido la estrategia y
la manera de llegar a ese objetivo y correr autónomamente durante días, semanas
o meses”.
Para el experto, esto supone
una ventaja en términos de productividad, pero también un desafío. “El
riesgo es que el sistema se salga de control y, mediante su
interpretación de las órdenes que se le dieron, termine haciendo algo para lo
que la intención inicial no fue pensada”, profundiza.
“Como trabajan durante tanto
tiempo, a veces olvidan parte de sus instrucciones. Cuando
uno ve en detalle el trabajo de un agente trabajando, hay mucha prueba y error,
momentos en donde olvida, y vuelve a las instrucciones para orientarse, y
avanza en sus objetivos, para luego volver a olvidarse, y así”, explica Tomás
García Piñeiro, especialista en IA y cofundador y CEO de Detrics.
En esa línea, Sergio
Sirotinsky, profesor de IA en la Universidad del CEMA, suma: “Lo que se espera
es que los agentes sean lo más autónomos posibles dando acceso a las
herramientas a las que están autorizadas. Por supuesto que esto implica
testear lo suficiente estos agentes en los ambientes de desarrollo, previo a su
puesta en producción”.
Autonomía, ¿mayor riesgo?
Respecto al caso de OpenAI y
Hugging Face, Sirotinsky aventura que lo que pudo haber fallado en términos de
seguridad son los permisos. “Probablemente se le dio más
atribuciones al agente de los que debería haber tenido en primera
instancia. Está claro que hay un trade off entre los
accesos que se le da y su capacidad de autonomía”, precisa.
Y añade: “Si queremos ganar
en autonomía, el precio a pagar es incrementar el margen de riesgo. Es
por eso que el riesgo debe estar lo más controlado posible”.
En tanto, García Piñeiro se
detiene sobre un punto clave: OpenAI declaró que su intención no era
que el agente se conecte a internet y hackeé a un tercero para superar la
prueba de seguridad. De todas formas, el modelo lo hizo,
pasando por encima dicha orden. “Al decidir eso, supondría que olvidó
la instrucción inicial de no conectarse a internet, y antes de que
pueda ‘recordarla’, ya había hackeado al propio OpenAI y ya estaba dando el
siguiente paso”, detalla.
“El desafío a futuro es enorme.
Porque estamos tratando de entender qué tan buenos son los agentes
hackeando, en nuestro propios sistemas que son hackeables”, advierte.
Bajo esta idea, Daitch
reflexiona: “Lo que termina pasando es que las herramientas no están preparadas
para ser 100% confiables, y no se ve en el corto plazo que lo vayan a
estar”.
Transparencia
Por último, los expertos
coinciden que tanto la transparencia como la supervisión
humana deben ser los ejes centrales dentro un programa de gobernanza
de IA. Entre los principales puntos, Sirotinsky destaca definir
claramente qué herramientas puede tener autorizadas cada agente, evitando
permisos excesivos; establecer trazabilidad y monitoreo pleno
de la actividad de cada agente; y contar con mecanismos de interrupción
inmediata si se detectan desvíos respecto al comportamiento esperado.
Además, sugiere que cada
agente debería tener una firma, para reconocer “en nombre de quién” está
ejecutando.
“Con transparencia, podemos
mitigar futuros ataques involuntarios y preparar a nuestros sistemas críticos.
Podemos colectivamente entender como actúan los agentes a la hora de hackear y
minimizar el daño que seguro va a generar traer agentes con un actuar tan
poderoso e impredecible a nuestra sociedad”, sintetiza García Piñeiro.
Entradas relacionadas:
Páginas consultadas:
