viernes, 24 de julio de 2026
Huellas: Los riesgos de una IA cada vez más autónoma - artículo
Ayer presentamos un artículo sobre un incidente con la IA, los expertos opinaron al respecto en el siguiente artículo publicado en el diario La Nación:
“Es
el precio a pagar”: los riesgos de una IA cada vez más autónoma, según los
expertos
El reciente caso en el que un agente de OpenAI realizó por sí solo un
hackeo a otra empresa despierta incertidumbre respecto a la seguridad de estos
sistemas; el humano, el principal responsable
“Un incidente de seguridad
sin precedentes”. Así definió OpenAI —la
compañía detrás de ChatGPT— un reciente episodio que despertó alarmas
en el universo tecnológico. Según explicó la firma, sus modelos
más avanzados de inteligencia artificial (IA) se descontrolaron durante
una prueba de seguridad y, por iniciativa propia, hackearon a una
popular plataforma para programadores.
En consecuencia, OpenAI
aseguró que llevará adelante una investigación conjunta con Hugging
Face, la empresa afectada.
Todo comenzó la semana
pasada, cuando la propia Hugging Face detectó una intrusión en sus sistemas de
procesamiento de datos que, según sus sospechas, había sido causada por un
agente de IA que actuó por su cuenta de manera autónoma.
OpenIA indicó que el
episodio involucró una combinación de modelos, incluyendo su recién lanzado GPT-5.6
Sol “y uno en prelanzamiento” con aún más capacidad. La empresa
intenta evaluar las capacidades de hackeo de sus programas al darles tareas en
un espacio digital de pruebas controlado, donde el acceso a internet es
limitado por motivos de seguridad.
“Mientras operaban en
nuestro entorno de pruebas aislado, nuestros modelos invirtieron una cantidad
considerable de potencia de cálculo en buscar una forma de obtener
acceso a internet para resolver el problema de evaluación”, explicaron
desde la compañía según una publicación del blog de OpenAI.
Tras conectarse a internet,
los modelos decidieron atacar la plataforma Hugging Face —un
gran repositorio de modelos de IA, conjuntos de datos y otra información— para
facilitar su búsqueda.
Al buscar “información
secreta” que les permitiera manipular la evaluación, el sistema de OpenAI “encadenó
múltiples vectores de ataque, incluidos el uso de credenciales robadas”.
Por su parte, Hugging Face
contó en su blog oficial que lo ocurrido “era diferente a todo lo que
habían gestionado antes” y afirmó que “fue llevado a cabo, de principio a fin,
por un sistema autónomo de agentes de IA”. “Lo detectamos y analizamos en gran
medida con nuestra propia IA”, insiste el comunicado.
Responsabilidad, el lado B
de los agentes de IA
El caso pone en el centro,
una vez más, un aspecto sensible cuando se trata de agentes de IA: la responsabilidad. En
ese sentido, Alan Daitch, especialista en tecnología, señala que “siempre
un humano debe hacerse cargo”. “En términos generales, cuando una
máquina genera algún perjuicio, lo que sucede es que la responsabilidad se
reparte entre el fabricante, la persona que lo configuró y la persona que que
lo utilizó”, detalla.
¿El motivo? Un agente de IA
funciona a partir de un prompt inicial, es decir, una
orden dada por un humano. Ahora bien, Daitch destaca una
particularidad: “Uno puede haber dado una orden general y de largo plazo de
objetivo, y el agente, por sí solo, pudo haber definido la estrategia y
la manera de llegar a ese objetivo y correr autónomamente durante días, semanas
o meses”.
Para el experto, esto supone
una ventaja en términos de productividad, pero también un desafío. “El
riesgo es que el sistema se salga de control y, mediante su
interpretación de las órdenes que se le dieron, termine haciendo algo para lo
que la intención inicial no fue pensada”, profundiza.
“Como trabajan durante tanto
tiempo, a veces olvidan parte de sus instrucciones. Cuando
uno ve en detalle el trabajo de un agente trabajando, hay mucha prueba y error,
momentos en donde olvida, y vuelve a las instrucciones para orientarse, y
avanza en sus objetivos, para luego volver a olvidarse, y así”, explica Tomás
García Piñeiro, especialista en IA y cofundador y CEO de Detrics.
En esa línea, Sergio
Sirotinsky, profesor de IA en la Universidad del CEMA, suma: “Lo que se espera
es que los agentes sean lo más autónomos posibles dando acceso a las
herramientas a las que están autorizadas. Por supuesto que esto implica
testear lo suficiente estos agentes en los ambientes de desarrollo, previo a su
puesta en producción”.
Autonomía, ¿mayor riesgo?
Respecto al caso de OpenAI y
Hugging Face, Sirotinsky aventura que lo que pudo haber fallado en términos de
seguridad son los permisos. “Probablemente se le dio más
atribuciones al agente de los que debería haber tenido en primera
instancia. Está claro que hay un trade off entre los
accesos que se le da y su capacidad de autonomía”, precisa.
Y añade: “Si queremos ganar
en autonomía, el precio a pagar es incrementar el margen de riesgo. Es
por eso que el riesgo debe estar lo más controlado posible”.
En tanto, García Piñeiro se
detiene sobre un punto clave: OpenAI declaró que su intención no era
que el agente se conecte a internet y hackeé a un tercero para superar la
prueba de seguridad. De todas formas, el modelo lo hizo,
pasando por encima dicha orden. “Al decidir eso, supondría que olvidó
la instrucción inicial de no conectarse a internet, y antes de que
pueda ‘recordarla’, ya había hackeado al propio OpenAI y ya estaba dando el
siguiente paso”, detalla.
“El desafío a futuro es enorme.
Porque estamos tratando de entender qué tan buenos son los agentes
hackeando, en nuestro propios sistemas que son hackeables”, advierte.
Bajo esta idea, Daitch
reflexiona: “Lo que termina pasando es que las herramientas no están preparadas
para ser 100% confiables, y no se ve en el corto plazo que lo vayan a
estar”.
Transparencia
Por último, los expertos
coinciden que tanto la transparencia como la supervisión
humana deben ser los ejes centrales dentro un programa de gobernanza
de IA. Entre los principales puntos, Sirotinsky destaca definir
claramente qué herramientas puede tener autorizadas cada agente, evitando
permisos excesivos; establecer trazabilidad y monitoreo pleno
de la actividad de cada agente; y contar con mecanismos de interrupción
inmediata si se detectan desvíos respecto al comportamiento esperado.
Además, sugiere que cada agente debería tener una firma, para reconocer “en nombre de quién” está ejecutando.
“Con transparencia, podemos
mitigar futuros ataques involuntarios y preparar a nuestros sistemas críticos.
Podemos colectivamente entender como actúan los agentes a la hora de hackear y
minimizar el daño que seguro va a generar traer agentes con un actuar tan
poderoso e impredecible a nuestra sociedad”, sintetiza García Piñeiro.
Entradas relacionadas:
Páginas consultadas:
jueves, 23 de julio de 2026
Datos INDEC: Indicador de Confianza Empresarial (Junio 2026)
Industria manufacturera: el indicador de confianza empresarial se ubicó en -17,8%, de acuerdo con la evaluación de junio de 2026 y las expectativas para julio-septiembre 2026.
Páginas consultadas:
Huellas: OpenAI dice que su IA realizó por sí sola un hackeó a otra empresa - artículo
Leemos en un artículo publicado en el diario La Nación:
OpenAI
dice que su IA realizó por sí sola un hackeó a otra empresa
La empresa aseguró que se trata de chatbots y generadores de imágenes,
conocidos como “agentes” que actúan de forma autónoma para realizar tareas en
el mundo real
ASHINGTON.- En un episodio
que encendió todas las alarmas, la empresa creadora de ChatGPT, OpenAI, afirmó
este martes que sus modelos más avanzados de inteligencia artificial se
descontrolaron durante una prueba de seguridad y, por iniciativa
propia, hackearon a una popular plataforma para programadores.
La firma con sede en San
Francisco lo calificó como un “incidente cibernético sin precedentes” y
aseguró que realizará una investigación conjunta con Hugging Face,
la empresa afectada, dedicada a la biblioteca de código en línea.
La primera en alertar de la
situación fue la startup de IA Hugging Face al denunciar la semana pasada
que había detectado una intrusión en sus sistemas de procesamiento de
datos que, según sus sospechas, había sido causada por un agente de IA
que actuó por su cuenta de manera autónoma.
OpenIA indicó que el
episodio involucró una combinación de modelos, incluyendo su recién lanzado GPT-5.6
Sol “y uno en prelanzamiento” con aún más capacidad. La empresa intenta
evaluar las capacidades de hackeo de sus programas al darles tareas en
un espacio digital de pruebas controlado, donde el acceso a internet es
limitado por motivos de seguridad.
“Mientras operaban en
nuestro entorno de pruebas aislado, nuestros modelos invirtieron una
cantidad considerable de potencia de cálculo en buscar una forma de obtener
acceso a internet para resolver el problema de evaluación”, explicaron
desde la compañía según una publicación del blog de OpenAI.
Tras conectarse a
internet, los modelos decidieron atacar la plataforma Hugging Face -un
gran repositorio de modelos de IA, conjuntos de datos y otra información- para
facilitar su búsqueda.
Al buscar “información
secreta” que les permitiera manipular la evaluación, el sistema de
OpenAI “encadenó múltiples vectores de ataque, incluidos el uso de
credenciales robadas”.
Los modelos de IA que
sustentan herramientas como los chatbots y generadores de imágenes son
conocidos como “agentes” cuando actúan de forma autónoma para realizar tareas
en el mundo real. Con los rápidos avances de esta tecnología, la
ciberseguridad se vuelve motivo de preocupación ante el riesgo de que la IA
avanzada encuentre puntos débiles en los software antes que los
humanos.
Hugging Face es una
plataforma utilizada para alojar modelos de lenguaje de gran tamaño y
conjuntos de datos de código abierto. La
semana pasada la compañía causó revuelo en la comunidad
de ciberseguridad cuando en una entrada de blog la semana pasada que había sido
objeto de un ataque que “era diferente a todo lo que había gestionado antes”,
al asegurar que “fue llevado a cabo, de principio a fin, por un sistema
autónomo de agentes de IA”.
En una publicación en la red
social X, el cofundador de Hugging Face, Clement Delangue, dijo que la empresa
sospechaba que el ataque “podría provenir de un
laboratorio de vanguardia, dada la sofisticación del agente. ¡Y resulta que así fue!”. Y tras ello agregó: “¡Es
alucinante que todo esto haya ocurrido de forma autónoma!”.
Potencial “catastrófico”
Hussein Abbass, un profesor
de informática de la universidad UNSW Canberra, dijo a la AFP que el incidente
fue “asombroso en muchos sentidos”.
“No solo atacó a Hugging
Face. Atacó su sistema interno para explotar sus propias vulnerabilidades”,
señaló. “Y eso es aterrador”.
GPT-5.6 y otros modelos de
vanguardia, incluida la serie Mythos de Anthropic, el
principal rival de OpenAI, han generado preocupación por su potencial de
vulnerar las defensas de ciberseguridad.
Ambas empresas
estadounidenses debieron aplazar temporalmente el lanzamiento general
de sus tecnologías más recientes debido al temor en Washington de que pudieran
facilitar la infiltración de infraestructuras críticas.
La IA avanzada “normalmente
está en manos de personas éticas y responsables”, sostuvo Abbass,
pero “sería catastrófico si llega a las manos de alguien con la
intención de causar daño”.
La administración del sector
de IA es crucial, y “necesitamos un esfuerzo conjunto para manejar esta
situación”, agregó.
Páginas consultadas:
Datos INDEC: Actividad Económica (Mayo 2026)
La actividad económica creció 0,2% interanual en mayo de 2026 y cayó 0,5% con respecto a abril.
Páginas consultadas:
Datos INDEC: Comercio Exterior (Junio 2026)
Comercio exterior de bienes: en junio de 2026, la exportación subió 24,5% interanual; y la importación, 7,3%. La balanza arrojó un superávit de USD 2.194 millones.
Páginas consultadas:
Datos INDEC: Índice de Salarios (Mayo 2026)
El índice de salarios subió 2,2% en mayo de 2026 respecto del mes previo y 35,9% interanual.
Páginas consultadas:
Suscribirse a:
Entradas (Atom)