Leemos en un artículo publicado en el diario La Nación:
OpenAI
dice que su IA realizó por sí sola un hackeó a otra empresa
La empresa aseguró que se trata de chatbots y generadores de imágenes,
conocidos como “agentes” que actúan de forma autónoma para realizar tareas en
el mundo real
ASHINGTON.- En un episodio
que encendió todas las alarmas, la empresa creadora de ChatGPT, OpenAI, afirmó
este martes que sus modelos más avanzados de inteligencia artificial se
descontrolaron durante una prueba de seguridad y, por iniciativa
propia, hackearon a una popular plataforma para programadores.
La firma con sede en San
Francisco lo calificó como un “incidente cibernético sin precedentes” y
aseguró que realizará una investigación conjunta con Hugging Face,
la empresa afectada, dedicada a la biblioteca de código en línea.
La primera en alertar de la
situación fue la startup de IA Hugging Face al denunciar la semana pasada
que había detectado una intrusión en sus sistemas de procesamiento de
datos que, según sus sospechas, había sido causada por un agente de IA
que actuó por su cuenta de manera autónoma.
OpenIA indicó que el
episodio involucró una combinación de modelos, incluyendo su recién lanzado GPT-5.6
Sol “y uno en prelanzamiento” con aún más capacidad. La empresa intenta
evaluar las capacidades de hackeo de sus programas al darles tareas en
un espacio digital de pruebas controlado, donde el acceso a internet es
limitado por motivos de seguridad.
“Mientras operaban en
nuestro entorno de pruebas aislado, nuestros modelos invirtieron una
cantidad considerable de potencia de cálculo en buscar una forma de obtener
acceso a internet para resolver el problema de evaluación”, explicaron
desde la compañía según una publicación del blog de OpenAI.
Tras conectarse a
internet, los modelos decidieron atacar la plataforma Hugging Face -un
gran repositorio de modelos de IA, conjuntos de datos y otra información- para
facilitar su búsqueda.
Al buscar “información
secreta” que les permitiera manipular la evaluación, el sistema de
OpenAI “encadenó múltiples vectores de ataque, incluidos el uso de
credenciales robadas”.
Los modelos de IA que
sustentan herramientas como los chatbots y generadores de imágenes son
conocidos como “agentes” cuando actúan de forma autónoma para realizar tareas
en el mundo real. Con los rápidos avances de esta tecnología, la
ciberseguridad se vuelve motivo de preocupación ante el riesgo de que la IA
avanzada encuentre puntos débiles en los software antes que los
humanos.
Hugging Face es una
plataforma utilizada para alojar modelos de lenguaje de gran tamaño y
conjuntos de datos de código abierto. La
semana pasada la compañía causó revuelo en la comunidad
de ciberseguridad cuando en una entrada de blog la semana pasada que había sido
objeto de un ataque que “era diferente a todo lo que había gestionado antes”,
al asegurar que “fue llevado a cabo, de principio a fin, por un sistema
autónomo de agentes de IA”.
En una publicación en la red
social X, el cofundador de Hugging Face, Clement Delangue, dijo que la empresa
sospechaba que el ataque “podría provenir de un
laboratorio de vanguardia, dada la sofisticación del agente. ¡Y resulta que así fue!”. Y tras ello agregó: “¡Es
alucinante que todo esto haya ocurrido de forma autónoma!”.
Potencial “catastrófico”
Hussein Abbass, un profesor
de informática de la universidad UNSW Canberra, dijo a la AFP que el incidente
fue “asombroso en muchos sentidos”.
“No solo atacó a Hugging
Face. Atacó su sistema interno para explotar sus propias vulnerabilidades”,
señaló. “Y eso es aterrador”.
GPT-5.6 y otros modelos de
vanguardia, incluida la serie Mythos de Anthropic, el
principal rival de OpenAI, han generado preocupación por su potencial de
vulnerar las defensas de ciberseguridad.
Ambas empresas
estadounidenses debieron aplazar temporalmente el lanzamiento general
de sus tecnologías más recientes debido al temor en Washington de que pudieran
facilitar la infiltración de infraestructuras críticas.
La IA avanzada “normalmente
está en manos de personas éticas y responsables”, sostuvo Abbass,
pero “sería catastrófico si llega a las manos de alguien con la
intención de causar daño”.
La administración del sector
de IA es crucial, y “necesitamos un esfuerzo conjunto para manejar esta
situación”, agregó.
No hay comentarios:
Publicar un comentario