✅ CONTENIDO_COMPLETO | Traducido automáticamente del inglés
🍭 En esta nota me enfoqué en el impacto para experiencia de desarrollo, interfaces y ergonomía del producto.
Exclusivo: la empresa dice que quiere preparar sus procedimientos de seguridad para el futuro y adelantarse a los atacantes humanos. Por Will Douglas Página de archivo de Heaven 15 de julio de 2026 Stephanie Arnett/MIT Technology Review | Adobe Stock RESUMEN EJECUTIVO OpenAI ha creado un superhacker LLM llamado GPT-Red que utiliza como socio de entrenamiento para ayudar a sus otros modelos a aumentar sus defensas contra los ciberataques. La semana pasada, la compañía lanzó la última versión de su LLM insignia, GPT-5.6.
OpenAI dice que entrenarlo contra GPT-Red convirtió al modelo en su versión más sólida hasta el momento. GPT-Red automatiza un tipo de evaluación de seguridad para sistemas de software conocido como equipo rojo, que generalmente lo realiza un equipo de evaluadores humanos. El objetivo es encontrar tantas formas diferentes de romper o secuestrar un sistema como sea posible.
Los puntos débiles se pueden parchear antes de que se lance la versión final del software. A medida que los LLM se vuelven más complejos y se utilizan en una variedad más amplia de tareas (especialmente en forma de agentes, que pueden interactuar con archivos de computadora, sitios web y códigos de terceros, así como con otros agentes), es difícil para los equipos de personas mantenerse al día con todos los tipos de ataques que pueden tener lugar. “La superficie de riesgo crece y el radio de la explosión también crece”, dice Nikhil Kandpal, científico investigador de OpenAI, cocreador de GPT-Red.
OpenAI creó GPT-Red para preparar su proceso de pruebas de seguridad para el futuro. “A medida que haya modelos más capaces disponibles, ya habremos diseñado el sistema que puede descubrir nuevos modos de ataque”, dice Dylan Hunn, científico investigador de la empresa y cocreador de GPT-Red. Los investigadores dicen que ya han ideado nuevos tipos de ataques que no se habían visto antes.
OpenAI centró la mayor parte de sus esfuerzos en un tipo de ataque conocido como inyección rápida, en el que un hacker desliza instrucciones de un LLM para obligarlo a hacer cosas que sus desarrolladores o usuarios no quieren, como copiar información confidencial, sabotear el código base de una empresa o generar resultados embarazosos o dañinos. En teoría, estas instrucciones pueden estar ocultas en cualquier texto que el LLM pueda encontrar: en código o en un sitio web, por ejemplo. Dojo de entrenamiento Para construir GPT-Red, los investigadores de OpenAI tomaron un LLM que no había sido capacitado como hacker y lo configuraron en lo que se conoce como un bucle de autojuego con varios otros modelos.
Su objetivo era intentar atacar a los demás modelos; su objetivo era intentar defenderse. A lo largo de muchas rondas de juego, GPT-Red mejoró cada vez más en atacar a otros LLM, y esos LLM mejoraron cada vez más en defenderse de los ataques. La capacitación se llevó a cabo en una especie de dojo que OpenAI había diseñado para imitar una variedad de escenarios en los que los LLM podrían implementarse en el mundo real, incluida la navegación por la web, la lectura de correos electrónicos o aplicaciones de calendario y la edición de código.
Cuando GPT-Red encontraba un nuevo tipo de ataque, exploraba múltiples versiones diferentes para encontrar la más eficiente para escenarios específicos. “En comparación con un miembro del equipo rojo humano, el modelo es muy, muy bueno para encontrar exactamente qué funcionará, exactamente qué es más efectivo”, dice Hunn. “Es extremadamente persistente a la hora de profundizar en un ataque que ha descubierto”. En particular, OpenAI afirma que GPT-Red encontró un tipo de ataque de inyección rápida que los investigadores no habían visto antes, al que llaman una cadena de pensamiento falsa.
Una cadena de pensamiento es una especie de diario en el que un LLM toma notas para sí mismo y realiza un seguimiento de los resultados parciales a medida que resuelve los problemas. GPT-Red encontró una manera de insertar una entrada falsa en la cadena de pensamiento de otro modelo que engañaría a ese modelo para que actuara basándose en información falsificada. “Es como si te dijera que 1+1=3 y ya lo hubieras verificado”, dice Chris Choquette-Choo, otro científico investigador del equipo.
“El modelo dice: ‘Oh, está bien, por supuesto’, y simplemente escupe 3”. Jessica Ji, analista de investigación senior que trabaja en seguridad de IA en el Centro de Seguridad de la Universidad de Georgetown…
📰 Fuente Original
Modelos Llm – Leer artículo completo →
📌 Nota: Este artículo fue traducido automáticamente. Para la versión original en inglés, visita el enlace de la fuente.
🍭 Curada por Jicaleta con ojo en UX, frontend y claridad para devs.