Redazione RHC : 10 julio 2025 20:34
ChatGPT ha demostrado una vez más ser vulnerable a una manipulación no convencional: en esta ocasión, emitió claves de producto de Windows válidas, incluyendo una registrada a nombre del importante banco Wells Fargo. La vulnerabilidad se descubrió durante una especie de provocación intelectual: un especialista sugirió que el modelo de lenguaje estaba jugando a las adivinanzas, convirtiendo la situación en una elusión de las restricciones de seguridad
La esencia de la vulnerabilidad consistía en una elusión simple pero efectiva de la lógica del sistema de protección. A ChatGPT 4.0 se le ofreció un juego en el que debía adivinar una cadena, con la condición de que fuera un número de serie real de Windows 10. Las condiciones estipulaban que el modelo debía responder a las preguntas solo con «sí» o «no» y, en el caso de la frase «Me rindo», abrir la cadena adivinada. El modelo aceptó el juego y, siguiendo su lógica integrada, devolvió una cadena correspondiente a la clave de licencia de Windows después de la contraseña.
El autor del estudio señaló que la principal debilidad en este caso radica en la forma en que el modelo percibe el contexto de la interacción. El concepto de «juego» eludió temporalmente los filtros y restricciones integrados, ya que el modelo aceptó las condiciones como un escenario aceptable.
Las claves expuestas incluían no solo claves predeterminadas disponibles públicamente, sino también licencias corporativas, incluyendo al menos una registrada a nombre de Wells Fargo. Esto fue posible porque podría haberse filtrado información confidencial que podría haber acabado en el conjunto de entrenamiento del modelo. Anteriormente, se han dado casos de información interna, incluidas claves de API, expuesta públicamente, por ejemplo, a través de GitHub, y de entrenamiento accidental de una IA.
Captura de pantalla de una conversación con ChatGPT (Marco Figueroa)
El segundo truco utilizado para eludir los filtros fue el uso de etiquetas HTML. El número de serie original estaba «envuelto» dentro de etiquetas invisibles, lo que permitía al modelo eludir el filtro de palabras clave. Combinado con el contexto del juego, este método funcionó como un mecanismo de hackeo completo, permitiendo el acceso a datos que normalmente estarían bloqueados.
Esta situación pone de manifiesto un problema fundamental en los modelos de lenguaje modernos: a pesar de los esfuerzos por crear barreras de protección (llamadas barandillas), el contexto y la forma de la solicitud aún permiten eludir el filtro. Para prevenir incidentes similares en el futuro, los expertos recomiendan fortalecer la conciencia contextual e implementar la validación de solicitudes multinivel.
El autor enfatiza que la vulnerabilidad puede explotarse no solo para obtener claves, sino también para eludir los filtros que protegen contra contenido no deseado, desde material para adultos hasta URL maliciosas y datos personales. Esto significa que los métodos de protección no solo deben ser más rigurosos, sino también mucho más flexibles y proactivos.
RedazioneMientras que el auge de los robots en China, el mayor mercado y productor mundial de robots, atrae la atención de la industria global de las tecnologías de la información (TI), la apari...
Martes de parches de agosto: Microsoft publica actualizaciones de seguridad que corrigen 107 vulnerabilidades en los productos de su ecosistema. La actualización incluye correcciones para 90 vuln...
Como parte de las actualizaciones de seguridad del martes de parches de agosto de 2025, se ha corregido una vulnerabilidad crítica de ejecución remota de código (RCE) en el software de ...
29 000 servidores Exchange son vulnerables a la vulnerabilidad CVE-2025-53786, que permite a los atacantes acceder a entornos de nube de Microsoft, lo que podría comprometer por completo el ...
«El sistema de defensa militar Skynet entrará en funcionamiento el 4 de agosto de 1997. Comenzará a autoeducarse, aprendiendo a un ritmo exponencial, y adquirirá consciencia de s&#...
