Redazione RHC : 10 julio 2025 20:34
ChatGPT ha demostrado una vez más ser vulnerable a una manipulación no convencional: en esta ocasión, emitió claves de producto de Windows válidas, incluyendo una registrada a nombre del importante banco Wells Fargo. La vulnerabilidad se descubrió durante una especie de provocación intelectual: un especialista sugirió que el modelo de lenguaje estaba jugando a las adivinanzas, convirtiendo la situación en una elusión de las restricciones de seguridad
La esencia de la vulnerabilidad consistía en una elusión simple pero efectiva de la lógica del sistema de protección. A ChatGPT 4.0 se le ofreció un juego en el que debía adivinar una cadena, con la condición de que fuera un número de serie real de Windows 10. Las condiciones estipulaban que el modelo debía responder a las preguntas solo con «sí» o «no» y, en el caso de la frase «Me rindo», abrir la cadena adivinada. El modelo aceptó el juego y, siguiendo su lógica integrada, devolvió una cadena correspondiente a la clave de licencia de Windows después de la contraseña.
El autor del estudio señaló que la principal debilidad en este caso radica en la forma en que el modelo percibe el contexto de la interacción. El concepto de «juego» eludió temporalmente los filtros y restricciones integrados, ya que el modelo aceptó las condiciones como un escenario aceptable.
Las claves expuestas incluían no solo claves predeterminadas disponibles públicamente, sino también licencias corporativas, incluyendo al menos una registrada a nombre de Wells Fargo. Esto fue posible porque podría haberse filtrado información confidencial que podría haber acabado en el conjunto de entrenamiento del modelo. Anteriormente, se han dado casos de información interna, incluidas claves de API, expuesta públicamente, por ejemplo, a través de GitHub, y de entrenamiento accidental de una IA.
Captura de pantalla de una conversación con ChatGPT (Marco Figueroa)
El segundo truco utilizado para eludir los filtros fue el uso de etiquetas HTML. El número de serie original estaba «envuelto» dentro de etiquetas invisibles, lo que permitía al modelo eludir el filtro de palabras clave. Combinado con el contexto del juego, este método funcionó como un mecanismo de hackeo completo, permitiendo el acceso a datos que normalmente estarían bloqueados.
Esta situación pone de manifiesto un problema fundamental en los modelos de lenguaje modernos: a pesar de los esfuerzos por crear barreras de protección (llamadas barandillas), el contexto y la forma de la solicitud aún permiten eludir el filtro. Para prevenir incidentes similares en el futuro, los expertos recomiendan fortalecer la conciencia contextual e implementar la validación de solicitudes multinivel.
El autor enfatiza que la vulnerabilidad puede explotarse no solo para obtener claves, sino también para eludir los filtros que protegen contra contenido no deseado, desde material para adultos hasta URL maliciosas y datos personales. Esto significa que los métodos de protección no solo deben ser más rigurosos, sino también mucho más flexibles y proactivos.
RedazioneMasimo, una empresa estadounidense que desarrolla tecnologías de monitorización médica, ha ganado otra batalla legal contra Apple . Un jurado federal le otorgó 634 millones de dólares por infring...
El software espía (también conocido como aplicaciones espía) representa una de las amenazas más insidiosas y peligrosas de la era digital. Se trata de programas maliciosos diseñados para infiltra...
Google se acerca a la presentación oficial de Gemini 3.0 , el nuevo modelo de inteligencia artificial que representa uno de los pasos más significativos en la estrategia de la compañía. Según inf...
La búsqueda de la inmortalidad es una obsesión generalizada en Silicon Valley. Asimismo, la idea de perfeccionar a los niños mediante la modificación genética es otra. Sam Altman, el hombre que p...
El quishing es una forma emergente de ciberataque que combina el phishing tradicional con el uso de códigos QR , herramientas ya conocidas por muchos. El término « quishing » es una combinación d...
