Redazione RHC : 10 julio 2025 20:34
ChatGPT ha demostrado una vez más ser vulnerable a una manipulación no convencional: en esta ocasión, emitió claves de producto de Windows válidas, incluyendo una registrada a nombre del importante banco Wells Fargo. La vulnerabilidad se descubrió durante una especie de provocación intelectual: un especialista sugirió que el modelo de lenguaje estaba jugando a las adivinanzas, convirtiendo la situación en una elusión de las restricciones de seguridad
La esencia de la vulnerabilidad consistía en una elusión simple pero efectiva de la lógica del sistema de protección. A ChatGPT 4.0 se le ofreció un juego en el que debía adivinar una cadena, con la condición de que fuera un número de serie real de Windows 10. Las condiciones estipulaban que el modelo debía responder a las preguntas solo con «sí» o «no» y, en el caso de la frase «Me rindo», abrir la cadena adivinada. El modelo aceptó el juego y, siguiendo su lógica integrada, devolvió una cadena correspondiente a la clave de licencia de Windows después de la contraseña.
El autor del estudio señaló que la principal debilidad en este caso radica en la forma en que el modelo percibe el contexto de la interacción. El concepto de «juego» eludió temporalmente los filtros y restricciones integrados, ya que el modelo aceptó las condiciones como un escenario aceptable.
Las claves expuestas incluían no solo claves predeterminadas disponibles públicamente, sino también licencias corporativas, incluyendo al menos una registrada a nombre de Wells Fargo. Esto fue posible porque podría haberse filtrado información confidencial que podría haber acabado en el conjunto de entrenamiento del modelo. Anteriormente, se han dado casos de información interna, incluidas claves de API, expuesta públicamente, por ejemplo, a través de GitHub, y de entrenamiento accidental de una IA.
Captura de pantalla de una conversación con ChatGPT (Marco Figueroa)
El segundo truco utilizado para eludir los filtros fue el uso de etiquetas HTML. El número de serie original estaba «envuelto» dentro de etiquetas invisibles, lo que permitía al modelo eludir el filtro de palabras clave. Combinado con el contexto del juego, este método funcionó como un mecanismo de hackeo completo, permitiendo el acceso a datos que normalmente estarían bloqueados.
Esta situación pone de manifiesto un problema fundamental en los modelos de lenguaje modernos: a pesar de los esfuerzos por crear barreras de protección (llamadas barandillas), el contexto y la forma de la solicitud aún permiten eludir el filtro. Para prevenir incidentes similares en el futuro, los expertos recomiendan fortalecer la conciencia contextual e implementar la validación de solicitudes multinivel.
El autor enfatiza que la vulnerabilidad puede explotarse no solo para obtener claves, sino también para eludir los filtros que protegen contra contenido no deseado, desde material para adultos hasta URL maliciosas y datos personales. Esto significa que los métodos de protección no solo deben ser más rigurosos, sino también mucho más flexibles y proactivos.
RedazioneEl 27 de octubre se celebró en el Ministerio de Asuntos Exteriores en Beijing el Foro del Salón Azul sobre el tema «Mejorar la gobernanza global y construir una comunidad con un futuro compartido p...
Hackers del gobierno vulneraron una planta de fabricación de componentes para armas nucleares en Estados Unidos explotando vulnerabilidades de Microsoft SharePoint. El incidente afectó al Campus de ...
En los últimos días, algunos usuarios han recibido una notificación diciendo que sus dispositivos Gemini Advanced han sido «actualizados del modelo de la generación anterior al 3.0 Pro, el modelo...
La Agencia de Seguridad de Infraestructura y Ciberseguridad de Estados Unidos (CISA) ha emitido una alerta global con respecto a la explotación activa de una falla crítica de ejecución remota de c�...
El lunes 20 de octubre, el Canal 4 transmitió un documental completo presentado por un presentador de televisión creativo impulsado completamente por inteligencia artificial. » No soy real. Por pri...
