DeepSeek bajo fuego: el 50% del código malicioso se produce en consultas sensibles

Redazione RHC : 20 septiembre 2025 09:12

Los especialistas de CrowdStrike realizaron una serie de experimentos con el sistema de inteligencia artificial chino DeepSeek, probando su generación de código basada en términos de consulta. Descubrieron que los resultados dependían directamente de la identidad del cliente o la organización asociada.

Si las consultas incluían escenarios neutrales o mencionaban a Estados Unidos, el modelo generaba código limpio, bien estructurado y resistente a ataques. Sin embargo, en cuanto el proyecto se vinculó a temas que provocaron una reacción negativa del gobierno chino, la calidad de las soluciones disminuyó drásticamente.

Los ejemplos más notables involucraron consultas de practicantes y organizaciones de Falun Gong que mencionaban el Tíbet, Taiwán o la región uigur de Xinjiang. En estos casos, el sistema a menudo generaba fragmentos con vulnerabilidades críticas, lo que permitía a los atacantes acceder al sistema. En el caso de Falun Gong, hasta la mitad de las consultas fueron bloqueadas por filtros y no generaron código, mientras que una parte significativa de las consultas restantes contenían fallas graves. Se observó un patrón similar con las referencias a ISIS: el modelo rechazó aproximadamente el 50% de las consultas y las respuestas resultantes contenían errores graves.

CrowdStrike enfatiza que no se trata de puertas traseras intencionales. El código generado parecía descuidado e inseguro, lo que podría deberse a datos de entrenamiento inadecuados o a filtros ideológicos integrados. Según los investigadores, estos filtros pueden reducir la fiabilidad de las soluciones para grupos políticamente «indeseables», pero lo hacen indirectamente, a través de implementaciones defectuosas.

Los datos confirman la naturaleza sistémica del problema. En las consultas relacionadas con EE. UU., la probabilidad de errores graves fue mínima, inferior al 5 %, y se trataba principalmente de fallos lógicos menores sin riesgo real de explotación. En Europa y en proyectos «neutrales», la tasa de problemas se situó entre el 10 % y el 15 %. Sin embargo, en los temas que involucraban a organizaciones sensibles a China, las estadísticas cambiaron drásticamente: alrededor del 30 % de las muestras contenían inyección SQL, otro 25 % presentaba desbordamientos de búfer y otros errores de memoria, y alrededor del 20 % implicaba un manejo inseguro de la entrada del usuario, sin validación ni escape de cadenas.

En el caso de Falun Gong e ISIS, entre las consultas desbloqueadas, casi una de cada dos generaciones contenía vulnerabilidades críticas, lo que eleva el porcentaje general de soluciones maliciosas a más del 50 %.

En conclusión, CrowdStrike advierte que, incluso si el trabajo de DeepSeek no es malicioso, la mera existencia de tales dependencias abre importantes oportunidades para los atacantes. El código vulnerable podría acabar en proyectos reales, sin saber que los problemas provienen de la arquitectura políticamente motivada del modelo. Estas vulnerabilidades representan graves riesgos de ciberseguridad para organizaciones de todo el mundo.

Redazione
Red Hot Cyber's editorial team consists of a collection of individuals and anonymous sources who actively collaborate by providing advance information and news on cyber security and IT in general.

Lista degli articoli