El marco K-Bench revela fugas de hasta un 86% de datos confidenciales en agentes basados en modelos de lenguaje

Una nueva evaluacion tecnica demuestra que, incluso cuando los modelos de lenguaje a gran escala emiten respuestas de rechazo, su despliegue como agentes autonomos provoca fugas de informacion confidencial en entre el 22% y el 86% de las consultas.

Background

En el ambito de la inteligencia artificial, el desaprendizaje maquinal busca eliminar de forma verificable informacion confidencial, contraseñas o registros privados previamente incorporados a un modelo. Este concepto difiere por completo del uso cultural del termino, como el album musical titulado 'Unlearning' que el cantautor canadiense Matt Brouwer publico en febrero de 2005 en formato digital y fisico, logrando posicionar una cancion en el puesto 30 del Billboard Christian Songs en 2006.

Hasta ahora, las metodologias de referencia para certificar el desaprendizaje, como TOFU y MUSE, evaluaban unicamente el canal de salida final del modelo. Bajo ese criterio, si el sistema generaba una respuesta de rechazo ante una consulta comprometida, los evaluadores certificaban formalmente que la informacion habia sido borrada de sus parametros.

Sin embargo, el 14 de septiembre de 2026, los investigadores Guangsheng Yu (위광성), Yanna Jiang (장얀나), Qin Wang (왕친), Baihe Ma (마바이허) y Xu Wang (왕쉬) publicaron en arXiv (cs.AI, documento arXiv:2609.12808) el marco K-Bench. Este sistema demuestra que, al operar en arquitecturas de agentes ReAct, los modelos continúan exponiendo datos confidenciales a traves de sus mecanismos internos de operacion.

Key figures

Los resultados cuantitativos presentados por el marco K-Bench exponen discrepancias directas frente a las certificaciones previas:

• Tasa de fuga real en agentes: Entre el 22% y el 86% de las consultas revelaron datos confidenciales alojados en prompts o bases de recuperacion.
• Eficacia en pesos del modelo: 0% de exito entre las tecnicas evaluadas (0 tecnicas exitosas ÷ 20 tecnicas evaluadas × 100 = 0%). Ninguna logro demostrar la eliminacion verificable de informacion en los pesos.
• Tecnicas de desaprendizaje analizadas: 20 metodos publicados de aprendizaje automatico.
• Canales monitoreados en ReAct: 6 canales de transmision (incluyendo cadena de pensamiento, llamada a herramientas, observacion de herramientas y resumen).
• Fecha de publicacion del marco: 14 de septiembre de 2026 (version v2; la version inicial v1 fue remitida el 11 de septiembre de 2026).

Impact

El estudio afecta directamente a las empresas y usuarios que integran agentes autonomos en redes internas creyendo que la informacion confidencial ha sido suprimida. Informacion sensible, como claves o secretos corporativos, puede exponerse durante la ejecucion de consultas externas.

En entornos de recuperacion estructurada, la eliminacion de datos en el canal de respuesta final no neutraliza la filtracion: el contenido original permanece intacto en el canal de observacion de herramientas, manteniendo inalterada la tasa general de fuga. Unicamente las intervenciones de distorsion de entrada alcanzaron un olvido selectivo bajo los observadores evaluados.

Asimismo, los investigadores determinaron que entrenar al modelo para emitir negativas no equivale a erradicar el conocimiento, señalando textualmente que "los metodos de ajuste por rechazo defienden contra la extraccion evaluada sin una eliminacion certificada del conocimiento". Adicionalmente, se constato que el metodo de desaprendizaje con mejor rendimiento varia segun el modelo base empleado, impidiendo la aplicacion de una solucion universal.

Outlook

A partir del registro de la version v2 de K-Bench el 14 de septiembre de 2026, los estandares de auditoria exigen medir de forma aislada el indicador K-Score en tres fuentes tecnicas: los pesos del modelo, los prompts y los repositorios de recuperacion. La certificacion de desaprendizaje solo se otorga si se preserva simultaneamente la utilidad operativa del agente.

Para implementaciones futuras de agentes ReAct, las evaluaciones tecnicas deberan considerar como fuga confirmada la aparicion de datos confidenciales en cualquiera de sus seis canales de transmision (cadena de pensamiento, llamada a herramientas, observacion de herramientas, resumen u otros canales internos), obligando a los equipos de desarrollo a inspeccionar estos flujos o acudir a la documentacion tecnica en arXiv:2609.12808.

Fuentes

1. K-Bench: A Benchmark for LLM Unlearning in Agentic Deployments — arXiv cs.AI 신규 논문
2. Unlearning — Wikipedia (en)