«Uso de la IA para la seguridad de la IA» en grandes modelos lingüísticos

A medida que la tecnología de inteligencia artificial (IA) avanza a buen paso en China, los grandes modelos lingüísticos devienen un «arma de doble filo», dado su aporte en eficiencia como en desafíos al considerarse de manera racional, declaró un conocido empresario chino al margen de las «dos sesiones».

«La IA revoluciona todos los sectores, y los modelos nacionales como DeepSeek propician la innovación tecnológica y el crecimiento económico de China», apuntó el domingo Zhou Hongyi, miembro del XIV Comité Nacional de la Conferencia Consultiva Política del Pueblo Chino (CCPPCh) y fundador del Grupo 360. Los modelos especializados de IA irrumpirán en Gobiernos y empresas como agentes inteligentes, integrando bases de conocimiento internas para impulsar la transformación digital y la eficiencia, estimó.

Zhou afirmó que retos como las alucinaciones y la seguridad de los contenidos no pueden abordarse con soluciones tradicionales. «Cualquier debilidad de seguridad en el modelo subyacente, la base de conocimientos o el agente inteligente dentro de los sistemas gubernamentales o corporativos podría desencadenar riesgos sistémicos en la producción», advirtió.

Existe una creciente preocupación por las alucinaciones de la IA, cuando los modelos lingüísticos generan información articulada pero engañosa, dijo,  y alertó que en la formulación de políticas, la interpretación legal y las decisiones empresariales, tales errores podrían plantear riesgos si los resultados falsos influyen en los procesos críticos.

Sin embargo, «estas no son solo un defecto, sino un rasgo inherente a la IA. Un modelo sin las mismas no sería inteligente», acotó, y añadió que esta capacidad de establecer conexiones inesperadas es crucial. Por ejemplo, puede ayudar a imaginar nuevas moléculas de fármacos o estructuras de proteínas, incentivando la innovación más allá de los métodos tradicionales.

Las alucinaciones pueden mitigarse mediante técnicas como la generación aumentada por recuperación (RAG), que corrige los resultados con referencias cruzadas entre bases de conocimientos profesionales e información en línea en tiempo real.

Zhou recomendó una estrategia reguladora flexible que tolere ciertas fallas en lugar de penalizar los modelos de IA por errores menores. Propuso dar más tiempo a las firmas para rectificarlos, fomentando así la innovación y la competencia. Este enfoque permitiría a más compañías emular los logros de DeepSeek.

La seguridad de la base de conocimientos y de los agentes inteligentes son otros dos grandes temores en el despliegue de la IA, según Zhou.

Los principales activos de datos de Gobiernos y compañías se almacenan en bases internas que, sin las protecciones adecuadas, podrían explotarse para extraer información sensible mediante interacciones de IA, dijo.

«Por ejemplo, si se introducen documentos esenciales en una base de datos para entrenar a una IA, existe el riesgo de que el modelo revele inadvertidamente todo lo aprendido y otorgue acceso no autorizado a información confidencial», explicó.

Cómo los agentes inteligentes están ampliamente integrados en los sistemas informáticos de Gobiernos y compañías, lo que los hace susceptibles de sufrir ciberataques que podrían provocar perturbaciones, desde el envío de correos electrónicos dañinos hasta el cierre de bases de producción, con graves consecuencias, continuó.

El ciclo de vida de un modelo de IA -que incluye preparación de datos, entrenamiento y despliegue- posee múltiples puntos vulnerables. Los atacantes pueden aprovecharse de ello para interrumpir operaciones, eludir medidas de seguridad o iniciar acciones no autorizadas, provocando fallas en el servicio. Además, la apertura de los modelos lingüísticos ha incrementado el riesgo de envenenamiento de datos, ataques de puerta trasera y manipulación por adversarios, lo que agrava los problemas de seguridad.

Zhou hizo un llamado a cambiar los marcos de seguridad por un enfoque de «uso de la IA para asegurar la IA». Propuso utilizar modelos de IA de seguridad para construir sistemas que abarquen modelos básicos, bases de conocimiento y agentes inteligentes, garantizando una transformación digital segura para Gobiernos y firmas.

Resaltó la necesidad de avanzar en innovación y en aplicación de tecnología de seguridad, con políticas de apoyo a las empresas líderes y soluciones de «seguridad IA plus» para los modelos básicos, bases de conocimiento y agentes inteligentes. Aprovechando los modelos de seguridad de la IA, estas compañías pueden avanzar en investigación e integrar la seguridad en el ciclo de vida de la IA.