Los fallos de la IA podrían costarles el puesto a los ejecutivos, perturbar empresas a nivel mundial y exponer datos confidenciales en 2027, según nuevas predicciones de ciberseguridad de Forrester Research.
En el ámbito de la alta dirección, por ejemplo, la empresa prevé que una demanda por negligencia relacionada con la IA obligará a un director ejecutivo (CEO) a abandonar su cargo o provocará un cambio de liderazgo en una gran compañía.
«La responsabilidad en materia de IA en EE.UU. sigue fragmentada, pero se está desplazando hacia los tribunales, donde los litigios civiles ya están poniendo a prueba la responsabilidad legal por decisiones tomadas mediante IA», señalaron los investigadores de Forrester en su informe *Predictions 2027: Cybersecurity And Risk* (Predicciones 2027: Ciberseguridad y Riesgo).
Explicaron que el argumento central del caso no será si la IA falló, sino si la dirección ejerció un criterio fundamentado antes de delegar decisiones de gran trascendencia en sistemas que no podían explicar.
Si llegara a producirse tal demanda, el mayor efecto dominó se sentiría en las salas de juntas y no en la industria de la IA, sostuvo Chris Ebert, vicepresidente sénior de estrategia de comercialización (*go-to-market*) en SaaS Consulting Group, una empresa de consultoría tecnológica con sede en Austin, Texas.
«Los consejos de administración y los comités de auditoría empezarán a plantearse sobre la IA las mismas preguntas que hacen sobre la información financiera: ¿quién es el responsable?, ¿qué controles existen? y ¿cómo sabemos que funciona según lo previsto?», declaró.
«La gobernanza de la IA pasaría de ser una conversación sobre TI a una conversación sobre gobernanza y rendición de cuentas, que es donde realmente debe situarse», afirmó.
La responsabilidad de la IA llega a la sala de juntas.
Ryan McCurdy, vicepresidente de marketing de Liquibase —una empresa de Austin, Texas, especializada en la automatización de cambios en bases de datos—, aseguró que, a medida que la IA empieza a tomar más decisiones y a ejecutar más acciones dentro de las empresas, la responsabilidad no desaparece. «Alguien sigue decidiendo a qué puede acceder la IA, qué puede hacer por sí misma y en qué puntos debe intervenir una persona», comentó.
«Las empresas también necesitan un registro de lo que realmente sucedió», continuó. «Si un agente modifica una base de datos, despliega código o realiza cualquier otra acción sobre un sistema crítico, debería ser posible ver qué cambió, qué políticas aplicó, qué autorizó la acción y qué llegó finalmente a producción».
«Ese rastro se convierte en la prueba de que los controles estaban ahí y funcionaban», afirmó. «Puedes delegar el trabajo a la IA, pero no puedes delegar la responsabilidad».
La responsabilidad legal por el uso de la IA podría poner fin al marketing basado en el miedo sobre las capacidades de la IA de frontera y conducir al nombramiento de un único ejecutivo responsable de la ejecución segura y conforme a la normativa de la IA —similar al rol del CISO—, añadió Scott Miserendino, director de tecnología de DataBee (empresa de Comcast con sede en Filadelfia y desarrolladora de una arquitectura de datos para cumplimiento, gestión de riesgos y seguridad).
«Los directores ejecutivos de los laboratorios de IA de frontera ya no estarán tan dispuestos a señalar públicamente los peligros de sus productos con el fin de hacerlos parecer de vanguardia», declaró.
Los tokens de IA se convierten en una partida del presupuesto de seguridad.
Forrester prevé que el gasto en tokens de IA alcanzará los 1.500 millones de dólares en 2027, impulsado por la demanda de operaciones de seguridad y seguridad de aplicaciones. Los tokens son unidades utilizadas para medir las entradas y salidas de los modelos de IA y, a menudo, determinan los costos de uso. Los responsables de seguridad gestionarán dicho gasto como una categoría presupuestaria fundamental, señaló la firma. Los proveedores integrarán los tokens en los acuerdos de licencia, y los proveedores de modelos de frontera competirán directamente por los presupuestos de seguridad.
Las organizaciones deberán pasar de gestionar la adopción de la IA a gestionar sus costos y su valor, agregó.
«Los costos de los tokens se convertirán en una limitación real para la forma en que las organizaciones implementan la IA, particularmente la IA con capacidad de actuación autónoma (*agentic AI*)», señaló Robbie Mueller, líder técnico de ciberseguridad en ArmorCode, una empresa de gestión unificada de vulnerabilidades con sede en Palo Alto, California.
«El problema no es simplemente el precio de los tokens individuales», dijo. «Los agentes suelen consumir muchos más tokens que las interacciones de chat estándar, y los sistemas multiagente pueden consumir cantidades aún mayores».
«Cuando esos agentes se aplican a millones de vulnerabilidades, los costos pueden escalar en función del volumen de hallazgos, en lugar de la cantidad de riesgo realmente reducido», afirmó.
El código generado por IA podría provocar una interrupción global del servicio.
Forrester también predice que un error o una regresión en el código generado por IA causará una interrupción global que afectará a múltiples sectores. El descubrimiento de vulnerabilidades asistido por IA aumentará la presión para lanzar parches a una velocidad superior a la que los equipos de revisión y pruebas de software pueden asumir, advirtió la firma.
La interrupción resultante podría equipararse a los trastornos causados por la actualización de software de CrowdStrike en julio de 2024, advirtió Forrester. Se instó a las organizaciones a reforzar su capacidad para revertir rápidamente los parches defectuosos de los proveedores.
«Ya estamos observando un rendimiento más inestable, con interrupciones más frecuentes, en varios proveedores críticos para la distribución y las operaciones de software a nivel mundial —como GitHub y AWS— que han estado vinculados a la IA», señaló Miserendino, de DataBee.
«Aunque no fue generado por IA, la reciente interrupción mundial causada por una actualización de software de CrowdStrike demostró que incluso un error o una regresión relativamente pequeños pueden tener repercusiones globales, dada la adopción generalizada de ciertos proveedores en el ámbito empresarial», añadió.
Ramy Rahman, ingeniero principal sénior de soluciones de ArmorCode, señaló que la predicción sobre interrupciones del servicio también plantea una preocupación más amplia respecto a las infraestructuras críticas, especialmente la red eléctrica. «Si varios operadores dependen del mismo software o de los mismos sistemas de IA, un defecto compartido o un ataque coordinado podrían provocar interrupciones simultáneas», declaró.
«El Departamento de Energía ha identificado los fallos de la IA y los ataques maliciosos como riesgos para la infraestructura energética», afirmó. «Mi preocupación radica en si los operadores serán capaces de aislar dichos fallos y mantener los servicios esenciales mediante salvaguardas independientes, controles manuales y planes de recuperación probados».
Una repetición del incidente de CrowdStrike resulta menos preocupante que lo que sucede cuando se asigna una tarea a agentes y se les otorga acceso para ejecutarla sin los límites adecuados, añadió Rishi Bhargava, cofundador de Descope, una empresa con sede en Los Altos (California) que opera una plataforma de gestión de identidades y accesos.
«Los agentes están diseñados para completar la tarea que se les asigna», comentó. «Las organizaciones deben analizar detenidamente a qué puede acceder un agente y qué acciones puede realizar, para evitar que un error tenga consecuencias mucho mayores».
El cambio de modelos de IA podría exponer datos.
Forrester también prevé que una empresa sufrirá una filtración de datos de gran repercusión tras cambiar de modelo de IA para reducir costes. Las salvaguardas establecidas para un modelo pueden no trasladarse a otro, lo que deja brechas en la protección de datos, advirtió la firma.
«La predicción de Forrester sobre el cambio de modelos es sólida, ya que el sector se encuentra en una fase en la que las organizaciones optimizan los costes de la IA más rápido de lo que actualizan sus políticas de gobernanza; además, las medidas de seguridad validadas para un modelo no se transfieren totalmente cuando una aplicación redirige dinámicamente la actividad a otro distinto», explicó Seemant Sehgal, director ejecutivo de BreachLock, una empresa de Nueva York especializada en servicios de pruebas de intrusión.
«La mayoría de los equipos que gestionan esto a gran escala no pueden precisar fácilmente qué modelo procesó qué datos y en qué momento; ahí es precisamente donde se materializa el escenario de filtración que describe Forrester», declaró. «Las organizaciones que corren mayor riesgo en este momento son aquellas que tratan la selección dinámica de modelos como una decisión de enrutamiento en lugar de una decisión de gobernanza; esa es precisamente la brecha que señala el informe», afirmó.
Darin Fredde, líder de seguridad ofensiva en Ridge Security Technology —empresa con sede en Milpitas, California, que desarrolla una plataforma de seguridad ofensiva impulsada por IA—, sostuvo que los escenarios planteados por Forrester aportan un valor real, ya que obligan a los responsables de seguridad a considerar riesgos que tal vez aún no perciben en sus operaciones cotidianas.
«Sabemos que el miedo puede motivar el cambio, pero por lo general solo durante un breve periodo», declaró. «El camino más sostenible consiste en ayudar a las organizaciones a replantearse su enfoque de la seguridad, alinearlo con la operativa del negocio y tomar decisiones sobre riesgos basadas en una explotabilidad demostrable, y no meramente en narrativas».
«Algunos de los escenarios previstos por Forrester resultarán significativos, mientras que otros tal vez no», continuó. «La verdadera cuestión es si las organizaciones serán capaces de determinar qué riesgos son relevantes antes de que un atacante, una interrupción del servicio o un evento normativo responda a esa pregunta por ellas».
