En los últimos dos años, los avances tecnológicos en inteligencia artificial (IA) han asombrado a la gente con su inteligencia. Antes nos fascinaban las capacidades conversacionales, las habilidades de traducción y el potencial creativo de la IA. Sin embargo, a medida que la IA evoluciona de simples chatbots a «agentes inteligentes» capaces de comprar bienes y firmar contratos directamente, la atención se ha centrado en los debates sobre los límites del poder. Debemos considerar: aunque disfrutamos de la comodidad de la IA, ¿conservan los humanos el control sobre el proceso de toma de decisiones?
La revista Forbes destacó recientemente esta tendencia, señalando que ha surgido una nueva regla en la competencia de la IA: la confianza. La confianza ya no es una ventaja indirecta para las empresas, sino un indicador esencial en el diseño de productos. En el futuro, el control del mundo digital recaerá en plataformas que logren un equilibrio entre capacidad y fiabilidad. En otras palabras, la capacidad de la IA ya no dependerá únicamente de sus capacidades técnicas, sino de su capacidad para garantizar la seguridad de los usuarios, a la vez que ceden el control.
Exceder el alcance o violar la voluntad del usuario.
Esta sensación de seguridad se deriva de la profunda desconfianza humana ante la posibilidad de excederse. Anteriormente, la IA era una máquina de preguntas y respuestas: los humanos emitían comandos y la IA los ejecutaba. Ahora, sin embargo, la IA está evolucionando hacia un agente inteligente, lo que significa que ha pasado de la respuesta pasiva a la ejecución proactiva.
Según un artículo publicado el 24 de enero por The Hacker News, los agentes de IA no son simplemente otro tipo de usuario. Son fundamentalmente diferentes de los usuarios humanos y de las cuentas de servicio tradicionales, y estas diferencias hacen que los modelos existentes de permisos y aprobación de acceso sean ineficaces. En la práctica, para que la IA pueda completar tareas eficientemente, el sistema suele otorgar a los agentes inteligentes permisos superiores a los del propio usuario. Esta «desviación de permisos de acceso» puede llevar a la IA a realizar acciones técnicamente legales, pero no autorizadas, que violan el libre albedrío del usuario.
Cuando el poder tecnológico de un «agente» supera efectivamente al de su amo, el control de la humanidad sobre el mundo digital corre el riesgo de verse «socavado». Esta pérdida invisible de poder no se debe a intenciones maliciosas en la tecnología, sino al hecho de que, en la búsqueda de la eficiencia, los sistemas derriban silenciosamente los límites de la «soberanía digital» humana. Un informe publicado por Deloitte el 21 de enero señaló que el «poder de agencia» de la IA ya ha superado sus defensas de seguridad. Los datos muestran que solo el 20% de las empresas a nivel mundial han establecido modelos maduros de gobernanza de agentes de IA. Esta «brecha de 4/5» significa que la mayoría de las empresas e individuos están prácticamente «desnudos» al ceder el control a la IA, lo que agrava aún más el riesgo potencial de que se socave la soberanía humana.
Redefiniendo los límites de los contratos de autoridad hombre-máquina.
Para recuperar este control, los líderes globales en gobernanza tecnológica intentan integrar la «fiabilidad» en el código subyacente. La Autoridad de Desarrollo de Medios de Infocomunicación (IMDA) de Singapur, en su «Marco de Gobernanza de IA para Agentes Inteligentes», publicado el 22 de enero, propone un concepto fundamental: la «supervisión significativa». La IMDA señala que simplemente añadir un botón de «confirmación de clic humano» al proceso es insuficiente. Si el proceso de toma de decisiones de la IA es como una caja negra impenetrable, la aprobación humana se convierte en una formalidad ciega. El verdadero control requiere que la IA haga que sus intenciones y posibles consecuencias sean comprensibles para los usuarios.
Según la revista Forbes, la industria tecnológica aboga cada vez más por una arquitectura de «autorización dual». La clave de esta arquitectura reside en separar los «derechos de acceso» de la IA a los datos de sus «derechos de acción» sobre los resultados. Esto significa que la IA puede ayudar a las personas a investigar y elaborar planes, pero en áreas críticas relacionadas con pagos, contratos o modificaciones de la privacidad, se debe activar un mecanismo de verificación independiente, devolviendo la toma de decisiones a los humanos. Esta reestructuración de los permisos garantiza que la tecnología, independientemente de su evolución, siga siendo una extensión de la voluntad humana, no un sustituto.
La confianza debería ser una métrica clave del producto.
Antes, estábamos acostumbrados a entregar todos nuestros datos personales a gigantes remotos de la nube. Sin embargo, Forbes señala que los jóvenes que han crecido con la IA están empezando a reflexionar sobre el coste de esta concesión. Estos llamados «nativos de la IA» están experimentando un «despertar soberano», ya que ya no confían en la entrega de todos sus datos privados a la nube, sino que exigen que la IA se ejecute en una infraestructura local y privada.
De hecho, la «IA soberana» mencionada en el informe de Deloitte se está convirtiendo en una demanda personal: los usuarios quieren que la IA se implemente localmente en función de leyes, datos y preferencias personales específicos. La próxima generación de usuarios no solo se sentirá atraída por la novedad, sino que se preocupará más por la autonomía: ¿Puedo controlar la información que el sistema conoce sobre mí?. ¿Puedo moldear su comportamiento?. ¿Puedo salir en cualquier momento sin perder datos?.
Cuando la confianza se convierte en una métrica de producto difícil de medir, los objetivos de los desarrolladores de IA también cambian. La funcionalidad y el coste ya no son suficientes como competitividad fundamental; ganar confianza en el control de acceso, el uso de datos y la transparencia en la toma de decisiones es el verdadero atractivo de los productos de IA. En definitiva, el proceso de la IA para remodelar el control del mundo digital es esencialmente un proceso de la humanidad en busca de una nueva seguridad en la jungla tecnológica. Como afirmó Forbes, la futura «agencia» de la IA será una competencia de «legitimidad». Solo la IA que pueda demostrar que «no hace ciertas cosas» y devolver el control a los usuarios podrá adentrarse verdaderamente en las profundidades de la civilización humana.
