Por estos días escuché a un profesor de la Universidad de California quien, a propósito de los riesgos de la IA a grandes rasgos, preguntó: ¿cuántos de nosotros nos subiríamos a un avión sabiendo que fue construido sin estándares y sin haber hecho pruebas rigurosas independientes sobre su funcionamiento?

La pregunta puede extenderse a muchos otros escenarios. Como sociedad aspiramos, por ejemplo, a medicamentos producidos con altos estándares de calidad y con un conocimiento sobre lo que puede ocurrir si se consumen sin prescripción o en dosis incorrectas. Queremos estar tranquilos de que las plantas nucleares son operadas por personal calificado, con una infraestructura física apropiada y con altos niveles de monitoreo por si algo se desvía del plan. En el caso de la inteligencia artificial, vale la pena preguntarnos por el alcance real de la amenaza, las razones por las que se plantea que existe un riesgo serio y los caminos de respuesta que deberíamos considerar.

Con respecto al alcance de la amenaza, desde la perspectiva de seguridad una manera de analizar la gravedad de un riesgo es preguntarse: ¿qué tan serias serían las consecuencias si se materializa y qué tan probable es que esto ocurra? En sistemas donde las consecuencias pueden ser catastróficas se trabaja con probabilidades de uno en un millón o incluso más bajas. En el caso de la IA, calcular hoy una probabilidad semejante con un nivel aceptable de precisión es muy difícil. No contamos con suficientes datos y estamos hablando, en parte, de capacidades tecnológicas que están por crearse, o cuyos desarrollos ocurren dentro de empresas privadas y programas estatales que no hacen pública su información.

Una encuesta reciente a 2.778 investigadores de IA publicada en el Journal of Artificial Intelligence Research indica que una proporción de entre el 38 y 51% de ellos asignaba probabilidades de al menos el 10% a resultados tan graves como la extinción humana. Evan Hubinger, investigador en Anthropic, estimó en más de 10 % la posibilidad de una catástrofe existencial asociada con IA durante la próxima década. Estas no son mediciones de la probabilidad real; son estimaciones bajo enorme incertidumbre que, sin embargo, no se pueden ignorar.

¿Y cuáles son las razones por las que la IA podría representar una amenaza real? Hay al menos tres fuentes de riesgo. Una es el uso malicioso de la IA. Otra es su incorporación a sistemas críticos en los que un error puede tener consecuencias graves. Y una tercera, más incierta, es la posibilidad de perder control efectivo sobre futuros sistemas con capacidades muy superiores a las actuales.

La primera amenaza ya está entre nosotros. Estas tecnologías están disponibles para millones de personas sin necesidad de conocimientos especializados. Esto trae enormes beneficios, pero también facilita usos maliciosos: manipulación de información, robo de datos, ataques cibernéticos a sectores esenciales. El segundo riesgo aparece cuando aumentamos la autonomía de estos sistemas y los incorporamos a actividades en las que las consecuencias de una decisión equivocada son altas. El tercer escenario es el más controvertido, y se refiere a la posibilidad que sistemas futuros puedan contribuir crecientemente a su propio desarrollo y eventualmente mejorar sus capacidades a una velocidad que dificulte el control humano. Esa capacidad ‘auto-recursiva’ existe hoy –al menos públicamente- solo como ejercicios experimentales acotados.

¿Qué debemos hacer entonces? La regulación es necesaria, tanto en el desarrollo como en el uso. En el caso de los modelos de frontera existen propuestas que incluyen acordar estándares de seguridad verificables por partes independientes, transparencia sobre incidentes graves y mecanismos que permitan asignar responsabilidades. Hacer este tipo de acuerdo en medio de una competencia comercial y geopolítica y en un ambiente de desconfianza profunda resulta extremadamente difícil. La magnitud del reto, sin embargo, no debería ser razón para claudicar.

Con todo, la regulación no puede ser lo único. Mientras no exista una conciencia real y un deseo legítimo de utilizar estas tecnologías en beneficio de la humanidad, probablemente ninguna regulación será suficiente. Ojalá no tengamos que pagar un precio demasiado alto en incidentes graves antes de lograr conciencia y avances efectivos sobre el asunto.

¿Y Colombia? Nuestro país, es un actor social. Cada una de sus instituciones y cada persona lo es. Compramos y en menor medida también desarrollamos tecnología, la incorporamos a empresas y entidades públicas, decidimos cómo utilizarla en educación, salud, justicia, seguridad y servicios públicos, formamos a quienes la usarán y contribuirán a su desarrollo. Podemos y debemos participar en la construcción de las reglas bajo las cuales queremos que opere.

Como escribió León XIV en Magnifica Humanitas, “Ninguna mano, por sí sola, basta” y ninguna “es tan débil como para no poder ofrecer su contribución”. Colombia no puede permanecer al margen.

Lope H. Barrero Profesor del programa de Ingeniería Industrial, Investigador Interacción Humano-Inteligencia Artificial de la Pontificia Universidad Javeriana, Bogotá, Colombia.