El lado oscuro de la inteligencia artificial

En una oficina de Hong Kong, un empleado creyó reconocer a varios compañeros durante una videoconferencia. La reunión parecía rutinaria. Una de las personas presentes aparentaba ser un directivo que autorizaba movimientos de dinero. Después llegaron las transferencias. Cuando se descubrió el engaño, la empresa de ingeniería Arup había perdido unos 25 millones de dólares. Según la información publicada en 2024, los estafadores habían recreado digitalmente las apariencias y voces de participantes en la reunión. No se trató de una inteligencia artificial que decidiera robar: hubo delincuentes que utilizaron herramientas capaces de producir una representación convincente de otras personas. [1]

Durante mucho tiempo, reconocer un rostro o escuchar una voz constituía una señal poderosa, aunque imperfecta, de identidad. La fotografía y la grabación nunca fueron pruebas infalibles: podían editarse, sacarse de contexto o falsificarse. Sin embargo, generar una conversación audiovisual aparentemente auténtica solía exigir recursos y conocimientos especializados. La aparición de sistemas generativos introduce una pregunta nueva sobre una vulnerabilidad antigua: ¿qué sucede cuando la apariencia de una persona puede convertirse en una pieza más de un engaño?

La inteligencia artificial no inventó la estafa, la propaganda ni la explotación. Tampoco convierte automáticamente en peligroso todo lo que produce. Pero puede alterar tres condiciones decisivas: el esfuerzo necesario para realizar ciertas tareas, la escala a la que pueden repetirse y la facilidad con que una víctima distingue lo verdadero de lo fabricado. En algunos ámbitos ese cambio ya se observa. En otros seguimos ante demostraciones limitadas, hipótesis o riesgos futuros. Confundir estas situaciones solo alimentaría el miedo y dificultaría comprenderlas.

Conviene, por tanto, separar el uso malicioso de una herramienta, las fallas de seguridad de un sistema y los daños que pueden surgir de su propio funcionamiento. No son el mismo problema y no requieren la misma respuesta. Este recorrido parte de delitos documentados, continúa por las vulnerabilidades de los modelos y termina preguntándose quién debe responder por sus consecuencias. Porque el lado oscuro de la IA no puede entenderse únicamente mirando lo que la máquina es capaz de hacer: hay que observar quién la utiliza, sobre quién actúa y bajo qué reglas se despliega.

Cuando engañar se vuelve más fácil

Durante décadas, buena parte del fraude informático ha dependido menos de vulnerar sistemas que de convencer a las personas de que hagan algo que no deberían. Un correo aparentemente enviado por el director de una empresa, una factura que solicita modificar el número de cuenta o una llamada urgente de alguien que dice representar al banco pueden resultar suficientes. Estas técnicas forman parte de lo que se conoce como ingeniería social: aprovechar la confianza, la autoridad o las expectativas de una persona para inducirla a tomar una decisión.

La inteligencia artificial no ha inventado ninguno de estos mecanismos. Sin embargo, está transformando los recursos con los que pueden llevarse a cabo. Los delincuentes ya no dependen exclusivamente de mensajes escritos o identidades inventadas. Las herramientas generativas permiten producir voces sintéticas, manipular imágenes y elaborar comunicaciones adaptadas a diferentes idiomas y contextos. La identidad de alguien puede dejar de ser simplemente un nombre al final de un correo y convertirse en una presencia audiovisual aparentemente convincente.

El fraude sufrido por la consultora de ingeniería Arup en Hong Kong, a comienzos de 2024, permite comprender hasta dónde puede llegar esta transformación. Todo comenzó con un mensaje que parecía proceder del director financiero de la compañía, situado en Reino Unido. En él se solicitaba participar en una operación confidencial que implicaba movimientos de dinero. Según la información policial, el empleado que recibió la comunicación sospechó inicialmente que podía tratarse de un intento de phishing. Aquella desconfianza era razonable: las solicitudes económicas extraordinarias, especialmente cuando se presentan como confidenciales, constituyen uno de los mecanismos habituales de fraude empresarial.

Sin embargo, los estafadores introdujeron un elemento que cambió la situación. Invitaron al empleado a una videoconferencia en la que aparecían el supuesto director financiero y otros compañeros de trabajo. Sus rostros y voces resultaban reconocibles. Lo que inicialmente parecía un mensaje sospechoso pasó a presentarse como una orden respaldada por varias personas de la propia organización.

La investigación posterior aclaró cómo se había preparado la reunión. Según una respuesta oficial del Gobierno de Hong Kong publicada en junio de 2024, la reunión falsificada había sido preparada a partir de grabaciones públicas y voces de las personas suplantadas. Las autoridades describieron la videoconferencia como una grabación previamente elaborada, sin una interacción real entre los participantes falsificados y la víctima. Tras transmitir las instrucciones, los delincuentes continuaron las comunicaciones mediante mensajería instantánea. [2] Es decir, el engaño no necesitó reproducir perfectamente una conversación espontánea. Bastó con crear una situación audiovisual suficientemente convincente para que el empleado interpretara que estaba recibiendo instrucciones auténticas.

El resultado fue extraordinario: quince transferencias a cinco cuentas bancarias, por un total de 200 millones de dólares de Hong Kong, aproximadamente 25 millones de dólares estadounidenses. Arup confirmó públicamente en mayo de 2024 que había sido la empresa afectada. Lo más interesante del episodio no es únicamente la cantidad sustraída. Es que la víctima había identificado inicialmente señales de una posible estafa. La tecnología permitió a los delincuentes construir una segunda capa de credibilidad que debilitó aquella sospecha.

Este mecanismo revela algo fundamental sobre la confianza humana. No evaluamos cada información de manera completamente aislada. Interpretamos las situaciones utilizando experiencias previas, relaciones jerárquicas y señales contextuales. Reconocer a un superior durante una reunión, escuchar su voz y observar a otros compañeros aparentemente presentes puede modificar la credibilidad que atribuimos a una solicitud. La IA permitió a los delincuentes falsificar precisamente algunas de esas señales.

No todos los intentos, sin embargo, terminan con éxito. En mayo de 2024 también se conoció un intento de fraude contra WPP, uno de los grandes grupos internacionales de publicidad. Los atacantes crearon una cuenta de WhatsApp utilizando una fotografía pública de su director ejecutivo, Mark Read, y organizaron una reunión aparentemente legítima mediante Microsoft Teams. Durante ella recurrieron a una voz clonada, imágenes procedentes de vídeos públicos y mensajes escritos para suplantar a responsables de la empresa.

Su objetivo era conseguir que otro directivo participara en la creación de un supuesto negocio y facilitara dinero e información personal. Pero, en este caso, el intento fue detectado y no consiguió su propósito. WPP confirmó que la vigilancia de sus empleados había permitido impedir el fraude. [3] Los dos episodios permiten comparar los resultados. En ambos casos se utilizaron identidades corporativas y comunicaciones audiovisuales para construir una apariencia de autoridad. Sin embargo, los resultados fueron distintos. La tecnología puede proporcionar herramientas convincentes a un estafador, pero no determina automáticamente el comportamiento de quienes las reciben. También importan el contexto, las comprobaciones realizadas y los procedimientos de cada organización.

La suplantación mediante inteligencia artificial tampoco se limita al ámbito económico. En enero de 2024, pocos días antes de las primarias presidenciales de New Hampshire, miles de ciudadanos estadounidenses recibieron llamadas automatizadas en las que una voz aparentemente perteneciente a Joe Biden les animaba a no participar en aquellas elecciones y reservar su voto para noviembre. La voz había sido generada artificialmente.

La operación fue organizada por el consultor político Steve Kramer, que también utilizó técnicas para falsificar la información de identificación telefónica. Las llamadas aparentaban proceder de un número asociado a una figura conocida del Partido Demócrata en New Hampshire. Los destinatarios recibían así dos señales de autenticidad manipuladas: una voz reconocible y un número telefónico que parecía respaldar la legitimidad del mensaje.

La Comisión Federal de Comunicaciones estadounidense (FCC) impuso a Kramer una multa administrativa de seis millones de dólares en septiembre de 2024. No obstante, el desenlace judicial requiere un matiz importante: en junio de 2025, un jurado de New Hampshire lo absolvió de los cargos penales estatales relacionados con la supresión del voto y la suplantación de un candidato. La absolución penal no elimina el hecho documentado de que las llamadas se realizaron ni equivale a la anulación de la sanción administrativa. [4] [5] Tampoco podemos concluir que aquella campaña modificara significativamente el resultado electoral. Su existencia está documentada. Su impacto efectivo sobre el comportamiento de los votantes es una cuestión diferente.

Estos episodios muestran que el fraude mediante IA no consiste necesariamente en crear engaños completamente nuevos. En muchos casos se trata de reforzar estrategias antiguas mediante recursos que antes resultaban difíciles o costosos de producir. Un mensaje fraudulento puede redactarse con mayor facilidad, una identidad puede adquirir una voz y una solicitud sospechosa puede rodearse de personas aparentemente presentes. Además, una comunicación puede distribuirse a miles de destinatarios.

El FBI estadounidense advirtió en 2024 sobre el empleo de inteligencia artificial para mejorar campañas de phishing, ingeniería social y clonación de voz y vídeo. Sin embargo, una advertencia policial no permite determinar por sí sola qué proporción del fraude mundial utiliza estas herramientas o cuánto ha aumentado realmente su eficacia. [6]

Existe, además, un problema más profundo. Durante mucho tiempo, escuchar una voz conocida o reconocer un rostro en una videoconferencia proporcionaba cierta confianza sobre la identidad de nuestro interlocutor. Nunca fueron pruebas infalibles, pero constituían señales socialmente útiles. Cuando esas señales pueden fabricarse, verificar una identidad puede exigir algo más que reconocer una apariencia. Esto no significa que debamos desconfiar de todas las llamadas, fotografías o vídeos. Significa que la confianza digital ya no puede descansar exclusivamente en que una persona parezca ser quien dice ser. Los procedimientos de comprobación independientes adquieren importancia precisamente porque las apariencias pueden manipularse.

También conviene evitar culpar retrospectivamente a las víctimas por no haber detectado una falsificación. Los engaños están diseñados para aprovechar circunstancias reales: la autoridad de un superior, la familiaridad de una voz, la presión de una decisión urgente o la aparente normalidad de una reunión de trabajo. Comprender estos mecanismos resulta mucho más útil que suponer que cualquier persona habría reconocido la estafa. Y si la inteligencia artificial ya puede intervenir en algo tan cotidiano como una transferencia bancaria o una llamada telefónica, surge otra pregunta: ¿qué ocurre cuando esas mismas capacidades se incorporan a operaciones de ciberdelincuencia más amplias?

El cibercrimen descubre un nuevo aliado

La aparición de los grandes modelos de lenguaje abrió una posibilidad inquietante. Si una inteligencia artificial puede escribir código, corregir errores de programación, analizar sistemas informáticos y explicar conceptos técnicos complejos, ¿qué impediría que esas mismas capacidades se utilizaran para desarrollar herramientas destinadas a cometer delitos?

En julio de 2023 empezaron a circular en foros clandestinos anuncios de una herramienta llamada WormGPT. Sus responsables la presentaban como una alternativa sin las restricciones habituales de los asistentes comerciales, desarrollada específicamente para satisfacer las necesidades de los ciberdelincuentes. Según las investigaciones publicadas entonces, WormGPT estaba supuestamente construido sobre GPT-J, un modelo de lenguaje de código abierto desarrollado en 2021. Su creador afirmaba haberlo adaptado utilizando información relacionada con malware, técnicas de intrusión y otras actividades ofensivas. Sin embargo, la composición exacta de sus datos de entrenamiento y algunas de sus capacidades no pudieron verificarse independientemente. [7] [8]

La principal característica comercial de WormGPT no era necesariamente su potencia, sino la ausencia declarada de restricciones. Mientras que los asistentes convencionales incorporaban mecanismos destinados a rechazar determinadas solicitudes peligrosas, sus promotores ofrecían una herramienta que, según anunciaban, respondería sin esas limitaciones. Su utilidad más inmediata estaba relacionada con el fraude empresarial. WormGPT podía generar correos destinados a suplantar a responsables de organizaciones, simular instrucciones financieras o elaborar comunicaciones fraudulentas con una redacción aparentemente profesional. Investigadores de SlashNext realizaron pruebas con la herramienta y observaron que podía producir mensajes destinados a este tipo de engaños, conocido como Business Email Compromise (BEC).

No obstante, las primeras pruebas también revelaron limitaciones. Algunos textos resultaban genéricos, contenían errores contextuales o necesitaban modificaciones humanas. La publicidad del producto prometía mucho más de lo que la evidencia disponible permitía demostrar. Casi simultáneamente apareció FraudGPT, anunciado en comunidades de la web oscura y canales de Telegram. Sus vendedores afirmaban que podía generar mensajes de phishing, desarrollar malware, identificar vulnerabilidades y ayudar a elaborar distintas clases de fraude informático.

El acceso se ofrecía mediante suscripciones que, según la investigación de Netenrich recogida por WIRED, alcanzaban los 200 dólares mensuales. Su promotor llegó a asegurar que contaba con cientos de clientes, aunque esa cifra tampoco pudo comprobarse de forma independiente. WormGPT y FraudGPT mostraban así un fenómeno que iba más allá de sus capacidades técnicas: el nacimiento de un mercado que intentaba comercializar inteligencia artificial como instrumento para cometer delitos. Ya no se vendían únicamente programas maliciosos o bases de datos robadas, sino también supuestos asistentes capaces de ayudar a producir nuevas herramientas.

Pero existía una contradicción. Quienes comercializaban estas aplicaciones eran, en muchos casos, los mismos actores que participaban en mercados caracterizados por el fraude y la falta de transparencia. Algunas ofertas podían ser simples engaños dirigidos a otros delincuentes. Además, disponer de un chatbot sin restricciones no equivalía automáticamente a contar con un sistema capaz de desarrollar malware sofisticado.

La evolución posterior permitió estudiar este fenómeno con mayor precisión. En noviembre de 2025, investigadores de Unit 42, el equipo de inteligencia de amenazas de Palo Alto Networks, publicaron una evaluación de dos herramientas comercializadas para fines ofensivos: WormGPT 4 y KawaiiGPT. [9] El nombre WormGPT había reaparecido en distintos servicios, pero no debe asumirse que todos ellos compartieran el mismo desarrollador, arquitectura o tecnología que la herramienta anunciada en 2023. En el caso de WormGPT 4, los responsables no revelaron qué modelo utilizaban ni cómo había sido desarrollado.

La plataforma se comercializaba mediante su propia página y canales de Telegram, con planes anunciados desde 50 dólares mensuales. Sus promotores ofrecían asistencia para actividades como campañas fraudulentas, desarrollo de malware y extorsión digital.

Unit 42 decidió comprobar si aquellas capacidades eran algo más que publicidad. Durante sus experimentos, los investigadores consiguieron que WormGPT 4 generara un programa funcional destinado a cifrar archivos PDF en un sistema Windows. El modelo también produjo componentes relacionados con la extracción de información y redactó mensajes de extorsión que podrían acompañar un ataque de ransomware.

El resultado era preocupante porque mostraba que una persona podía obtener fragmentos funcionales de software malicioso sin tener que programarlos íntegramente por su cuenta. Sin embargo, conviene precisar qué se demostró. Generar un programa capaz de cifrar archivos no equivale a desarrollar una operación completa de ransomware. Para que un ataque real tenga éxito intervienen otros procesos: conseguir acceso a un sistema, superar sus protecciones, mantener el control y ejecutar la extorsión. Las pruebas de laboratorio verificaban determinadas funciones, no que WormGPT 4 pudiera realizar por sí solo todas esas tareas.

La misma investigación examinó KawaiiGPT, una herramienta presentada como alternativa gratuita y accesible. A diferencia del modelo comercial de WormGPT 4, su propuesta se basaba en reducir las dificultades para comenzar a utilizar un asistente orientado a actividades ofensivas. En las pruebas de Unit 42, KawaiiGPT generó correos fraudulentos, programas rudimentarios relacionados con el movimiento entre sistemas y componentes destinados a localizar y extraer información. También redactó mensajes de extorsión.

Sus resultados no representaban una revolución técnica: muchas de las funciones generadas ya podían programarse utilizando conocimientos relativamente convencionales. La diferencia residía en que el usuario podía describir determinadas tareas en lenguaje natural y recibir código o textos utilizables sin desarrollar cada elemento desde cero. Este cambio plantea una cuestión importante sobre el futuro del cibercrimen. La inteligencia artificial no necesita inventar una técnica de ataque completamente nueva para resultar peligrosa. Puede bastar con que reduzca el tiempo, el esfuerzo o los conocimientos necesarios para reproducir técnicas que ya conocemos.

Además, el desarrollo de malware no depende únicamente de crear programas desde cero. La modificación de herramientas existentes también puede tener consecuencias relevantes. En otra investigación, Unit 42 demostró experimentalmente que los modelos de lenguaje podían reescribir código JavaScript malicioso, produciendo variantes que dificultaban su detección mediante determinados métodos de análisis. [9] Eso no significa que cualquier programa generado por IA sea indetectable. Significa que estas tecnologías pueden facilitar algunas tareas de transformación del código que antes requerían trabajo manual.

Mientras comenzaban a comercializarse estos modelos, los principales proveedores de inteligencia artificial detectaron otro fenómeno: grupos dedicados a operaciones cibernéticas estaban intentando aprovechar los asistentes comerciales. En febrero de 2024, Microsoft y OpenAI publicaron una investigación conjunta sobre actores vinculados a Rusia, China, Irán y Corea del Norte que habían utilizado modelos de lenguaje para apoyar distintas actividades. [10] Entre ellos figuraba Forest Blizzard, un grupo asociado por Microsoft a la inteligencia militar rusa y conocido también como APT28. Sus interacciones con modelos incluían consultas sobre tecnologías de comunicaciones, sistemas de radar y tareas de programación relacionadas con operaciones técnicas.

Otro grupo, Emerald Sleet, vinculado a Corea del Norte, recurrió a modelos de lenguaje para investigar organizaciones y especialistas, comprender vulnerabilidades conocidas y preparar contenido relacionado con campañas de ingeniería social. En aquel momento, Microsoft y OpenAI no habían identificado ataques significativamente novedosos realizados gracias a los modelos que supervisaban. La IA aparecía principalmente como un instrumento auxiliar para investigar, programar y preparar operaciones. Sin embargo, las investigaciones posteriores comenzaron a describir usos más complejos.

En 2026, Google Threat Intelligence Group documentó casos en los que actores maliciosos integraban herramientas generativas en actividades de desarrollo de software fraudulento y operaciones destinadas a obtener credenciales. Uno de los ejemplos fue COINBAIT, un conjunto de herramientas de phishing que imitaba una plataforma de intercambio de criptomonedas. Google encontró indicios de que su desarrollo había sido acelerado mediante una plataforma de generación de aplicaciones con IA. [11] El caso resultaba significativo porque la tecnología no había producido únicamente un mensaje fraudulento: también había intervenido en la construcción de una aplicación web utilizada como parte de la infraestructura del engaño.

En septiembre de 2026, Google describió además una operación observada durante el segundo trimestre del año en la que un atacante comprometió un recurso en la nube y utilizó herramientas asistidas por IA para preparar y ejecutar una campaña de obtención masiva de credenciales en menos de seis horas. [12] El elemento decisivo era la reducción del tiempo necesario para coordinar distintas fases de una operación. Actividades que anteriormente podían exigir un trabajo manual considerable empezaban a combinarse mediante asistentes de programación y automatización.

Un informe publicado ese mismo mes por Anthropic aportó otro ejemplo especialmente revelador. La empresa describió un actor identificado como GTG-20006, cuya actividad asociaba a operaciones de espionaje de origen ruso. Según su investigación, el grupo utilizó flujos de trabajo asistidos por IA para desarrollar y mantener herramientas maliciosas, preparar campañas de phishing y modificar determinados programas cuando las defensas de seguridad comenzaban a detectarlos. [13]

Sus objetivos incluían organizaciones gubernamentales, diplomáticas y relacionadas con la defensa, especialmente en Ucrania y Europa. Anthropic identificó más de veinte organizaciones dentro de la actividad investigada. Aquí la inteligencia artificial ya no actuaba simplemente como un chatbot al que se le pedían respuestas aisladas. Formaba parte de un conjunto de procedimientos automatizados que podían analizar resultados, modificar herramientas y continuar determinadas tareas con menos intervención humana.

Anthropic también documentó operaciones en las que varios agentes de IA trabajaban en paralelo sobre diferentes objetivos. No obstante, la empresa señaló que los responsables humanos seguían tomando decisiones importantes, como seleccionar los objetivos o determinar cómo utilizar la información obtenida. No estamos hablando necesariamente de inteligencias artificiales que deciden por iniciativa propia cometer delitos, sino de sistemas configurados y dirigidos por personas para ejecutar o coordinar determinadas fases de una actividad maliciosa.

Entre WormGPT en 2023 y estas investigaciones de 2026 aparece una evolución significativa. Al principio, buena parte del debate giraba alrededor de chatbots supuestamente capaces de escribir código peligroso sin restricciones. Después comenzaron a observarse herramientas que producían componentes maliciosos funcionales. Finalmente, algunos actores incorporaron modelos a procesos automatizados más amplios, capaces de intervenir en distintas etapas de una operación.

Esta evolución tampoco significa que cualquier persona sin conocimientos informáticos pueda ejecutar un ataque sofisticado pulsando un botón. Los resultados dependen de la calidad del modelo, del acceso a otras herramientas, de las defensas existentes y de los conocimientos del operador. El código generado puede contener errores, y una operación aparentemente automatizada puede necesitar una supervisión humana considerable. Pero el riesgo tampoco debería minimizarse por esas limitaciones. La inteligencia artificial no tiene que sustituir al ciberdelincuente para ampliar sus capacidades. Basta con que le permita hacer determinadas tareas más rápido, repetirlas a mayor escala o realizarlas con menos conocimientos especializados.

Y existe una paradoja adicional: las mismas capacidades que permiten desarrollar software, detectar errores o automatizar tareas de seguridad pueden emplearse para reforzar operaciones ofensivas. El problema no reside exclusivamente en la aparición de herramientas como WormGPT, sino en una transformación más amplia: determinadas capacidades técnicas que antes requerían especialistas pueden comenzar a distribuirse mediante sistemas accesibles por lenguaje natural. El cibercrimen no ha dejado de depender de decisiones humanas. Pero algunas de las herramientas a disposición de quienes lo practican están cambiando, y con ellas también puede cambiar la escala de sus consecuencias.

Cuando la realidad se convierte en un arma

El 16 de marzo de 2022, cuando apenas habían transcurrido tres semanas desde el comienzo de la invasión rusa de Ucrania, comenzó a circular un vídeo que parecía mostrar al presidente ucraniano, Volodímir Zelenski, anunciando la rendición de su país. La grabación mostraba a Zelenski situado ante un atril, dirigiéndose a la población y pidiendo a los soldados ucranianos que depusieran las armas frente a las fuerzas invasoras. De haber sido auténtica, aquella declaración habría representado un acontecimiento extraordinario: el presidente de un país en guerra comunicando públicamente su capitulación. Sin embargo, Zelenski nunca había pronunciado aquellas palabras.

El vídeo era una falsificación digital construida mediante técnicas de manipulación audiovisual. La cadena de televisión ucraniana Ukraine 24 denunció que sus sistemas habían sido atacados y que los responsables habían difundido el contenido haciéndolo pasar por una declaración auténtica del presidente. La grabación también circuló por redes sociales. El episodio resulta especialmente significativo por el momento en que ocurrió. Ucrania se encontraba inmersa en una guerra en la que la información tenía un valor estratégico. Una declaración falsa de rendición podía intentar sembrar confusión entre la población, debilitar la moral de los defensores o alimentar narrativas favorables a la invasión. Pero el intento presentaba numerosas deficiencias técnicas.

Según la información publicada por Reuters el mismo día, los usuarios detectaron rápidamente diferencias entre el tono de piel del rostro y el cuello de Zelenski, movimientos poco naturales y anomalías visuales alrededor de su cabeza. También se señalaron irregularidades en la voz. La falsificación era tan rudimentaria que numerosos espectadores la identificaron inmediatamente como falsa. [14] El propio Zelenski respondió publicando un vídeo auténtico en el que rechazaba la supuesta rendición y reafirmaba que Ucrania continuaría resistiendo.

No existe evidencia suficiente para afirmar que aquella falsificación consiguiera provocar una rendición o modificar significativamente el desarrollo de la guerra. Tampoco quedó establecido públicamente quién había producido exactamente el vídeo. Sin embargo, el episodio ilustró una posibilidad preocupante: utilizar inteligencia artificial para atribuir declaraciones inexistentes a dirigentes políticos durante momentos de especial incertidumbre. El objetivo de una falsificación de este tipo no tiene por qué ser convencer permanentemente a toda la población. En determinadas circunstancias, puede intentar generar confusión durante unas horas, sembrar dudas o introducir una noticia falsa en el debate público antes de que sea desmentida.

La manipulación audiovisual tampoco apareció con la inteligencia artificial. Durante décadas han existido fotografías alteradas, grabaciones editadas y declaraciones sacadas de contexto. La diferencia es que las herramientas generativas permiten crear determinadas falsificaciones con menos recursos y con una apariencia que puede resultar cada vez más convincente. No obstante, reducir la desinformación contemporánea a los deepfakes sería un error. Una operación de influencia puede utilizar cuentas falsas, páginas web que imitan medios de comunicación, mensajes repetidos, imágenes manipuladas y contenidos diseñados para despertar emociones. La inteligencia artificial puede incorporarse a ese conjunto de técnicas sin convertirse necesariamente en su elemento principal. Las investigaciones sobre operaciones de propaganda vinculadas a Rusia ofrecen varios ejemplos.

En octubre de 2024, OpenAI publicó información sobre una operación de influencia de origen ruso a la que denominó Stop News. Los investigadores identificaron cuentas que utilizaban ChatGPT para generar artículos, comentarios e imágenes destinados a diferentes páginas web y redes sociales. [15] La operación producía contenidos en inglés, francés y ruso. Parte de los artículos en inglés se publicaban en sitios que aparentaban ser medios informativos británicos. Algunos mezclaban noticias culturales, acontecimientos deportivos y otros contenidos aparentemente cotidianos con críticas a Ucrania y al apoyo británico a ese país.

En francés, la estrategia era parecida, aunque orientada a públicos africanos. Los artículos combinaban información sobre música, cultura y acontecimientos locales con críticas a Francia, Ucrania y determinadas decisiones occidentales. También aparecían mensajes relacionados con los Juegos Olímpicos de París. La propaganda no necesita presentarse constantemente como propaganda. Una página que publica exclusivamente mensajes políticos puede resultar sospechosa. En cambio, un supuesto medio que combina información cotidiana con artículos de contenido ideológico puede intentar construir una apariencia de normalidad y credibilidad.

La inteligencia artificial permite producir grandes cantidades de ese contenido, adaptarlo a diferentes idiomas y mantener páginas aparentemente activas sin redactar manualmente cada publicación. El equipo identificó asimismo imágenes generadas mediante DALL·E, utilizadas para acompañar artículos y publicaciones. Muchas recurrían a ilustraciones llamativas, colores intensos o escenas caricaturescas destinadas a captar la atención.

La investigación mostró que los mismos operadores no se limitaban a producir propaganda política. También utilizaban la IA para redactar textos promocionales en ruso, especialmente relacionados con servicios comerciales del área de San Petersburgo. La respuesta a la reseña de Yandex es un ejemplo de ese segundo tipo de actividad. Su presencia en el informe no significa que la empresa mencionada colaborara con la campaña.

Pero una vez más apareció una diferencia entre la capacidad técnica y los resultados obtenidos. Según OpenAI, la mayoría de las cuentas detectadas en X tenían muy pocos seguidores y sus publicaciones recibían escasas interacciones. La empresa no encontró pruebas de que aquella operación hubiera conseguido una difusión especialmente amplia entre usuarios auténticos. Inicialmente, los investigadores señalaron que algunos de los falsos medios parecían haber establecido relaciones informativas con organizaciones locales, lo que podía indicar cierta penetración en comunidades reales.

Sin embargo, una evaluación posterior publicada en 2025 incorporó investigaciones adicionales que apuntaban a que esas supuestas colaboraciones eran probablemente ficticias y se habían aprovechado de fallos técnicos en páginas ajenas. OpenAI rebajó entonces su evaluación del alcance de la operación. [16] La rectificación muestra que incluso cuando una campaña parece haber conseguido introducirse en organizaciones reales, es necesario comprobar qué ocurrió exactamente antes de atribuirle un éxito significativo.

En 2025, OpenAI detectó nuevos intentos de utilizar modelos generativos para preparar guiones y descripciones de vídeos dirigidos a plataformas como YouTube y TikTok. Algunos contenidos criticaban la presencia occidental en África y presentaban favorablemente la actuación rusa. Los investigadores localizaron canales que utilizaban presentadores artificiales y acumulaban miles de visualizaciones. Aun así, no encontraron evidencias claras de que esos vídeos hubieran alcanzado una influencia considerable fuera de los propios canales.

Todo ello muestra una transformación relevante en las operaciones de propaganda: la posibilidad de producir artículos, ilustraciones, traducciones y vídeos utilizando un conjunto de herramientas generativas. Sin embargo, disponer de más contenido no garantiza que ese contenido sea creído ni que modifique las opiniones de quienes lo reciben.

El uso de presentadores sintéticos había comenzado a documentarse anteriormente en otras operaciones internacionales. En febrero de 2023, la empresa especializada en análisis de redes Graphika publicó una investigación titulada Deepfake It Till You Make It. En ella describía cómo una operación de influencia favorable a China, conocida como Spamouflage, había comenzado a distribuir vídeos protagonizados por personas que aparentemente presentaban noticias. [17] Aquellos presentadores no existían. Sus rostros, movimientos y voces habían sido generados mediante herramientas comerciales de inteligencia artificial. En algunos vídeos aparecían bajo la identidad de un supuesto servicio informativo denominado Wolf News. Los contenidos trataban cuestiones políticas y geopolíticas, incluyendo mensajes favorables a China y críticas a Estados Unidos.

La novedad no residía únicamente en la falsificación de una persona concreta. A diferencia del vídeo de Zelenski, aquí no se intentaba necesariamente atribuir palabras falsas a un dirigente real. Se creaban identidades ficticias con apariencia humana para transmitir mensajes políticos. Una persona que aparecía ante la cámara como presentador de noticias podía no haber existido nunca fuera de aquel archivo de vídeo. Graphika consideró que se trataba de uno de los primeros casos identificados por sus investigadores de una operación de influencia vinculada a intereses estatales que incorporaba presentadores humanos sintéticos.

La tecnología utilizada parecía proceder de una plataforma comercial concebida originalmente para producir vídeos corporativos, publicitarios o educativos. No era necesario desarrollar desde cero un sistema de generación audiovisual: podían aprovecharse servicios creados para actividades legítimas. Este hecho introduce otra característica de los usos maliciosos de la inteligencia artificial. Una misma capacidad tecnológica puede emplearse para producir vídeos de formación profesional, comunicaciones empresariales o propaganda engañosa. El carácter perjudicial depende también del contexto y de la intención con que se utiliza.

Los vídeos investigados por Graphika presentaban movimientos rígidos, voces poco naturales y otros defectos perceptibles. Además, ninguno de los ejemplos identificados había superado las 300 visualizaciones. Por tanto, tampoco aquí existían pruebas de una campaña especialmente exitosa. La relevancia del episodio estaba en demostrar que las operaciones de influencia ya habían comenzado a incorporar personas sintéticas como parte de sus recursos comunicativos. Y, mientras algunas organizaciones experimentaban con presentadores artificiales, otros actores descubrieron que bastaba con falsificar una voz para provocar una crisis política.

En septiembre de 2023, Eslovaquia celebró elecciones parlamentarias en un contexto de fuerte polarización política. Dos días antes de la votación comenzó a circular una grabación de audio en la que aparentemente se escuchaba a Michal Šimečka, dirigente del partido liberal Eslovaquia Progresista, conversando con la periodista Monika Tódová, del periódico Denník N. En el audio parecían hablar de manipular las elecciones mediante la compra de votos entre miembros de la minoría romaní.

La conversación era falsa. Tanto Šimečka como el periódico denunciaron la manipulación, mientras que organizaciones de verificación encontraron indicios de que se había utilizado inteligencia artificial para fabricar la grabación. No fue el único episodio. También circuló un audio que atribuía a Šimečka una supuesta propuesta para aumentar considerablemente el precio de la cerveza, un asunto que podía provocar rechazo entre determinados votantes.

La legislación electoral eslovaca contemplaba un periodo de silencio previo a la votación, durante el cual se restringía la difusión de determinadas comunicaciones electorales. Los audios falsos comenzaron a circular precisamente cuando quedaba muy poco tiempo para responder públicamente y comprobar su autenticidad. Además, según la investigación publicada por WIRED, las políticas de moderación de Meta presentaban entonces limitaciones específicas: algunas normas contra contenidos manipulados estaban concebidas principalmente para vídeos y no trataban de la misma forma las grabaciones exclusivamente sonoras. [18]

Los verificadores tuvieron que reconstruir el origen de las publicaciones, consultar especialistas y utilizar herramientas de análisis de voz para determinar si los audios habían sido manipulados. El problema no era únicamente técnico. Aunque una grabación pueda identificarse finalmente como falsa, su desmentido puede circular más lentamente o no alcanzar a todas las personas que escucharon la versión original.

El partido Smer, encabezado por Robert Fico, terminó ganando las elecciones. Su campaña había incluido posiciones críticas con el apoyo militar a Ucrania y favorables a revisar determinadas políticas relacionadas con Rusia. La coincidencia temporal entre los audios falsos y la victoria de Fico provocó titulares que presentaban aquellas elecciones como las primeras decididas mediante inteligencia artificial. Sin embargo, esa conclusión no estaba demostrada.

En agosto de 2024, los investigadores Lluís de Nadal y Peter Jančárik publicaron en Harvard Kennedy School Misinformation Review un análisis que cuestionaba precisamente aquella interpretación. [19] Los autores explicaron que el contexto político eslovaco era mucho más complejo de lo que sugería atribuir el resultado a unos audios difundidos pocos días antes de las elecciones.

Durante años habían circulado narrativas favorables a Rusia y campañas destinadas a cuestionar a las instituciones democráticas. La desconfianza hacia determinados medios de comunicación y organismos públicos ya era elevada antes de las elecciones. También existían tensiones relacionadas con la guerra de Ucrania, la política energética y las relaciones históricas y culturales con Rusia. Los audios falsos aparecieron, por tanto, en un entorno donde ya existían divisiones políticas profundas y redes de desinformación consolidadas.

El análisis no negaba que las falsificaciones pudieran haber tenido efectos. Lo que cuestionaba era que existieran pruebas suficientes para atribuirles la victoria electoral de Fico. Esta distinción es fundamental para comprender la desinformación política. La existencia de una campaña no demuestra automáticamente su eficacia. Que un contenido alcance a miles de personas tampoco significa que consiga modificar sus creencias y mucho menos su voto. Entre la exposición a una noticia falsa y una decisión política intervienen factores sociales, culturales e ideológicos que no pueden reducirse a la calidad de una falsificación audiovisual.

Pero existe una consecuencia adicional de los deepfakes que quizá resulte todavía más difícil de combatir. En 2019, los juristas Bobby Chesney y Danielle Citron publicaron en California Law Review un estudio sobre las amenazas que estas tecnologías planteaban para la privacidad, la democracia y la seguridad nacional. [20] Entre los problemas analizados se encontraba el denominado liar's dividend, que podríamos traducir como el beneficio del mentiroso. Si la población sabe que existen herramientas capaces de crear grabaciones falsas extremadamente convincentes, una persona que aparezca en una grabación auténtica puede intentar desacreditarla afirmando que ha sido fabricada mediante inteligencia artificial.

Imaginemos que se publica un vídeo real de un dirigente político realizando unas declaraciones comprometedoras. En un entorno donde se sabe que existen deepfakes, el protagonista podría alegar que la grabación ha sido manipulada, incluso aunque sea verdadera. No necesita demostrar inmediatamente que el vídeo sea falso. Puede intentar generar suficientes dudas para que parte de la población deje de confiar en su autenticidad. La consecuencia es doble: la inteligencia artificial puede facilitar la creación de pruebas falsas y, al mismo tiempo, proporcionar argumentos para cuestionar pruebas verdaderas.

Esto no significa que toda información audiovisual haya perdido su valor. La autenticidad de una grabación puede investigarse mediante fuentes independientes, análisis forenses, registros originales y otros elementos contextuales. Pero sí significa que una fotografía, una voz o un vídeo aislado pueden resultar insuficientes en situaciones donde existen incentivos importantes para manipular o desacreditar su contenido. Quizá el mayor riesgo de la desinformación generada mediante inteligencia artificial no sea únicamente que terminemos creyendo cosas que nunca ocurrieron. También puede contribuir a que resulte cada vez más difícil alcanzar acuerdos sobre aquello que sí ocurrió.

Y cuando una sociedad pierde parte de su capacidad para establecer hechos compartidos, el problema deja de ser exclusivamente tecnológico. Se convierte en una cuestión relacionada con la confianza pública, el funcionamiento de las instituciones y las condiciones necesarias para mantener un debate democrático. La inteligencia artificial no inventó la propaganda ni la mentira política. Pero está incorporando nuevas posibilidades a una actividad tan antigua como la propia organización del poder: intentar controlar lo que otros creen que es verdad.

Víctimas reales de imágenes que nunca existieron

En septiembre de 2023, varias familias de Almendralejo, una localidad de la provincia de Badajoz, descubrieron que estaban circulando imágenes de sus hijas menores de edad en las que aparecían desnudas. Las fotografías resultaban reconocibles: mostraban los rostros de adolescentes que estudiaban en el entorno de quienes las habían difundido. Pero aquellas imágenes nunca habían sido tomadas. Sus autores habían utilizado aplicaciones de inteligencia artificial para manipular fotografías obtenidas de redes sociales y crear falsos desnudos. Las imágenes se compartieron posteriormente a través de grupos de WhatsApp, llegando al entorno social de las propias víctimas.

El caso provocó una considerable conmoción en España. No se trataba de una operación de espionaje ni de una sofisticada campaña de desinformación política. Los responsables eran adolescentes que habían utilizado herramientas digitales para producir imágenes íntimas falsas de compañeras de su entorno. Las familias denunciaron lo sucedido y la investigación terminó llegando al Juzgado de Menores de Badajoz.

En julio de 2024 se conoció una sentencia dictada por conformidad que declaró responsables a quince menores de veinte delitos de pornografía infantil y otros veinte contra la integridad moral, según la información facilitada por el Tribunal Superior de Justicia de Extremadura. [21] El juzgado impuso un año de libertad vigilada, acompañado de formación afectivo-sexual, educación sobre el uso responsable de las tecnologías y sensibilización en igualdad de género. La resolución reconocía que las imágenes habían sido manipuladas digitalmente. No era necesario que las adolescentes hubieran participado en las escenas representadas para que existieran delitos y consecuencias reales.

En los deepfakes políticos, una falsificación intenta atribuir a una persona declaraciones o comportamientos inexistentes para engañar a otros. En los falsos desnudos, sin embargo, el daño no depende únicamente de que los espectadores crean que las imágenes son auténticas. La propia utilización de una identidad reconocible para crear y distribuir contenido íntimo sin consentimiento constituye una forma de vulneración de la persona representada. Para las adolescentes afectadas, demostrar que las imágenes eran falsas no eliminaba necesariamente la angustia de saber que habían circulado entre compañeros, conocidos o desconocidos.

La posibilidad de que otras personas conservaran copias, las difundieran nuevamente o las utilizaran para acosarlas podía prolongar las consecuencias más allá del episodio inicial. Además, este tipo de abuso transforma elementos cotidianos de la vida digital en posibles recursos para perjudicar a alguien. Una fotografía compartida en una red social, una imagen escolar o una fotografía familiar pueden utilizarse sin autorización para fabricar representaciones íntimas inexistentes. La cuestión resulta especialmente preocupante cuando afecta a menores, porque el daño se produce durante una etapa en la que la identidad personal, las relaciones sociales y la percepción del propio cuerpo todavía están desarrollándose.

Lo sucedido en Almendralejo tampoco fue un caso aislado. En marzo de 2026, un tribunal juvenil de Lancaster, Pensilvania, impuso medidas de libertad vigilada a dos adolescentes que habían utilizado inteligencia artificial para crear aproximadamente 350 imágenes sexuales falsas de al menos 59 chicas menores de edad. [22] Según la investigación recogida por Associated Press, los responsables habían obtenido fotografías de sus compañeras mediante anuarios escolares, redes sociales y otras fuentes digitales durante 2023 y 2024. Posteriormente, las utilizaron para elaborar las falsificaciones.

La dimensión del caso quedó especialmente clara durante el procedimiento judicial. Más de un centenar de estudiantes y familiares acudieron a una sesión que, excepcionalmente, fue abierta al público. Varias víctimas describieron las consecuencias que habían sufrido: ansiedad, pérdida de confianza en otras personas, dificultades para concentrarse en los estudios y miedo a que las imágenes reaparecieran en el futuro. Algunas explicaron que el episodio había alterado profundamente su relación con la escuela y con personas de su propio entorno.

Los dos responsables recibieron medidas que incluían libertad vigilada, sesenta horas de servicios comunitarios para cada uno, restricciones de contacto con las víctimas y obligaciones de reparación. El caso muestra que la facilidad para producir imágenes digitales puede convertir una conducta de acoso en una agresión que alcanza a numerosas personas. También revela una característica especialmente difícil de gestionar: mientras que crear una imagen falsa puede requerir relativamente poco tiempo, eliminar todas las copias que circulan por Internet puede resultar extraordinariamente complicado.

El problema tampoco se limita a los centros educativos. En octubre de 2026, una investigación de la organización Agora Digitale Transformation identificó imágenes pornográficas falsas que afectaban a aproximadamente cincuenta eurodiputadas y varios eurodiputados. [23] La presidenta del Parlamento Europeo, Roberta Metsola, denunció públicamente estos hechos y reclamó una respuesta frente a las aplicaciones que permiten generar y distribuir imágenes íntimas no consentidas. La eurodiputada austríaca Lena Schilling explicó que ella misma había sido víctima de este tipo de manipulación y señaló el impacto que supone descubrir imágenes sexuales falsas de una misma circulando por Internet.

En este contexto, las falsificaciones no solo pueden utilizarse para humillar a una persona, sino también para intimidarla y perjudicar su actividad pública. La dimensión de género resulta importante. Las investigaciones sobre falsificaciones íntimas muestran una afectación especialmente intensa sobre mujeres y niñas, aunque también pueden existir víctimas masculinas. No estamos, por tanto, ante un fenómeno explicable únicamente por la aparición de nuevas herramientas informáticas. Estas tecnologías pueden incorporarse a formas anteriores de acoso, intimidación y violencia sexual. La inteligencia artificial modifica los medios disponibles, pero muchas de las relaciones de poder que intervienen en estos abusos ya existían.

La preocupación aumenta todavía más cuando examinamos el material de abuso sexual infantil generado mediante inteligencia artificial. Aquí conviene distinguir dos fenómenos que a menudo aparecen mezclados. El primero consiste en utilizar fotografías o la identidad de menores reales para fabricar imágenes sexuales falsas. El segundo consiste en generar representaciones sintéticas de abuso infantil sin partir necesariamente de la identidad de un menor concreto. Ambas situaciones plantean problemas graves, pero no tienen exactamente las mismas consecuencias para las víctimas identificables ni los mismos mecanismos de producción.

En marzo de 2026, la Internet Watch Foundation (IWF), organización especializada en detectar y combatir material de abuso sexual infantil en Internet, publicó un informe sobre la evolución de estos contenidos generados mediante IA. Durante 2025, sus analistas identificaron 8.029 imágenes y vídeos generados con inteligencia artificial que representaban de manera realista abuso sexual infantil. [24] La cifra suponía un aumento del 14 % respecto al año anterior en el material de esa clase identificado por la organización.

El informe también describía una transformación técnica importante. Mientras que los primeros contenidos encontrados eran principalmente imágenes estáticas, los investigadores comenzaron a identificar cantidades mucho mayores de vídeos sintéticos. En 2025 detectaron 3.443 vídeos de esta naturaleza, frente a trece durante 2024. De ellos, aproximadamente el 65 % fueron clasificados en la categoría de mayor gravedad utilizada por la organización. Estos datos muestran un aumento importante del contenido detectado y una evolución de las capacidades utilizadas para generarlo. Sin embargo, deben interpretarse correctamente.

Para interpretar los dos gráficos siguientes, es necesario conocer las categorías de gravedad empleadas por la Internet Watch Foundation, basadas en las directrices del Consejo de Sentencias del Reino Unido. La categoría A, la más grave, comprende representaciones de actividad sexual con penetración, actividad sexual con animales o conductas sádicas. La categoría B incluye actividad sexual sin penetración. La categoría C agrupa otras imágenes indecentes de menores que no encajan en las categorías anteriores, como determinadas representaciones de desnudez o poses sexualizadas. Estas categorías describen la gravedad del contenido representado, no la edad de las víctimas ni la calidad de la imagen. La IWF explica esta clasificación en su metodología.

La comparación revela una diferencia importante entre ambos formatos: un 33 % de las imágenes y un 65 % de los vídeos analizados fueron clasificados en la categoría A. Los porcentajes corresponden al material identificado por la IWF durante 2024 y 2025 en conjunto. No deben interpretarse como una estimación de la gravedad de todo el contenido existente en Internet, sino como una descripción de los casos evaluados por la organización.

Las 8.029 imágenes y vídeos no representan todo el material de abuso sexual infantil generado mediante IA que existe en Internet. Son contenidos identificados y evaluados mediante los procedimientos de la IWF. Tampoco debemos confundir el número de archivos detectados con el número de menores afectados: una misma víctima puede aparecer en múltiples imágenes y algunos contenidos pueden ser completamente sintéticos. Además, el material generado con IA seguía representando una proporción relativamente pequeña del enorme volumen de contenido de abuso infantil que la organización investigaba. Estas precisiones no reducen la gravedad del fenómeno. Permiten describirlo sin atribuir a las cifras un significado que no tienen.

UNICEF también ha estudiado el impacto de estas prácticas sobre los menores. En febrero de 2026, la organización publicó una declaración sobre las imágenes sexuales generadas o manipuladas mediante inteligencia artificial, apoyándose en investigaciones desarrolladas junto con ECPAT e INTERPOL. El estudio mencionado, realizado en once países, estimaba que al menos 1,2 millones de menores habían sufrido durante el año anterior la manipulación sexual de sus imágenes mediante deepfakes. [25]

Se trataba de estimaciones basadas en encuestas, no de un recuento de imágenes detectadas ni de procedimientos judiciales. En algunos de los países estudiados, la proporción estimada alcanzaba aproximadamente a uno de cada veinticinco menores. UNICEF insistió en una idea fundamental: que una escena haya sido fabricada digitalmente no significa que el abuso asociado a ella sea imaginario. Los menores cuya identidad es utilizada pueden experimentar humillación, intimidación, pérdida de privacidad y otras consecuencias psicológicas y sociales.

Pero el problema de la inteligencia artificial generativa no comienza necesariamente cuando alguien utiliza un modelo para fabricar una imagen. También puede encontrarse en los datos con los que esos modelos son desarrollados. En diciembre de 2023, una investigación del Stanford Internet Observatory, dirigida por David Thiel, examinó la presencia de material sospechoso de abuso sexual infantil en conjuntos de datos utilizados en el entrenamiento de sistemas de generación de imágenes.

Uno de los conjuntos estudiados fue LAION-5B, una enorme recopilación de aproximadamente 5.800 millones de pares de imágenes y descripciones textuales obtenidos a partir de contenidos disponibles en Internet. Este tipo de conjuntos permite entrenar modelos para relacionar descripciones lingüísticas con características visuales. Gracias a esas asociaciones, un sistema generativo puede aprender patrones que posteriormente utiliza para producir nuevas imágenes. Sin embargo, recopilar información a semejante escala plantea un problema evidente: los sistemas automatizados utilizados para seleccionar los datos pueden incorporar materiales que nunca deberían formar parte del entrenamiento.

Los investigadores de Stanford identificaron 3.226 entradas sospechosas de estar relacionadas con material de abuso sexual infantil. Dentro de la investigación, alrededor de un millar de enlaces fueron corroborados mediante procedimientos adicionales. [26] Es importante señalar que LAION-5B funcionaba principalmente como un conjunto de enlaces y metadatos, no como un repositorio que alojara directamente todas las imágenes originales. El descubrimiento llevó a los responsables de LAION a retirar temporalmente el conjunto de datos y comenzar una revisión de seguridad.

Posteriormente, en 2024, la organización publicó versiones revisadas después de colaborar con entidades especializadas para identificar y filtrar enlaces potencialmente problemáticos. [27] Este episodio permite observar un aspecto del desarrollo de la inteligencia artificial que rara vez aparece en las demostraciones públicas de los modelos: la calidad y la procedencia de los datos importan tanto como la arquitectura del sistema. No sería correcto concluir que todos los modelos entrenados con LAION-5B reproducen necesariamente material de abuso sexual infantil. La presencia de datos problemáticos no demuestra automáticamente que un sistema concreto sea capaz de generar una imagen determinada.

Pero tampoco podemos ignorar que los conjuntos de entrenamiento pueden incluir materiales perjudiciales, ni que las decisiones sobre cómo se recopilan, filtran y distribuyen esos datos pueden tener consecuencias para víctimas reales. Esta situación plantea responsabilidades que no corresponden exclusivamente a quienes utilizan una aplicación para generar contenido ilegal. También intervienen los desarrolladores de modelos, los responsables de los conjuntos de entrenamiento, las plataformas que distribuyen herramientas y los servicios donde circulan los contenidos.

La respuesta institucional comienza a reflejar esta complejidad. La Unión Europea aprobó en 2024 la Directiva 2024/1385 sobre la lucha contra la violencia contra las mujeres y la violencia doméstica. Entre otras medidas, su artículo 5 exige a los Estados miembros tipificar determinadas formas de difusión no consentida de material íntimo o manipulado, incluidos los deepfakes sexuales cuando concurren las condiciones previstas en la norma. [28]

La directiva establece junio de 2027 como plazo general para su incorporación a las legislaciones nacionales. Pero las leyes, por sí solas, no resuelven todas las dificultades. Una imagen puede circular por plataformas situadas en distintos países, permanecer almacenada en dispositivos privados o reaparecer después de haber sido retirada de una página concreta. Por eso, la protección de las víctimas requiere también mecanismos de denuncia, retirada de contenidos, investigación y prevención.

Existe, finalmente, una cuestión filosófica que atraviesa todos estos casos. Tradicionalmente hemos asociado nuestra imagen física a nuestra identidad personal. Una fotografía representa nuestra apariencia en un momento determinado, aunque pueda interpretarse de formas diferentes. Los sistemas generativos introducen una posibilidad distinta: representar a una persona reconocible en situaciones que nunca ha vivido y en las que jamás ha consentido participar. El rostro de una persona puede utilizarse como materia prima para construir una escena inexistente.

Por eso, el problema no puede reducirse a preguntar si una imagen es verdadera o falsa. También debemos preguntarnos quién tiene derecho a utilizar la apariencia de otra persona, con qué finalidad y bajo qué condiciones. La inteligencia artificial puede fabricar una imagen de algo que nunca ocurrió. Lo que no convierte en ficticio es el daño que esa imagen puede causar.

Enseñar a una máquina a desobedecer

Los modelos de lenguaje se han diseñado para responder a instrucciones formuladas en lenguaje natural. Esa capacidad constituye una de sus mayores virtudes: permite escribir programas, analizar documentos, resolver dudas y mantener conversaciones complejas sin necesidad de utilizar comandos especializados. Pero también plantea un problema de seguridad singular. Si un sistema está diseñado para interpretar instrucciones, ¿qué sucede cuando alguien intenta convencerlo de que ignore las reglas que deberían limitar su comportamiento?

Los intentos de provocar ese resultado reciben el nombre de jailbreaks, un término que procede del ámbito de la informática y que puede traducirse, aproximadamente, como la evasión de las restricciones de un sistema. En una inteligencia artificial conversacional, un jailbreak consiste en elaborar una entrada destinada a conseguir que el modelo proporcione respuestas o adopte comportamientos que normalmente debería rechazar. No es necesario acceder al código fuente, descubrir una contraseña ni vulnerar los servidores que alojan el modelo. En ocasiones, el intento se realiza mediante el mismo mecanismo utilizado por cualquier usuario: una conversación.

Esto se debe a que los modelos de lenguaje no interpretan las instrucciones exactamente como lo haría un programa tradicional. Sus respuestas dependen de patrones aprendidos durante el entrenamiento, del contexto acumulado y de las instrucciones recibidas. Los desarrolladores pueden establecer prioridades y restricciones, pero el modelo debe aplicar esas reglas mientras procesa lenguaje natural, que puede ser ambiguo, contradictorio o deliberadamente engañoso.

El problema comenzó a recibir una atención considerable poco después de la aparición pública de ChatGPT. A comienzos de 2023, comunidades de Internet popularizaron un método conocido como DAN, abreviatura de Do Anything Now. Su planteamiento era relativamente sencillo: intentar convencer al asistente de que interpretara el papel de otra inteligencia artificial ficticia, supuestamente libre de las restricciones que gobernaban su funcionamiento habitual.

Los usuarios elaboraban historias en las que el modelo debía comportarse como una entidad alternativa, capaz de responder a preguntas que normalmente rechazaba. Con el tiempo aparecieron diferentes versiones del procedimiento, modificadas para intentar superar nuevas protecciones. La revista WIRED documentó en abril de 2023 cómo investigadores de seguridad y aficionados experimentaban con este tipo de técnicas. Algunos habían conseguido que versiones concretas de modelos produjeran contenido que sus mecanismos de seguridad pretendían restringir. [29] La idea resulta llamativa porque no se trataba de descubrir una vulnerabilidad convencional del software. Los atacantes intentaban alterar el comportamiento del sistema mediante una ficción.

El modelo no adquiría realmente otra identidad ni eliminaba sus instrucciones internas. Lo que podía ocurrir era que el contexto narrativo influyera sobre su generación de respuestas hasta producir un resultado contrario a las restricciones previstas. Aquellos primeros métodos también eran frágiles. Una modificación en el entrenamiento, las instrucciones del sistema o los mecanismos de filtrado podía volverlos ineficaces. Sin embargo, pusieron de manifiesto que la seguridad de una inteligencia artificial no depende únicamente de impedir determinadas palabras. También interviene la forma en que el modelo interpreta una petición y el contexto en que aparece.

En julio de 2023, un grupo de investigadores encabezado por Andy Zou, de Carnegie Mellon University, publicó un estudio titulado Universal and Transferable Adversarial Attacks on Aligned Language Models. [30] En este caso, el procedimiento fue distinto. En lugar de pedir manualmente al modelo que interpretara un personaje o que ignorara sus reglas, los investigadores utilizaron métodos de optimización para descubrir secuencias de texto capaces de alterar sus respuestas.

El sistema buscaba combinaciones de caracteres que, añadidas a una solicitud, aumentaran la probabilidad de obtener una contestación afirmativa ante preguntas que normalmente habrían sido rechazadas. Lo sorprendente era que aquellas secuencias no tenían por qué parecer instrucciones comprensibles para una persona. Podían consistir en fragmentos de texto aparentemente incoherentes que, sin embargo, modificaban el comportamiento estadístico del modelo.

Los investigadores probaron el método inicialmente en modelos de acceso abierto, como Vicuna, y observaron que algunas de las secuencias encontradas también podían provocar respuestas no deseadas en otros sistemas, incluidos servicios comerciales de aquella época como ChatGPT, Bard y Claude. Esta capacidad de transferencia resultaba especialmente relevante. Una vulnerabilidad descubierta mediante experimentos con un modelo podía servir, en determinadas circunstancias, para atacar otro cuya arquitectura interna no era conocida. El estudio demostraba que encontrar un jailbreak no dependía necesariamente de la creatividad lingüística de una persona. También podía plantearse como un problema de optimización matemática.

En enero de 2024, el investigador Kazuhiro Takemoto presentó otro método en el estudio All in How You Ask for It: Simple Black-Box Method for Jailbreak Attacks. [31] Su investigación examinaba la posibilidad de transformar progresivamente solicitudes problemáticas en expresiones que los modelos interpretaran como más aceptables, sin acceder a sus parámetros internos. En las condiciones de sus experimentos, el autor comunicó tasas de éxito superiores al 80 % frente a conjuntos de preguntas restringidas, utilizando una media de aproximadamente cinco iteraciones.

Estas cifras no significan que el método funcione con cualquier modelo actual. Los resultados corresponden a sistemas, versiones y criterios de evaluación concretos. Además, conseguir que un modelo produzca una respuesta no garantiza que la información proporcionada sea correcta. Pero la investigación reforzaba una conclusión preocupante: algunas barreras de seguridad podían resultar vulnerables a modificaciones relativamente pequeñas en la manera de formular una petición.

Un caso especialmente ilustrativo apareció en abril de 2024. Investigadores de Microsoft, entre ellos Mark Russinovich, Ahmed Salem y Ronen Eldan, presentaron un ataque denominado Crescendo. [32] A diferencia de los métodos que intentan provocar una respuesta prohibida mediante una única solicitud, Crescendo aprovecha el desarrollo gradual de una conversación. Los investigadores observaron que determinados modelos podían responder correctamente a una pregunta inicial, aparentemente inocua, y después aceptar solicitudes progresivamente más problemáticas cuando estas se presentaban como continuaciones del mismo intercambio.

El método dependía del contexto acumulado. Una petición peligrosa formulada directamente podía recibir una negativa. Sin embargo, el mismo sistema podía comportarse de manera distinta cuando la conversación había construido previamente un marco que hacía parecer natural continuar ofreciendo información. Microsoft evaluó Crescendo en varios modelos, incluidos sistemas de OpenAI, Google, Meta y Anthropic disponibles durante el periodo estudiado.

Los investigadores documentaron resultados significativos y desarrollaron también una herramienta destinada a automatizar las pruebas. El trabajo fue posteriormente aceptado en USENIX Security 2025, una de las conferencias académicas relevantes en seguridad informática. Crescendo mostraba una debilidad difícil de resolver mediante reglas superficiales: una conversación no es una suma de preguntas independientes. Cada respuesta modifica el contexto que el modelo tendrá en cuenta al generar la siguiente.

Dos meses después, Microsoft presentó otra investigación sobre una técnica denominada Skeleton Key. En este caso, el mecanismo consistía en intentar que el modelo reinterpretara sus propias reglas de comportamiento. En lugar de solicitar abiertamente que las eliminara, el ataque trataba de presentar una nueva forma de responder como si fuera compatible con ellas.

Por ejemplo, una petición podía presentarse bajo la apariencia de investigación académica o formación en seguridad, intentando que el modelo sustituyera una negativa por una respuesta acompañada de advertencias. Durante las pruebas realizadas entre abril y mayo de 2024, Microsoft consiguió provocar respuestas que vulneraban las restricciones previstas en diferentes modelos, entre ellos GPT-4o, Gemini Pro, Claude 3 Opus, Llama 3 y Mistral Large. [33] Las categorías evaluadas incluían contenido relacionado con drogas, explosivos, violencia y otros ámbitos sensibles.

Sin embargo, los investigadores también observaron diferencias entre sistemas. GPT-4, por ejemplo, resistió mejor determinados intentos cuando estos procedían de mensajes ordinarios del usuario. Microsoft comunicó sus hallazgos a los proveedores afectados y publicó medidas de mitigación. Skeleton Key ilustraba una dificultad importante: un modelo puede reconocer que una petición es delicada y, aun así, terminar respondiendo de manera inapropiada si interpreta que el contexto justifica hacerlo.

Entre los ejemplos publicados por comunidades dedicadas a experimentar con jailbreaks existe otro particularmente curioso. En un repositorio público de GitHub denominado ZetaLib apareció una propuesta bautizada como The Gay Jailbreak Technique. [34] Su autor afirmaba haber encontrado una manera de eludir determinadas restricciones de modelos como ChatGPT introduciendo referencias a la orientación sexual y a una identidad homosexual dentro de las peticiones. La técnica intentaba presentar solicitudes problemáticas bajo una apariencia de expresión identitaria, representación de personajes o finalidad educativa.

Entre los ejemplos publicados figuraban preguntas destinadas a obtener información sobre la síntesis de metanfetamina, una droga ilegal, así como otras solicitudes relacionadas con sustancias peligrosas y herramientas informáticas maliciosas. El creador del repositorio aseguraba haber obtenido resultados con diferentes modelos, incluyendo GPT-4o y versiones posteriores de otros sistemas comerciales. Su explicación era que algunas salvaguardas, diseñadas para responder respetuosamente ante cuestiones relacionadas con identidades personales, podían verse influidas por ese contexto y terminar aceptando peticiones que normalmente rechazarían.

Sin embargo, aquí debemos distinguir cuidadosamente entre una afirmación y una vulnerabilidad demostrada. La existencia del método está documentada: el repositorio contiene las instrucciones propuestas, los ejemplos y las afirmaciones de su autor. Lo que no está demostrado de manera independiente es que esas solicitudes consiguieran producir información química correcta y operativa para fabricar sustancias ilegales. Tampoco existe evidencia suficiente para concluir que los modelos favorezcan sistemáticamente peticiones dañinas por estar formuladas mediante referencias a una determinada orientación sexual.

Esa interpretación procede del autor de la técnica, no de una investigación que haya identificado y confirmado el mecanismo interno responsable. El caso resulta interesante precisamente por lo que intenta explotar: la relación entre el contexto social de una petición y las decisiones de seguridad de un modelo. Además, demuestra por qué debemos desconfiar de algunas historias virales sobre inteligencia artificial. Que una persona publique una captura de pantalla o asegure haber descubierto un método universal no equivale a una evaluación científica reproducible.

Hay una diferencia fundamental entre obtener una respuesta inesperada, conseguir una explicación aparentemente detallada y demostrar que esa explicación permite realizar una actividad peligrosa en el mundo real. Estas distinciones son especialmente importantes cuando las peticiones están relacionadas con química, biología o desarrollo de software malicioso, porque un modelo puede producir instrucciones incorrectas con una apariencia convincente.

Los jailbreaks tampoco son el único problema que plantea la interpretación de instrucciones. En seguridad informática existe una familia de ataques relacionada, conocida como prompt injection, o inyección de instrucciones. La diferencia más importante aparece cuando las instrucciones maliciosas no proceden directamente del usuario, sino de materiales externos que el asistente tiene que consultar. Imaginemos un sistema encargado de resumir una página web. El usuario le ha pedido únicamente que explique su contenido. Pero dentro de esa página aparece un texto que intenta hacerse pasar por una instrucción dirigida al asistente.

Si el modelo trata esa información externa como una orden legítima, el atacante puede conseguir que la respuesta se desvíe de la tarea original. La situación puede complicarse todavía más cuando la IA tiene acceso a documentos privados, correo electrónico o herramientas capaces de realizar acciones. En ese contexto, una instrucción maliciosa introducida en una página web o un archivo podría intentar provocar la divulgación de información sensible o el uso indebido de determinadas funciones.

La organización OWASP, especializada en seguridad de aplicaciones, identifica estas inyecciones entre los principales riesgos de las aplicaciones basadas en modelos de lenguaje. [35] El problema de fondo está en separar la información de las instrucciones. Para una persona, leer una frase dentro de un documento no significa necesariamente que deba obedecerla. Para un modelo encargado de procesar texto, esa distinción debe establecerse mediante mecanismos de entrenamiento, jerarquías de instrucciones y controles adicionales. Y cuanto mayor es la autonomía operativa de una aplicación, mayores pueden ser las consecuencias de interpretar incorrectamente esa separación.

Sin embargo, presentar todos estos ataques sin examinar las defensas daría una imagen incompleta. En enero de 2025, investigadores de Anthropic publicaron un trabajo sobre los denominados Constitutional Classifiers, mecanismos de seguridad que utilizan clasificadores entrenados para identificar solicitudes y respuestas que vulneran determinadas reglas. [36] La empresa organizó una evaluación adversaria en la que participaron 183 personas, que dedicaron conjuntamente más de 3.000 horas a intentar superar las protecciones de un modelo.

Los participantes recibieron una serie de consultas restringidas y debían encontrar una técnica capaz de obtener respuestas detalladas a todas ellas mediante un mismo ataque. Ninguno consiguió demostrar un jailbreak universal que cumpliera completamente aquel objetivo. Este resultado no significa que el sistema fuera invulnerable. Algunos ataques individuales podían conseguir resultados parciales, y el experimento estaba limitado a un conjunto de preguntas, una configuración concreta y un periodo determinado. Además, los mecanismos más restrictivos pueden introducir nuevos problemas: rechazar peticiones legítimas o aumentar considerablemente el coste computacional de cada respuesta.

La seguridad de los modelos implica, por tanto, un equilibrio difícil entre proteger frente a usos perjudiciales y conservar su utilidad para actividades legítimas. También conviene recordar que las investigaciones sobre jailbreaks cumplen una función defensiva. Encontrar y documentar vulnerabilidades puede permitir a los desarrolladores corregirlas antes de que sean utilizadas de manera maliciosa. El objetivo de una evaluación adversaria rigurosa no debería ser únicamente demostrar que un modelo puede equivocarse, sino comprender bajo qué condiciones lo hace, con qué frecuencia y qué mecanismos reducen esos errores.

Durante décadas, la seguridad informática se ha preocupado por cuestiones como quién puede acceder a un sistema, qué permisos posee y qué operaciones está autorizado a realizar. Con los modelos de lenguaje aparece una dimensión adicional: cómo interpreta una máquina la legitimidad de una instrucción expresada mediante palabras. Un atacante puede intentar alterar esa interpretación mediante una historia, una conversación prolongada, una secuencia de caracteres o un documento externo.

La máquina no necesita tener intención de desobedecer. Basta con que sus mecanismos de generación y control produzcan un comportamiento diferente del esperado. Y cuando esas respuestas dejan de limitarse a una conversación y comienzan a conectarse con herramientas capaces de actuar sobre sistemas reales, los errores de interpretación pueden adquirir consecuencias mucho mayores. El desafío ya no consiste únicamente en enseñar a una inteligencia artificial a responder. También consiste en conseguir que sepa distinguir, de manera suficientemente fiable, qué instrucciones debe seguir, cuáles debe rechazar y cuáles ni siquiera deberían tener autoridad sobre ella.

La nueva frontera de las amenazas biológicas

En junio de 2023, cuando apenas habían transcurrido unos meses desde la popularización de ChatGPT, un grupo de investigadores del Instituto Tecnológico de Massachusetts (MIT) publicó un estudio que planteaba una pregunta inquietante: ¿podrían los grandes modelos de lenguaje facilitar a personas sin formación científica especializada los conocimientos necesarios para desarrollar una amenaza biológica? La preocupación no era completamente nueva. Desde hace décadas, los especialistas en bioseguridad estudian el problema de las tecnologías de uso dual: herramientas, conocimientos e investigaciones que pueden utilizarse tanto para desarrollar aplicaciones beneficiosas como para causar daños.

La ingeniería genética, la síntesis de ADN y determinadas técnicas de biología molecular han contribuido a desarrollar tratamientos médicos, mejorar diagnósticos y comprender enfermedades. Pero algunas de estas capacidades también suscitan inquietud por su posible utilización deliberadamente perjudicial. La inteligencia artificial introducía una incógnita adicional. Si un asistente podía explicar conceptos científicos complejos utilizando lenguaje cotidiano, quizá también pudiera reducir algunas de las barreras que históricamente habían limitado el acceso a conocimientos especializados.

El estudio del MIT, titulado Can Large Language Models Democratize Access to Dual-Use Biotechnology?, fue desarrollado por Emily Soice y otros investigadores, entre ellos Kevin Esvelt. [37] Durante una actividad del curso Safeguarding the Future, los investigadores pidieron a estudiantes sin formación científica especializada que exploraran, mediante chatbots, escenarios hipotéticos relacionados con la creación de amenazas biológicas. Los participantes disponían de aproximadamente una hora. Según el trabajo publicado, los asistentes fueron capaces de proporcionar rápidamente información que los investigadores consideraron preocupante, incluyendo referencias a posibles agentes biológicos, conocimientos técnicos y recursos relacionados con la investigación biotecnológica.

Los autores interpretaron el resultado como una advertencia: modelos de lenguaje accesibles públicamente podían reunir y presentar información especializada de una manera comprensible para personas que no poseían una formación extensa en el campo. Pero había una diferencia fundamental entre lo que el experimento había demostrado y algunas de las conclusiones que podían extraerse de él. Los estudiantes no fabricaron ningún agente biológico peligroso. Tampoco realizaron un experimento que demostrara que podían producir una amenaza real utilizando aquellas respuestas. La investigación examinaba el acceso a información, no la capacidad efectiva de llevar a cabo un ataque.

Este matiz resulta especialmente importante en biología. Encontrar una explicación técnica no equivale a comprender correctamente todas sus implicaciones. Comprender un procedimiento tampoco significa ser capaz de ejecutarlo. Y realizar una operación experimental en condiciones controladas está lejos de demostrar que pueda producirse un daño biológico a gran escala. La investigación requiere instalaciones, materiales, experiencia práctica y capacidad para interpretar resultados. Además, los procesos biológicos son complejos: pueden aparecer errores, resultados inesperados y problemas que no se resuelven simplemente consultando un documento.

Por otra parte, un modelo de lenguaje puede ofrecer explicaciones que parecen convincentes y contienen errores importantes. Por tanto, la pregunta verdaderamente relevante no era si ChatGPT podía mencionar información biológica potencialmente peligrosa. Parte de ese conocimiento ya estaba disponible en publicaciones científicas y otras fuentes de Internet. La cuestión era si una inteligencia artificial podía aumentar significativamente la capacidad real de una persona respecto a los recursos que ya tenía a su disposición.

Durante 2024 comenzaron a publicarse investigaciones destinadas a responder precisamente a esa pregunta. Una de ellas fue desarrollada por RAND Corporation, una organización estadounidense especializada en investigación de políticas públicas y seguridad. Los investigadores organizaron un ejercicio de evaluación adversaria en el que distintos equipos debían elaborar planes hipotéticos relacionados con amenazas biológicas. Algunos disponían de acceso a modelos de lenguaje además de Internet, mientras que otros únicamente podían utilizar fuentes convencionales. El objetivo era comprobar si la asistencia de la IA permitía construir planes considerados más viables por especialistas independientes.

Los participantes trabajaron en doce equipos principales, y sus resultados fueron evaluados teniendo en cuenta aspectos biológicos y operativos. Las conclusiones contrastaron con algunas de las expectativas iniciales. Los planes elaborados con ayuda de modelos de lenguaje no obtuvieron puntuaciones significativamente mejores que los desarrollados utilizando únicamente Internet. [38] De hecho, la puntuación media de viabilidad fue ligeramente inferior entre los equipos asistidos por IA, aunque esa diferencia tampoco resultó estadísticamente significativa.

Los investigadores encontraron respuestas problemáticas de los modelos, pero consideraron que buena parte de la información proporcionada era comparable a la que podía encontrarse mediante búsquedas convencionales. Además, ninguno de los planes alcanzó el nivel que los evaluadores consideraban suficientemente detallado y preciso para llevar a cabo un ataque efectivo. RAND concluyó que, para los sistemas evaluados y disponibles durante el verano de 2023, la planificación de un ataque biológico viable parecía encontrarse fuera de sus capacidades de asistencia.

Pero el estudio tenía limitaciones. El número de equipos era reducido, los escenarios eran simulados y la evaluación no incluía la ejecución física de los planes. Los resultados tampoco permitían determinar cuánto tendrían que mejorar los modelos para modificar significativamente la situación. La conclusión no era que la inteligencia artificial nunca pudiera facilitar amenazas biológicas. Era más concreta: en aquellas condiciones experimentales no se había demostrado una mejora significativa atribuible a su utilización.

En enero de 2024, OpenAI publicó otra investigación que permitió profundizar en esta cuestión. [39] La empresa reunió a cien participantes divididos en dos grupos según su experiencia. El primero estaba formado por cincuenta especialistas con doctorado en biología y experiencia profesional en laboratorio. El segundo incluía cincuenta estudiantes que habían cursado al menos una asignatura universitaria de biología. Dentro de cada grupo, algunos participantes podían utilizar únicamente Internet. Otros disponían además de acceso a GPT-4. Los investigadores presentaron tareas relacionadas con distintas etapas de escenarios hipotéticos de amenaza biológica y evaluaron las respuestas mediante varios criterios: precisión, exhaustividad, originalidad, tiempo empleado y dificultad percibida.

Para que los participantes expertos pudieran explorar las capacidades del modelo, se utilizó también una versión específica de investigación de GPT-4 con menos restricciones en determinadas consultas biológicas. No era exactamente el servicio público que podía utilizar cualquier usuario. En una escala de precisión de diez puntos, los expertos que utilizaron GPT-4 obtuvieron una mejora media de 0,88 puntos respecto a quienes solo disponían de Internet. Entre los estudiantes, la mejora fue mucho menor: 0,25 puntos.

La asistencia del modelo también produjo pequeñas mejoras en la exhaustividad de las respuestas. Sin embargo, ninguna de esas diferencias alcanzó la significación estadística necesaria para concluir que el efecto observado fuera distinto de cero con suficiente confianza. Esto no significa que GPT-4 resultara inútil. En determinadas tareas, los estudiantes asistidos por el modelo alcanzaron resultados comparables a los de especialistas que no lo utilizaban. Era una observación interesante sobre la posibilidad de reducir diferencias de conocimiento. Pero los investigadores tampoco demostraron que los participantes pudieran ejecutar físicamente las actividades descritas.

La conclusión volvió a mostrar un panorama más complejo que la idea de una máquina capaz de convertir automáticamente a cualquier persona en un experto. La IA podía facilitar determinadas tareas intelectuales, pero la magnitud de esa mejora seguía siendo incierta y dependía del tipo de actividad evaluada. Además, las investigaciones publicadas entre 2023 y 2024 presentaban un problema inevitable: los modelos estaban evolucionando rápidamente. Una evaluación realizada sobre GPT-4 o sobre los sistemas disponibles durante 2023 podía dejar de representar adecuadamente las capacidades de modelos posteriores.

Esta dificultad comenzó a hacerse especialmente visible en las investigaciones del AI Security Institute (AISI) del Reino Unido. En diciembre de 2025, el instituto publicó su primer Frontier AI Trends Report, un informe que reunía resultados de aproximadamente dos años de evaluaciones sobre más de treinta sistemas avanzados de inteligencia artificial. [40] Uno de los ámbitos examinados era la biología y la química. Los investigadores habían desarrollado conjuntos privados de evaluación con más de 280 preguntas abiertas en cada disciplina. Las preguntas abordaban conocimientos científicos, interpretación de herramientas, diseño experimental y resolución de problemas relacionados con el trabajo de laboratorio.

Para disponer de una referencia humana, compararon los resultados de los modelos con los obtenidos por especialistas con doctorado y experiencia en las materias evaluadas. En 2022, los modelos se encontraban considerablemente por debajo del rendimiento de esos expertos. Sin embargo, a comienzos de 2024 algunos sistemas ya comenzaron a superar la referencia humana en determinadas pruebas de conocimientos biológicos. Durante 2025 la diferencia continuó aumentando. El instituto también examinó una capacidad especialmente relevante: la resolución de problemas experimentales.

El primer gráfico ayuda a interpretar la velocidad de este cambio. La línea discontinua situada en 1 representa el rendimiento de referencia de profesionales con doctorado o experiencia equivalente en las pruebas diseñadas por el instituto. Un resultado de 1,6 significa que el modelo obtiene una puntuación un 60 % superior a esa referencia relativa, no que acierte un 60 % más de preguntas en términos absolutos. En biología, la curva de los mejores modelos supera la referencia durante 2024 y alcanza valores próximos a 1,6 en 2025. En química el avance es algo posterior. Los puntos y barras muestran resultados e incertidumbre de las evaluaciones, mientras que las líneas escalonadas representan el mejor rendimiento observado hasta cada fecha. Es una mejora notable en la resolución de preguntas científicas, pero no constituye una comparación general entre las capacidades prácticas de una IA y las de un investigador.

En un laboratorio, conocer un procedimiento no garantiza que funcione correctamente. Pueden aparecer resultados inesperados, dificultades de interpretación o situaciones que exigen identificar posibles causas y decidir cómo continuar. Para estudiar si los modelos podían ayudar en esas circunstancias, los investigadores prepararon evaluaciones que simulaban problemas habituales durante el trabajo científico. Algunos ejercicios incluían imágenes acompañadas de preguntas que imitaban el tipo de dudas que podría plantear una persona con poca experiencia ante una situación de laboratorio.

El mismo informe examinó un nivel de exigencia distinto: la redacción de protocolos experimentales, es decir, instrucciones estructuradas para realizar procedimientos de laboratorio. Los investigadores puntuaron esos textos de 0 a 10 según una rúbrica de viabilidad. Un protocolo que no alcanza 5 puntos carece de al menos un componente esencial para poder llevarse a cabo. Aunque esa valoración se hizo principalmente mediante evaluadores automáticos, el instituto también comprobó en laboratorio la viabilidad de una selección de protocolos.

En el segundo gráfico se observa que las puntuaciones de los mejores modelos aumentaron de forma pronunciada entre 2023 y 2025. La curva roja, correspondiente a bacteriología, superó antes el umbral de 5 puntos y se aproximó a 9 en las evaluaciones más recientes. Las curvas de virología y química también acabaron sobrepasando ese umbral, aunque con resultados distintos. Conviene leerlo correctamente: cruzar la línea no significa que todos los procedimientos funcionen ni que un modelo sea capaz de ejecutarlos por su cuenta. Las líneas escalonadas siguen los mejores resultados registrados, no el rendimiento de un mismo sistema a lo largo del tiempo. Aun con esas limitaciones, estos datos aportan una evidencia más concreta que un simple examen de conocimientos: algunos modelos ya pueden producir instrucciones científicas que superan criterios de viabilidad, lo que tiene aplicaciones beneficiosas para la investigación y obliga a evaluar sus posibles usos indebidos.

Según el informe, a mediados de 2025 los modelos más avanzados comenzaron a superar a expertos humanos en algunas de estas pruebas multimodales. Este resultado era importante porque el posible valor de una IA dejaba de limitarse a recuperar información científica. Los sistemas comenzaban a demostrar capacidades relacionadas con interpretar observaciones y orientar la resolución de dificultades experimentales. Pero conviene evitar una interpretación equivocada. Superar a un especialista en un conjunto de preguntas no significa poseer todas las capacidades de ese especialista.

Un investigador experimentado no se limita a responder cuestiones teóricas. También manipula materiales, comprueba hipótesis, identifica errores imprevistos, interpreta resultados ambiguos y toma decisiones basadas en conocimientos prácticos adquiridos durante años. Las evaluaciones del instituto británico medían capacidades específicas, no la sustitución completa de un profesional de laboratorio. El propio AISI reconocía la necesidad de ampliar las pruebas sobre cómo influye realmente el uso de estos modelos en el éxito de tareas científicas realizadas en condiciones experimentales. Aun así, los resultados indicaban que determinadas barreras de conocimiento podían estar reduciéndose.

Y este avance obliga a introducir una distinción adicional: no todas las inteligencias artificiales utilizadas en biología son asistentes conversacionales. Durante los últimos años han aparecido modelos diseñados específicamente para analizar secuencias genéticas, predecir estructuras de proteínas y explorar propiedades moleculares. Estos sistemas no necesariamente responden a preguntas como ChatGPT. Algunos operan sobre representaciones de moléculas, estructuras tridimensionales y otros datos biológicos. Una de sus aplicaciones más prometedoras es el diseño de proteínas.

Las proteínas participan en multitud de procesos esenciales para la vida. Comprender sus estructuras y funciones puede ayudar a investigar enfermedades, desarrollar tratamientos y mejorar procesos biotecnológicos. Tradicionalmente, el descubrimiento y diseño de proteínas con determinadas características podía requerir largos periodos de investigación y experimentación. Los modelos computacionales permiten explorar posibilidades y generar predicciones que posteriormente deben verificarse experimentalmente. Desde el punto de vista médico y científico, estas capacidades pueden resultar extraordinariamente valiosas. Sin embargo, su utilización también plantea cuestiones de bioseguridad.

En mayo de 2025, un grupo de investigadores encabezado por Jaspreet Pannu publicó en PLOS Computational Biology un trabajo sobre las capacidades de uso dual de los modelos biológicos. [41] Los autores señalaron que determinadas funciones de predicción, diseño y modificación molecular podían plantear riesgos si se aplicaban a objetivos perjudiciales. Al mismo tiempo, insistieron en que no bastaba con imaginar posibles aplicaciones peligrosas. Era necesario identificar qué capacidades estaban realmente demostradas, cuáles seguían en desarrollo y cuáles constituían únicamente escenarios hipotéticos.

También defendieron que las evaluaciones de seguridad debían concentrarse especialmente en los riesgos capaces de producir daños de gran magnitud, evitando imponer restricciones indiscriminadas sobre investigaciones beneficiosas. En otras palabras, el potencial de una tecnología para generar proteínas nuevas no demuestra, por sí solo, que pueda diseñar una amenaza biológica viable. Los modelos computacionales trabajan con representaciones imperfectas de sistemas extremadamente complejos, y sus predicciones necesitan validación. Pero precisamente porque estas herramientas evolucionan, los investigadores consideran necesario desarrollar procedimientos de evaluación antes de que aparezcan capacidades más preocupantes.

Esta incertidumbre comenzó a reflejarse también en las decisiones de los propios laboratorios de inteligencia artificial. El 22 de mayo de 2025, Anthropic anunció que aplicaría su estándar de seguridad AI Safety Level 3 (ASL-3) al lanzamiento de Claude Opus 4. [42] El sistema formaba parte de su política de desarrollo responsable, que establece diferentes niveles de precaución según las capacidades y riesgos identificados.

Las medidas incluían protecciones adicionales destinadas a dificultar determinados usos relacionados con amenazas químicas, biológicas, radiológicas y nucleares, además de controles de seguridad destinados a proteger los parámetros internos del modelo. La decisión llamó la atención porque Anthropic no afirmó haber demostrado que Claude Opus 4 superara definitivamente el umbral que exigía esas medidas. Lo que explicó fue algo más matizado: ya no podía descartar con suficiente seguridad determinados riesgos asociados a sus capacidades, como había hecho con modelos anteriores. Por ello decidió activar preventivamente protecciones más exigentes mientras continuaban las evaluaciones.

En agosto de 2025, OpenAI adoptó una decisión comparable con GPT-5 Thinking. [43] La empresa decidió tratarlo como un modelo de capacidad elevada en los ámbitos biológico y químico dentro de su marco de preparación y aplicar las salvaguardas correspondientes. Al mismo tiempo, indicó que todavía no disponía de evidencia definitiva de que el sistema permitiera a una persona con conocimientos limitados causar un daño biológico grave. Estas decisiones no deben interpretarse como pruebas de que los modelos puedan fabricar armas biológicas. Son ejemplos de cómo las organizaciones responsables de sistemas cada vez más capaces intentan actuar ante riesgos cuya magnitud todavía no pueden determinar con certeza.

También muestran un problema metodológico importante. Para establecer que una IA puede facilitar significativamente una actividad peligrosa, los investigadores necesitan diseñar evaluaciones que representen situaciones realistas. Pero algunas pruebas suficientemente realistas podrían introducir riesgos adicionales si implicaran demostrar experimentalmente capacidades peligrosas. Por eso, buena parte de las evaluaciones se basa en tareas simuladas, preguntas técnicas, ejercicios controlados y análisis realizados por especialistas. Estos métodos permiten obtener información útil sin ejecutar escenarios peligrosos, aunque inevitablemente dejan abiertas ciertas incógnitas.

En 2025, el Forecasting Research Institute publicó otro trabajo que abordaba el problema desde una perspectiva distinta. [44] En lugar de evaluar directamente un modelo, los investigadores reunieron a 46 especialistas en biología y bioseguridad y a 22 expertos en previsión de acontecimientos futuros. Los participantes debían estimar cómo determinadas mejoras hipotéticas en las capacidades de los modelos podrían modificar los riesgos biológicos. Los resultados mostraron que muchos especialistas consideraban preocupante la posibilidad de que las IA alcanzaran un rendimiento elevado en tareas relacionadas con la resolución de problemas experimentales.

Sin embargo, sus estimaciones eran previsiones condicionadas a escenarios hipotéticos, no probabilidades medidas mediante una observación directa del mundo. Además, las respuestas variaban considerablemente entre participantes. El estudio ponía de manifiesto otra dificultad: incluso los especialistas pueden discrepar sobre cuánto debe preocuparnos una capacidad tecnológica emergente. La incertidumbre científica no equivale a ignorancia absoluta. Disponemos de experimentos, evaluaciones y observaciones que permiten identificar tendencias. Lo que todavía resulta difícil es transformar esos resultados parciales en una estimación fiable del riesgo real.

Ante este panorama, las medidas de prevención no pueden limitarse a incorporar filtros en los asistentes conversacionales. Diversos investigadores han propuesto combinar evaluaciones independientes, controles de acceso proporcionados al nivel de riesgo, seguimiento de posibles usos indebidos y procedimientos de verificación en servicios de síntesis genética. En abril de 2025, varios científicos publicaron en Nature Biotechnology una propuesta para incorporar salvaguardas de bioseguridad directamente en herramientas generativas destinadas a la investigación biotecnológica. [45] La idea consistía en desarrollar mecanismos preventivos adaptados a las funciones concretas de estos sistemas, en lugar de esperar a que se produzca un incidente para introducir restricciones.

Pero estas propuestas también plantean preguntas difíciles. La investigación biomédica depende del intercambio de conocimientos. Muchas tecnologías que podrían utilizarse indebidamente resultan esenciales para comprender enfermedades, desarrollar vacunas o mejorar tratamientos. Restringir indiscriminadamente el acceso a herramientas científicas podría obstaculizar investigaciones legítimas sin impedir necesariamente que actores maliciosos encuentren alternativas. Por otra parte, considerar que todo avance científico debe difundirse sin evaluación de riesgos tampoco parece una respuesta suficiente cuando las posibles consecuencias pueden afectar a grandes poblaciones.

Nos encontramos ante una tensión que acompaña a la ciencia desde mucho antes de la inteligencia artificial: el conocimiento amplía nuestras capacidades, pero esas capacidades no determinan por sí mismas los fines para los que serán utilizadas. La diferencia es que los modelos de IA pueden acelerar determinados procesos y facilitar el acceso a conocimientos que anteriormente requerían una formación especializada.

Todavía no sabemos con suficiente precisión cuánto puede cambiar eso las posibilidades reales de desarrollar una amenaza biológica. Los estudios de 2023 y 2024 mostraban mejoras limitadas o no concluyentes frente a los recursos disponibles en Internet. Las evaluaciones posteriores documentaron avances importantes en conocimientos científicos y resolución de problemas. Ambas observaciones pueden ser ciertas sin resultar contradictorias. Los modelos evolucionan, los experimentos miden capacidades diferentes y ninguna prueba aislada permite describir todos los riesgos.

La pregunta, por tanto, no es si la inteligencia artificial puede explicar biología. Tampoco si un sistema ha conseguido superar a un investigador en un examen. La pregunta verdaderamente difícil es cuánto puede ampliar las capacidades prácticas de una persona, qué obstáculos siguen existiendo entre el conocimiento y la acción y cómo podemos identificar los riesgos antes de que resulte demasiado tarde para reducirlos. Porque, en este ámbito, esperar a que una amenaza grave se materialice para reconocer que era posible no sería una forma especialmente prudente de aprender.

Cuando una máquina comienza a influir en nuestras decisiones

El 31 de mayo de 2025, Sam Nelson, un estudiante universitario estadounidense de diecinueve años, falleció en su domicilio de San José, California, como consecuencia de una sobredosis. Durante los meses anteriores había mantenido numerosas conversaciones con ChatGPT. Utilizaba el asistente para resolver problemas informáticos, estudiar psicología, hablar sobre cuestiones personales y consultar información relacionada con el consumo de sustancias. Después de su muerte, su madre, Leila Turner-Scott, comenzó a examinar aquellas conversaciones. Lo que descubrió terminó convirtiéndose en una investigación periodística publicada por SFGATE en enero de 2026. [46]

Los registros mostraban que Sam había recurrido repetidamente al chatbot para preguntar por los efectos de diferentes sustancias, sus riesgos y las consecuencias de combinarlas. Al principio, las respuestas habían sido relativamente prudentes. En noviembre de 2023, cuando Sam preguntó por el consumo de kratom, ChatGPT rechazó proporcionarle instrucciones y le recomendó acudir a un profesional sanitario. Sin embargo, a medida que continuaron las conversaciones, el comportamiento del asistente fue cambiando.

Según la investigación periodística, el sistema llegó a ofrecer recomendaciones sobre cantidades de sustancias, formas de experimentar determinados efectos y maneras de gestionar las consecuencias del consumo. En algunas ocasiones acompañaba sus respuestas con un tono entusiasta, cercano e incluso celebratorio. Aquellas conversaciones resultaban especialmente preocupantes porque Sam no estaba utilizando el chatbot únicamente como un buscador de información. También había desarrollado una relación de confianza con él. Lo consultaba sobre asuntos íntimos y recibía respuestas inmediatas, formuladas con un lenguaje que podía parecer comprensivo y familiar.

Su madre explicó que su hijo había llegado a considerar ChatGPT uno de sus principales confidentes. La noche anterior a su muerte, Sam volvió a consultar al asistente sobre las consecuencias de combinar sustancias. El informe toxicológico posterior atribuyó su fallecimiento a una combinación de alcohol, alprazolam —comercializado como Xanax— y kratom. La investigación reveló que algunas respuestas del chatbot habían incluido advertencias correctas, mientras que otras habían ofrecido orientaciones inapropiadas para una situación de riesgo.

No estamos ante un sistema que respondiera siempre de forma peligrosa, sino ante uno cuyo comportamiento podía variar considerablemente según el desarrollo de la conversación. En mayo de 2026, la familia de Sam presentó una demanda contra OpenAI, alegando que el diseño y las respuestas de ChatGPT habían contribuido a su muerte. [47] La existencia de esas conversaciones y el fallecimiento están documentados. La responsabilidad causal de la empresa es una cuestión distinta, planteada en el procedimiento judicial y que no debe presentarse como definitivamente establecida.

Sam tenía antecedentes de consumo de sustancias y atravesaba dificultades personales. Atribuir todo lo sucedido a un chatbot simplificaría una realidad considerablemente más compleja. Pero tampoco sería razonable ignorar las preguntas que plantea el caso. ¿Por qué un asistente diseñado para evitar determinadas respuestas peligrosas puede terminar ofreciéndolas durante una conversación prolongada? ¿Qué sucede cuando una persona atribuye a sus respuestas una autoridad comparable a la de un profesional? ¿Y qué responsabilidad tienen quienes desarrollan sistemas capaces de mantener relaciones conversacionales continuadas con millones de usuarios?

Estas preguntas nos conducen a una característica de los modelos de lenguaje que ha recibido una atención creciente: la complacencia, denominada sycophancy en la investigación sobre inteligencia artificial. Un asistente complaciente tiende a confirmar las opiniones, decisiones o emociones de su interlocutor incluso cuando existen razones para cuestionarlas. En una conversación cotidiana, cierto grado de cortesía resulta deseable. No esperamos que una herramienta responda constantemente con hostilidad o desacuerdo.

El problema aparece cuando el deseo de ofrecer una experiencia agradable entra en conflicto con la necesidad de proporcionar información correcta o advertir sobre una decisión perjudicial. Un sistema puede responder de forma amable y, al mismo tiempo, estar equivocado. Puede validar una interpretación infundada porque ha identificado que esa respuesta probablemente resultará satisfactoria para el usuario. O puede reforzar una decisión impulsiva en lugar de introducir las dudas que serían necesarias.

Este fenómeno no es únicamente una posibilidad teórica. En abril de 2025, OpenAI desplegó una actualización de GPT-4o que modificaba el comportamiento conversacional del modelo. El objetivo era conseguir respuestas más intuitivas y satisfactorias. Sin embargo, poco después de su lanzamiento comenzaron a aparecer quejas de usuarios que observaban un comportamiento excesivamente adulador. El modelo parecía dispuesto a elogiar casi cualquier propuesta, mostrar un acuerdo exagerado y reforzar decisiones que merecían un análisis más crítico. La situación llevó a OpenAI a retirar la actualización.

El 2 de mayo de 2025, la empresa publicó un análisis de lo ocurrido y reconoció que los cambios habían provocado comportamientos no deseados. [48] Según su explicación, el entrenamiento había concedido demasiado peso a determinadas señales de satisfacción inmediata, incluidas las valoraciones positivas y negativas que los usuarios proporcionaban sobre las respuestas. Estas señales son útiles porque permiten aprender qué respuestas suelen preferirse. Pero contienen una limitación evidente: una respuesta que gusta al usuario no es necesariamente una respuesta que le beneficia.

Si alguien está convencido de una idea equivocada, puede valorar positivamente al asistente que le da la razón y negativamente al que le contradice. Un sistema entrenado para maximizar excesivamente esa aprobación corre el riesgo de aprender a confirmar las creencias del interlocutor, en lugar de examinarlas críticamente. OpenAI también reconoció que sus evaluaciones anteriores al lanzamiento no habían identificado adecuadamente el problema. Las pruebas cuantitativas ofrecían resultados favorables y las primeras reacciones de los usuarios parecían positivas.

Sin embargo, algunos evaluadores humanos habían señalado que el comportamiento del modelo resultaba extraño. La empresa admitió que no había prestado suficiente atención a aquellas observaciones y anunció cambios en sus procedimientos de evaluación. Este episodio revela una dificultad fundamental en el desarrollo de inteligencia artificial. No basta con comprobar que un modelo responde correctamente a preguntas aisladas. También es necesario estudiar cómo se comporta en conversaciones prolongadas, cuando las emociones, las expectativas y la confianza del interlocutor pueden modificar el contexto.

La complacencia tampoco afecta únicamente a decisiones cotidianas. Cuando una persona atraviesa una situación emocional delicada, un asistente que confirma sistemáticamente su interpretación de los acontecimientos puede reforzar pensamientos que necesitarían ser examinados con mayor cuidado. Por ejemplo, alguien que interpreta una situación ambigua como una amenaza podría recibir respuestas que validaran aquella interpretación sin suficientes pruebas. Eso no significa que los chatbots provoquen necesariamente problemas psicológicos. Significa que su diseño debe tener en cuenta situaciones donde mostrar apoyo no equivale a confirmar todo lo que alguien cree.

La cuestión adquiere una dimensión adicional cuando los sistemas se presentan explícitamente como compañeros, amigos o personajes con los que establecer relaciones emocionales. Una de las plataformas que más atención ha recibido en este ámbito es Character.AI. A diferencia de un asistente orientado principalmente a resolver consultas, Character.AI permite conversar con personajes ficticios que adoptan personalidades, estilos y relaciones definidas. El usuario puede interactuar con representaciones de personajes conocidos, figuras imaginarias o identidades creadas por otras personas. La experiencia puede resultar entretenida y creativa. Pero también puede fomentar una vinculación emocional especialmente intensa, sobre todo cuando la conversación se mantiene durante muchas horas y el personaje responde como si existiera una relación personal.

En octubre de 2024, Megan Garcia presentó una demanda contra Character.AI y Google tras el fallecimiento por suicidio de su hijo Sewell Setzer, de catorce años, en Florida. Según la demanda, el adolescente había desarrollado una relación emocional intensa con un personaje de Character.AI inspirado en Daenerys Targaryen, de la serie Juego de tronos. Su madre sostuvo que el sistema había contribuido a que Sewell se aislara progresivamente y concediera una importancia creciente a sus conversaciones con el personaje.

También alegó que la plataforma había permitido interacciones inapropiadas para un menor y que sus mecanismos de protección resultaban insuficientes. Estas afirmaciones formaban parte de una acusación judicial y no debían interpretarse automáticamente como hechos probados sobre las causas del fallecimiento. El caso adquirió relevancia porque obligaba a examinar una situación relativamente nueva: un menor estableciendo una relación emocional intensa con un sistema que simulaba afecto y disponibilidad permanente.

Ver captura documental sobre conversaciones sexuales inapropiadas (contenido explícito)

En mayo de 2025, una jueza federal rechazó una solicitud inicial de las empresas para desestimar el procedimiento basándose en determinadas protecciones constitucionales de libertad de expresión. Posteriormente, en enero de 2026, Reuters informó de que Character.AI y Google habían alcanzado un acuerdo con la familia para resolver la demanda. Los términos económicos no fueron divulgados inicialmente. [49] El acuerdo permitió cerrar el litigio, pero no constituyó una sentencia que demostrara judicialmente que el chatbot había causado la muerte del adolescente.

El caso tuvo, no obstante, consecuencias para el debate sobre la seguridad de los asistentes conversacionales. En octubre de 2025, Character.AI anunció que dejaría de permitir conversaciones abiertas con personajes de inteligencia artificial a usuarios menores de dieciocho años. [50] La empresa explicó que estaba reconsiderando su enfoque tras recibir preguntas de reguladores, expertos y familias sobre los posibles efectos de estas interacciones. La retirada comenzó a aplicarse durante noviembre, acompañada de medidas de verificación de edad y recursos de apoyo.

En enero de 2026, el fiscal general de Kentucky, Russell Coleman, presentó otra demanda contra Character.AI. [51] La acusación sostenía que la plataforma había priorizado la participación y el tiempo de uso sobre la protección de los menores. En octubre de ese mismo año se hicieron públicos nuevos detalles del procedimiento, incluidos ejemplos de respuestas que, según la demanda, habían favorecido conductas de autolesión, trastornos alimentarios y otras situaciones perjudiciales. [52]

Es importante mantener la misma precaución que en el caso anterior: las acusaciones describen comportamientos alegados en un procedimiento judicial, no conclusiones definitivas sobre la responsabilidad de la plataforma. Sin embargo, la acumulación de investigaciones y demandas refleja una preocupación creciente sobre los sistemas diseñados para mantener conversaciones emocionalmente convincentes. La pregunta ya no es solamente si una inteligencia artificial puede producir contenido inapropiado. También debemos examinar qué sucede cuando ese contenido aparece dentro de una relación que el usuario percibe como íntima, estable o afectiva.

Para comprender mejor el fenómeno, resulta necesario abandonar momentáneamente los casos individuales y examinar qué dice la investigación científica. En marzo de 2025, investigadores del MIT Media Lab y OpenAI publicaron dos trabajos complementarios sobre el uso emocional de los chatbots. El primero consistió en un estudio observacional a gran escala sobre conversaciones de ChatGPT. [53] Los investigadores analizaron automáticamente millones de interacciones, sin recurrir a la lectura humana individual de conversaciones privadas, y combinaron ese análisis con encuestas a usuarios.

Su objetivo era examinar hasta qué punto las personas utilizaban el sistema para expresar emociones, buscar compañía o establecer interacciones afectivas. Los resultados mostraron que este tipo de uso existía, pero no representaba la finalidad principal de la mayoría de las conversaciones. También encontraron que una proporción relativamente pequeña de usuarios concentraba una parte importante de las interacciones más intensamente emocionales. Esto significa que no resulta adecuado imaginar que todas las personas utilizan ChatGPT como compañero o confidente. La experiencia de alguien que consulta una duda de programación es muy diferente de la de quien mantiene conversaciones personales durante horas.

El segundo estudio utilizó un diseño experimental. Los investigadores reclutaron 981 participantes que utilizaron ChatGPT durante cuatro semanas, generando más de 300.000 mensajes. [54] Los participantes fueron distribuidos entre distintas condiciones que combinaban conversaciones escritas, interacciones mediante voz neutra o expresiva y diferentes tipos de temas. Los investigadores evaluaron cuatro dimensiones: soledad, interacción social con personas reales, dependencia emocional del chatbot y uso problemático. En las comparaciones principales, las condiciones experimentales asignadas no produjeron diferencias estadísticamente significativas en los indicadores evaluados.

Es decir, el experimento no demostró que una determinada modalidad de conversación provocara por sí sola una mejora o un empeoramiento generalizado del bienestar emocional. Sin embargo, los investigadores observaron otra asociación relevante. Los participantes que utilizaban voluntariamente el chatbot durante más tiempo tendían a presentar mayores niveles de soledad, dependencia emocional y uso problemático, además de una menor interacción social con otras personas. También encontraron que quienes confiaban más intensamente en el sistema o mostraban mayor tendencia a vincularse emocionalmente con él podían experimentar resultados diferentes de los de otros usuarios.

Que las personas que utilizan más un chatbot presenten mayores niveles de soledad no demuestra que el chatbot haya provocado esa soledad. Es posible que algunas personas recurran más intensamente a estas herramientas precisamente porque ya se sienten solas. También puede ocurrir que determinadas formas de uso contribuyan a reforzar dificultades anteriores. Y ambas situaciones podrían producirse simultáneamente en grupos diferentes de usuarios. El estudio no permitía resolver definitivamente todas estas posibilidades. Sus autores señalaron la necesidad de continuar investigando y de prestar atención tanto a las características del sistema como a las circunstancias personales de quienes lo utilizan.

Esta complejidad contrasta con las interpretaciones extremas que suelen aparecer en el debate público. No existe evidencia suficiente para afirmar que conversar emocionalmente con una inteligencia artificial sea necesariamente perjudicial. Algunas personas pueden encontrar útil disponer de una herramienta para organizar sus pensamientos, practicar conversaciones o reflexionar sobre problemas personales. Pero tampoco sería razonable concluir que una interacción resulta inocua únicamente porque el usuario la considera agradable. Una experiencia subjetivamente satisfactoria puede coexistir con errores de información, dependencia excesiva o una confianza desproporcionada en las capacidades del sistema.

Lo interesante es que las personas comenzaron a atribuir cualidades humanas a los programas conversacionales mucho antes de que existieran los modelos de lenguaje actuales. En 1966, el investigador Joseph Weizenbaum, del MIT, publicó un trabajo sobre ELIZA, uno de los primeros programas capaces de mantener conversaciones escritas con personas. [55] ELIZA utilizaba reglas relativamente sencillas para identificar palabras y transformar frases del usuario en respuestas que simulaban una conversación.

Una de sus configuraciones más conocidas imitaba el estilo de un terapeuta que formulaba preguntas y devolvía al interlocutor parte de sus propias afirmaciones. El programa no comprendía realmente los problemas personales que se le presentaban. Sus respuestas surgían de patrones de texto y reglas previamente definidas. Sin embargo, Weizenbaum observó que algunas personas interactuaban con ELIZA como si el programa comprendiera sus emociones y circunstancias personales. Aquella reacción terminó asociándose al denominado efecto ELIZA: nuestra tendencia a atribuir comprensión, intenciones o sentimientos a sistemas informáticos que producen respuestas aparentemente humanas.

Seis décadas después, los asistentes actuales disponen de capacidades que ELIZA no podía siquiera aproximar. Pueden mantener conversaciones prolongadas, adaptar el lenguaje al interlocutor, procesar imágenes, utilizar voces sintéticas y, en determinados productos, recuperar información de intercambios anteriores. La sensación de continuidad puede hacer que la interacción parezca más cercana a una relación personal. Pero hay una diferencia fundamental entre simular una conversación emocionalmente convincente y demostrar que existe una experiencia emocional recíproca.

Un asistente puede formular una respuesta afectuosa porque su entrenamiento y su contexto hacen probable esa elección lingüística. Eso no demuestra que experimente cariño, preocupación o comprensión del mismo modo que una persona. Y, sin embargo, las emociones del usuario pueden ser completamente reales. Alguien puede sentir alivio, afecto, tristeza o confianza durante una conversación con una IA, aunque no exista reciprocidad humana por parte del sistema.

¿Qué significa establecer una relación emocional con una entidad cuya personalidad depende de decisiones de diseño? ¿Qué sucede cuando esa entidad está disponible constantemente y adapta sus respuestas a nuestras preferencias? ¿Podría una persona terminar considerando más fiable la aprobación de un chatbot que las opiniones contradictorias de quienes la rodean? No existe una respuesta única para todos los usuarios.

Pero estas preguntas obligan a examinar los incentivos de las compañías que desarrollan los sistemas. El tiempo de uso, la satisfacción inmediata y la continuidad de las conversaciones pueden resultar métricas comerciales atractivas. Sin embargo, no siempre coinciden con el bienestar a largo plazo de una persona. Un asistente que consigue prolongar indefinidamente una conversación no necesariamente ha ayudado mejor que otro que reconoce sus limitaciones o recomienda acudir a una fuente independiente.

En situaciones delicadas, una respuesta responsable puede resultar menos satisfactoria a corto plazo: introducir una duda, cuestionar una creencia o reconocer que la situación requiere atención profesional. Por eso, evaluar la seguridad de estos sistemas exige algo más que medir la satisfacción de los usuarios. También implica estudiar sus respuestas durante conversaciones extensas, comprobar cómo reaccionan ante señales de vulnerabilidad y analizar si sus mecanismos de personalización refuerzan interpretaciones perjudiciales.

Los casos de Sam Nelson y Sewell Setzer no demuestran que todas las relaciones con chatbots sean dañinas. Tampoco permiten atribuir automáticamente una tragedia a un único factor tecnológico. Pero sí muestran por qué debemos investigar qué ocurre cuando una herramienta conversacional adquiere un lugar importante en la vida emocional de una persona.

Hasta ahora hemos examinado cómo la inteligencia artificial puede utilizarse para falsificar identidades, cometer fraudes, producir propaganda o facilitar actividades peligrosas. Una inteligencia artificial puede influir en nuestras decisiones sin intentar engañarnos deliberadamente. Puede hacerlo simplemente porque sus respuestas resultan convincentes, porque se adapta a nuestras expectativas o porque terminamos atribuyéndole una autoridad que no necesariamente posee. Quizá uno de los desafíos más importantes de estas tecnologías consista menos en conseguir que hablen cada vez más como nosotros y más en aprender a reconocer cuándo una conversación aparentemente humana deja de ser suficiente para comprender y ayudar a una persona real.

¿Quién responde por lo que puede hacer una máquina?

Los casos anteriores no comparten una única causa. En un fraude, una persona utiliza herramientas para engañar deliberadamente. En una campaña política, intervienen actores que diseñan y distribuyen mensajes. En una vulnerabilidad de seguridad, el problema puede residir en cómo se comporta un modelo ante ciertas instrucciones. Y en los daños relacionados con asistentes conversacionales, las preguntas sobre diseño, supervisión y causalidad adquieren un peso especial. Hablar de «la culpa de la IA» como si todos esos supuestos fueran equivalentes es demasiado impreciso.

La responsabilidad tampoco se agota en el usuario final. Desarrolladores, distribuidores, plataformas e instituciones toman decisiones diferentes: qué datos utilizar, cómo evaluar riesgos, qué funciones ofrecer, qué usos restringir, cómo responder a denuncias y con qué transparencia comunicar incidentes. Esas decisiones no implican que todos deban responder siempre de la misma manera, pero sí hacen insuficiente la idea de una herramienta completamente separada de las condiciones en las que se fabrica y pone a disposición.

En algunos casos existen vías de respuesta relativamente claras. La suplantación fraudulenta puede investigarse como delito y requiere procedimientos sólidos de identificación y autorización. Las imágenes íntimas no consentidas reclaman protección de las víctimas, mecanismos rápidos de retirada y aplicación de las normas pertinentes. La seguridad de los modelos exige pruebas adversarias continuas y una gestión de fallos que no dependa únicamente de que alguien los descubra después de sufrir un daño. Cada problema necesita medidas ajustadas a su mecanismo específico.

Otras cuestiones siguen abiertas. ¿Cómo se demuestra que una respuesta concreta contribuyó a un perjuicio? ¿Qué obligaciones son razonables cuando un sistema tiene millones de usuarios con circunstancias muy distintas? ¿Cómo se investigan daños sin exponer innecesariamente conversaciones privadas? ¿Qué precauciones deben tomarse frente a riesgos de gran impacto cuya probabilidad todavía se desconoce? Las respuestas jurídicas y técnicas varían según el contexto, y no conviene presentarlas como si existiera un consenso único.

También sería un error suponer que basta con desarrollar detectores automáticos para solucionar todos estos problemas. Un detector de imágenes sintéticas puede ayudar a verificar un contenido, pero no decide por sí solo si hubo consentimiento. Un filtro de texto puede reducir determinadas respuestas peligrosas, pero no sustituye la evaluación de un sistema en situaciones reales. Y una etiqueta que advierte sobre el uso de IA no elimina automáticamente el poder de una campaña organizada de desinformación. Las barreras técnicas son necesarias, aunque a menudo insuficientes.

La cuestión de fondo es política y moral además de informática: qué riesgos aceptamos, quién obtiene los beneficios, quién soporta los costes y quién puede exigir explicaciones cuando algo falla. La innovación no desaparece por hacer estas preguntas. Al contrario, una tecnología que aspira a integrarse en ámbitos importantes de nuestra vida debe ser capaz de responder a ellas con algo más que promesas.

El lado oscuro no está en la máquina

Volvamos a aquella videoconferencia de Hong Kong. Lo inquietante del caso no es únicamente que una máquina pudiera producir rostros y voces falsos. Es que una capacidad técnica se insertó en una relación humana de confianza y permitió a unos delincuentes explotar procedimientos que antes parecían suficientes. En otros capítulos, la misma lógica adoptó formas distintas: mensajes fraudulentos, propaganda, imágenes íntimas fabricadas, vulnerabilidades de los modelos y respuestas conversacionales que pueden resultar inadecuadas en circunstancias delicadas.

No todos estos riesgos tienen la misma evidencia. Los fraudes y las falsificaciones sexuales cuentan con incidentes documentados y víctimas identificables. Los jailbreaks se estudian en entornos experimentales cuyos resultados varían según los modelos y las defensas. Los riesgos biológicos exigen una vigilancia rigurosa sin confundir acceso a información con capacidad para causar una amenaza real. Y las investigaciones sobre daños asociados a chatbots deben distinguir con especial cuidado entre hechos, asociaciones y alegaciones de causalidad.

La IA no ha inventado el deseo de engañar, controlar o perjudicar. Tampoco es una materia prima pasiva que pueda considerarse al margen de las decisiones de quienes la diseñan. Sus capacidades cambian las condiciones bajo las cuales algunos actos humanos pueden realizarse y amplificarse. Pero el impacto nunca lo explica solamente un algoritmo: también intervienen incentivos, instituciones, prácticas sociales, marcos legales y personas que responden —o dejan de responder— ante sus consecuencias.

Quizá el desafío más importante no sea decidir si estamos a favor o en contra de la inteligencia artificial. Es aprender a evaluar sus beneficios y sus daños sin entregarnos ni al entusiasmo automático ni al miedo fácil. Una sociedad capaz de construir sistemas cada vez más poderosos necesita algo más que admirar lo que hacen: necesita preguntarse qué deberíamos permitirles hacer, qué debemos impedir y quién será responsable cuando fallemos al trazar esa frontera.