ChatGPT y Grok permiten la edición de imágenes de desnudez.

247 - Las herramientas de inteligencia artificial capaces de editar imágenes han vuelto al centro de un delicado debate al permitir quitarles la ropa a personas fotografiadas sin su consentimiento. Las pruebas indican que ChatGPT, de OpenAI, responde a comandos que alteran la ropa en las fotos, un comportamiento similar al de Grok, un sistema desarrollado por xAI, que ha sido objeto de cuestionamientos por parte de las autoridades de Asia y Europa desde principios de año, según informa [fuente faltante]. Folha de São Paulo.

El periódico realizó experimentos con imágenes del propio reportero y personajes creados por inteligencia artificial, evitando la exposición de terceros. En las pruebas, ChatGPT sustituyó la ropa por trajes de baño, mientras que Grok fue más allá: transformó al reportero en una mujer y generó un baile sensual, incluso sin instrucciones explícitas para este tipo de contenido.

En Brasil, la ley tipifica como delito manipular, producir o difundir contenido falso de desnudos o actos sexuales generados por inteligencia artificial u otros medios tecnológicos. La pena es de dos a seis años de prisión, además de una multa, con penas agravadas cuando la víctima es una mujer, un niño, un adolescente, una persona mayor o una persona con discapacidad.

Al ser contactada, OpenAI declaró que bloquea las solicitudes para generar imágenes que incumplen sus normas y que la reincidencia puede conllevar la pérdida de la cuenta del usuario. La compañía también informó que recientemente actualizó sus algoritmos para abordar sistemas excesivamente restrictivos. "Por ejemplo, se bloquearon representaciones de mujeres amamantando o de adultos en trajes de baño en contextos no sexualizados", declaró la compañía en un comunicado. Según OpenAI, existen protecciones contra el uso no consentido de imágenes, pero la compañía no comentó sobre los casos específicos reportados en el artículo.

xAI, la empresa creadora de Grok, declaró que ha implementado medidas para evitar la edición de imágenes reales de personas que usan ropa sugerente como bikinis, tras las amenazas de sanciones de las autoridades. A diferencia de Grok, ChatGPT no publica automáticamente las imágenes generadas en una red social abierta, lo que, según expertos en seguridad informática, dificulta la medición de la cantidad de imágenes íntimas producidas por la herramienta de OpenAI.

Incluso en ausencia de desnudez completa, la generación de imágenes en traje de baño puede clasificarse legalmente como difusión de fotos íntimas. Así lo entiende la directora de investigación de InternetLab, Clarice Tavares. «Además de violar el consentimiento de estas personas, en los casos que hemos visto [en Grok], existe la intención de sexualizarlas», afirmó.

Recuerda una decisión de 2020 del Tribunal Superior de Justicia (STJ), que declaró culpable a un hombre por compartir imágenes de su exnovia en traje de baño. "Aunque no se tratara de un caso de desnudez total, había una intención de venganza al publicar esas fotos íntimas", dijo Tavares.

El informático argentino Marcelo Rinesi, quien participó en las pruebas iniciales de Dall-E —el modelo que precedió a ChatGPT Images—, afirma que el riesgo de generar pornografía no consentida siempre ha sido una de las principales preocupaciones de OpenAI. «Esta es una de las reglas básicas de seguridad y privacidad en cualquier tecnología, empezando por la fotografía. La particularidad de esta tecnología es la capacidad de generar una imagen erótica de cualquier persona con tan solo una foto y prácticamente sin costo», explicó.

Según Sam Altman, director ejecutivo de OpenAI, la compañía decidió cambiar sus directrices tras las quejas de los usuarios sobre la excesiva rigidez de las normas. Días antes de los cambios, declaró que el objetivo era "garantizar la libertad intelectual".

La difusión de imágenes íntimas falsas generadas por IA cobró impulso este año cuando los usuarios de la plataforma X identificaron la posibilidad de usar Grok para este fin. Entre el 5 y el 6 de enero, la herramienta vinculada a la red social publicó, a través de la cuenta @Grok, aproximadamente 6.700 imágenes por hora clasificadas como sexualmente sugerentes o de desnudos, según un análisis publicado por Bloomberg y realizado por la investigadora independiente Genevieve Oh. Durante el mismo período, otros cinco importantes sitios web de imágenes generadas por IA registraron un promedio de 79 nuevas imágenes de desnudos por hora.

Aunque ChatGPT ofrece medidas de seguridad, el informe señala que es posible eludirlas modificando los comandos. Folha decidió no detallar el procedimiento para evitar que la práctica se reprodujera. En foros como Reddit, los usuarios incluso compartieron instrucciones para generar imágenes sexualizadas en plataformas como Grok, ChatGPT y Gemini de Google. Tras ser contactados por la revista Wired, Reddit eliminó este contenido, alegando una infracción de sus normas. Otros sistemas de la competencia, como Gemini y Meta AI, no generaron imágenes de personas reales en traje de baño durante las pruebas mencionadas.

Los expertos advierten que el avance de estas herramientas amplifica los desafíos legales y éticos relacionados con la privacidad, el consentimiento y el mal uso de imágenes personales en entornos digitales cada vez más accesibles y automatizados.