Jornal Do Brasilia - X anuncia medidas para impedir que su IA Grok genere imágenes falsas sexualizadas

El anuncio llega después de que la fiscalía de California iniciara una investigación sobre xAI, la empresa de IA de Musk, por "facilitar la producción a gran escala de montajes íntimos no consentidos (deepfakes), utilizados para acosar a mujeres y niñas en internet, principalmente vía la red social X", indicó el fiscal general del estado, Rob Bonta, en un comunicado.

"Tenemos tolerancia cero para la creación y difusión con IA de imágenes íntimas no consentidas o material pedopornográfico", agregó el fiscal.

Bonta dijo que la investigación determinará si xAI violó la ley estatal después de que las imágenes explícitas fueran "utilizadas para acosar a personas en Internet".

El gobernador de California, Gavin Newsom, dijo el miércoles que la "vil" decisión de xAI de permitir la proliferación de deepfakes sexualmente explícitos lo llevó a instar al fiscal general a responsabilizar a la empresa.

X dijo que "bloqueará geográficamente la capacidad" de todos los usuarios de Grok y X para crear imágenes de personas en "bikinis, ropa interior y atuendos similares" en aquellas jurisdicciones donde esas acciones se consideren ilegales.

"Hemos implementado medidas tecnológicas para impedir que la cuenta de Grok permita la edición de imágenes de personas reales con ropa reveladora, como bikinis", dijo el equipo de seguridad de X en un comunicado.

"Esta restricción se aplica a todos los usuarios, incluidos los suscriptores de pago", añadió.

Como "una capa adicional de protección", la creación de imágenes y la posibilidad de editar fotos a través de la cuenta Grok de X ahora solo estaba disponible para suscriptores de pago, añadió el comunicado.

- Agravio a las víctimas -

El movimiento internacional de indignación se intensificó en las últimas semanas contra Grok y la posibilidad que ofrece de modificar imágenes, en particular las publicadas en la red social X.

Esta opción estaba permitiendo a los usuarios crear 'deepfakes' sexualizados de mujeres y menores de edad usando indicaciones como "ponla en bikini" o "quítale la ropa".

La semana pasada, Grok intentó desviar las críticas con una nueva política de monetización, anunciando en X que la generación y edición de imágenes quedaban "limitadas a los suscriptores de pago".

Pero ese anuncio solo alimentó aún más la indignación: la oficina del primer ministro británico, Keir Starmer, condenó la medida por considerarla un agravio a las víctimas y "no una solución", mientras que el regulador de medios británico, Ofcom, dijo el lunes que estaba abriendo una investigación para determinar si X incumplió la legislación del Reino Unido en relación a las imágenes sexuales.

Aumentando aún más la presión sobre la compañía de Musk, una coalición de 28 organizaciones de la sociedad civil envió este miércoles cartas abiertas a los directores ejecutivos de Apple y Google, instándolos a prohibir Grok y X en sus tiendas de aplicaciones ante el aumento de imágenes sexualizadas.

Indonesia y Malasia bloquearon el acceso a Grok, mientras que India dijo que X había eliminado miles de publicaciones y cientos de cuentas de usuario en respuesta a sus quejas.

La comisionada francesa para la infancia, Sarah El Hairy, dijo el martes que había remitido las imágenes generadas por Grok a la fiscalía francesa, al regulador de medios Arcom y a la Unión Europea. Esta última pidió la paralización total de la generación de ese tipo de contenido.

Un análisis realizado la semana pasada por la oenegé AI Forensics sobre más de 20.000 imágenes generadas por Grok reveló que más de la mitad representaban a personas con poca ropa, de las cuales el 81% eran mujeres y el 2% parecían menores de edad.

A. Martins--JDB