OpenAI lanza marcas de agua para contenido de texto según la ley de la UE

OpenAI ha implementado una función de marcas de agua para contenido de texto para cumplir con los requisitos de la Ley de IA de la Unión Europea. En las próximas semanas, la empresa planea aplicar una marca de agua digital a la salida de texto de los modelos ChatGPT y Codex, destinados a su uso en la UE. Sin embargo, a diferencia de la tecnología similar de la empresa Anthropic, OpenAI no planea aplicar esta técnica al contenido generado fuera de Europa, aunque los clientes de API pueden elegir que la marca se aplique a cualquier información generada.

La tecnología de marcas de agua de OpenAI no siempre logra reconocer el texto generado por IA y puede ser fácilmente engañada. Según los requisitos de la Ley de IA, los proveedores de IA generativa deben hacer que las salidas de los modelos sean legibles por máquinas. Anthropic fue la primera en anunciar su enfoque para cumplir con la Ley de IA, aplicando el algoritmo Google SynthID-Text a nivel global. Microsoft y Meta también están desarrollando tecnologías similares para imágenes, ya que las preocupaciones sobre el origen del contenido y el uso de IA generativa para desinformación son relevantes no solo en Europa. OpenAI utiliza un método de marca de agua llamado textGrain, que "agrega una señal estadística invisible a la elección de palabras del modelo". Este detector analiza esa señal para determinar si el texto contiene la marca de agua de OpenAI. Los modelos predicen palabras una por una, basándose en la distribución probabilística de palabras posibles. Al elegir periódicamente otra palabra, idealmente– un sinónimo, el texto se desvía del patrón estadístico formado por el modelo no sesgado.

Teóricamente, el detector debería marcar tal cambio en el uso de palabras. El error esperado es del uno por ciento, sin embargo, en textos cortos de 200 palabras, el detector puede capturar solo el 80 por ciento de las marcas de agua, en comparación con el 95 por ciento en textos de 400 palabras. Los resultados también son peores para textos funcionales, como fragmentos matemáticos o de código, ya que las sustituciones de palabras tienen más probabilidades de introducir errores. El documento sobre textGrain no aborda la situación en la que una elección de palabra estadísticamente alterada puede cambiar el significado del contenido. Esto sigue siendo posible si el algoritmo altera algún hecho o cifra significativa. El enfoque de Anthropic, que también reemplaza ciertas palabras en la salida, aunque utilizando otro algoritmo, conlleva riesgos similares. En cualquier caso, la marca de agua de OpenAI se neutraliza fácilmente mediante la sustitución de palabras. En pruebas con fragmentos de 400 tokens, la sustitución del 10 por ciento de las palabras por sinónimos redujo la detección de la marca de agua del 92 por ciento al 66 por ciento. Al reemplazar el 25 por ciento de las palabras, solo el 17 por ciento de la marca de agua pudo ser detectada. Por lo tanto, los resultados muestran que los cambios realizados para cumplir con la regulación pueden no ser tan confiables como se planeó.