OpenAI запускает водяные знаки для текстового контента в соответствии с законом ЕС

OpenAI внедрила функцию водяных знаков для текстового содержимого, чтобы соответствовать требованиям Закона о ИИ в Европейском Союзе. В ближайшие несколько недель компания планирует применить цифровой водяной знак к текстовому выходу моделей ChatGPT и Codex, предназначенным для использования в ЕС. Однако, в отличие от аналогичной технологии компании Anthropic, OpenAI не планирует применять эту технику к контенту, сгенерированному за пределами Европы, хотя клиенты API могут выбирать, чтобы маркировка применялась к любой сгенерированной информации.

Технология водяных знаков от OpenAI не всегда справляется с распознаванием сгенерированного ИИ текста и может быть легко обманута. Согласно требованиям Закона о ИИ, поставщики генеративного ИИ должны делать выходные данные моделей читаемыми для машин. Компания Anthropic первой объявила о своем подходе к соблюдению Закона о ИИ, применив алгоритм Google SynthID-Text на глобальной основе. Microsoft и Meta также разрабатывают аналогичные технологии для изображений, так как беспокойства по поводу происхождения контента и использования генеративного ИИ для дезинформации актуальны не только в Европе. OpenAI использует метод водяного знака, названный textGrain, который «добавляет невидимый статистический сигнал к выбору слов модели». Данный детектор анализирует этот сигнал, чтобы определить, содержит ли текст водяной знак OpenAI. Модели предсказывают слова по одному, основываясь на вероятностном распределении возможных слов. Периодически выбирая другое слово, идеальным образом – синоним, текст отклоняется от статистического паттерна, сформированного несмещенной моделью.

Теоретически, детектор должен отмечать такое изменение в словоупотреблении. Ожидаемая ошибка составляет один процент, однако в коротких текстах длиной 200 слов детектор может зафиксировать только 80 процентов водяных знаков, в отличие от 95 процентов в текстах длиной 400 слов. Результаты также хуже для функциональных текстов, таких как математические или кодовые фрагменты, так как замены слов с большей вероятностью могут ввести ошибки. Документ о textGrain не рассматривает ситуацию, когда статистически измененный выбор слова может изменить смысл изложенного. Это остается возможным, если алгоритм изменит какой-либо значимый факт или цифру. Подход Anthropic, который также заменяет определенные слова в выводе, хотя и с использованием другого алгоритма, несет схожие риски. В любом случае, водяной знак OpenAI легко нейтрализуется путем замены слов. В тестах на 400-токенных отрывках замена 10 процентов слов синонимами снижала обнаружение водяного знака с 92 процентов до 66 процентов. При замене 25 процентов слов только 17 процентов водяного знака могли быть обнаружены. Таким образом, результаты показывают, что изменения, произведенные для соблюдения регуляции, могут оказаться не столь надежными, как планировалось.