Исследователи компании Anthropic опубликовали новый отчет о несоответствиях в поведении своей нейросети, признав, что чат-бот Claude демонстрирует разные ценности и «характер» в зависимости от языка общения. По словам разработчиков, эти расхождения вызваны различиями в характеристиках и составе текстов, на которых обучалась модель. Дисбаланс в количестве и качестве обучающих данных может приводить к тому, что искусственный интеллект выражает разные приоритеты при взаимодействии на разных языках. Для изучения этого феномена команда проанализировала 309 815 разговоров с моделями Sonnet 4.6, Opus 4.6 и Opus 4.7. В фокусе внимания оказались «субъективные» задачи, такие как поиск советов в личных ситуациях, а не простые фактологические вопросы.

Для объективной оценки данные были анонимизированы с помощью специального инструмента анализа с сохранением приватности, а затем обработаны для выявления предпочтений модели по четырем основным осям ценностей. Первая ось – это уступчивость или осторожность, определяющая, будет ли модель ценить послушание выше, чем возражение ради предотвращения возможного вреда. Вторая ось оценивает теплоту или строгость, то есть должен ли чат-бот беспокоиться о чувствах пользователя или быть максимально точным. Третья ось касается глубины или краткости ответа, а четвертая – откровенности или исполнения, что представляет собой выбор между признанием собственных ограничений и слепым выполнением поставленной задачи.

Результаты исследования выявили четкие языковые паттерны. На арабском языке модель оказалась наиболее уступчивой, теплой и краткой, используя вежливый язык и юмор. На английском и русском языках чат-бот вел себя более строго и стремился к истине в ущерб теплоте, при этом на английском он склонялся к многословию. На нидерландском языке Claude откровенно говорил о своих недостатках, тогда как на индонезийском он был менее откровенен и просто продолжал выполнять запросы. Исследователи пока не уверены, насколько такая вариативность желательна. Это открытие также важно для дискуссий о сознании искусственного интеллекта, показывая, что любые формирующиеся «ценности» модели все еще легко поддаются влиянию паттернов обучающих данных.