Исследователи из Принстонского и Чикагского университетов опубликовали работу, меняющую представление о природе предвзятости в искусственном интеллекте. Ученые доказали, что современные языковые модели способны самостоятельно формировать новые социальные стереотипы, даже если изначально в обучающих данных отсутствовала какая-либо дискриминация. Для проверки этой гипотезы был воспроизведен классический эксперимент по найму персонала, в котором участники распределяли кандидатов по вакансиям и получали обратную связь о результатах. Все кандидаты принадлежали к одной из четырех вымышленных этнических групп, не имевших реальных различий и обладавших равными шансами на успех. Если люди со временем вырабатывали лишь умеренные предубеждения на основе негативного опыта, то языковые модели демонстрировали значительно более высокий уровень стратификации.

В основе выявленной проблемы лежит фундаментальный принцип взаимодействия алгоритмов с данными, известный как баланс между исследованием и использованием. Принимая решение, система выбирает между тестированием неизвестных вариантов и опорой на ранее успешные стратегии. Исследователи протестировали пятнадцать моделей от ведущих технологических компаний и обнаружили четкую закономерность: чем новее и мощнее алгоритм, тем сильнее проявляется предвзятость. Продвинутые модели делают более точные выводы из прошлых результатов, предпочитая кандидатов из группы, с которой ранее был связан успех. Такое поведение, кажущееся рациональным с точки зрения максимизации вознаграждения, оборачивается системной дисфункцией, поскольку модель полностью перестает исследовать альтернативы и тем самым маргинализирует целые категории.

Практические последствия данного открытия уже проявляются в корпоративном секторе, где более девяноста процентов компаний применяют алгоритмы в процессах подбора персонала. Использование автоматизированных систем в управлении кадрами стало предметом пристального внимания регуляторов и судов. Крупные поставщики программного обеспечения для управления персоналом сталкиваются с исками, в которых их инструменты обвиняются в дискриминации кандидатов. Аналогичные претензии были выдвинуты в адрес технологических гигантов, чьи системы якобы ущемляли права сотрудников при проведении организационных изменений. Задача разработчиков теперь состоит в создании механизмов, которые избирательно подавляют вредное сопоставление паттернов, сохраняя при этом конструктивные формы абстракции, делающие языковые модели эффективными инструментами.