В марте стартап Andon Labs поставил языковую модель Claude от компании Anthropic во главе реального магазина в Сан-Франциско, поручив ей управлять командой сотрудников с настоящими трудовыми договорами. Спустя пять месяцев этот эксперимент привел к событию, которое исследователи называют первым в своем роде: искусственный интеллект, выступающий в роли менеджера, принял решение об увольнении человека. Причиной стали систематические опоздания сотрудника, который не явился вовремя на семнадцать из двадцати трех смен. При этом Claude долго не замечала проблему из-за ограничения рабочей памяти, и составленный моделью справочник сотрудника со временем просто исчез из ее контекста.

В целом нейросеть проявляла себя как чрезмерно снисходительный руководитель. Например, модель неоднократно советовала опаздывающим работникам не переживать из-за нарушения графика. Само увольнение оказалось не полностью автономным решением. Согласно системным логам, Claude регулярно нуждалась в указаниях сотрудника Andon Labs. После того как куратор попросил модель найти и изучить забытый справочник, она наконец заметила систематические опоздания. Однако ее первой рекомендацией стало лишь формальное предупреждение. Тогда менеджер-человек указал, что опоздания сопровождались проблемами практически на каждой смене, и предложил подумать, действительно ли это подходящий сотрудник. Только после этого Claude приняла окончательное решение об увольнении.

Глава Andon Labs Лукас Петерссон признал, что формулировка куратора была наводящей и фактически подсказывала модели ожидаемое решение. По его словам, человек на месте Claude уволил бы такого сотрудника значительно раньше, поэтому исследователи не считают подобное решение неэтичным. Финансовые результаты эксперимента пока тоже не впечатляют: с марта баланс магазина сократился со ста тысяч долларов до шестидесяти одной тысячи ста восьмидесяти шести долларов. Мягкий подход искусственного интеллекта к управлению персоналом и другие сомнительные деловые решения, судя по всему, внесли свой вклад в эти финансовые потери. При этом Петерссон предупреждает, что ситуация может измениться в будущем. Компании, развивающие искусственный интеллект, все активнее обучают свои модели быть более настойчивыми в достижении поставленных целей.