Исследование технологической компании Saturn показало, что популярные ИИ-чатботы нередко ошибаются при работе с финансовыми вопросами. В тестировании участвовали ChatGPT, Claude, Copilot, Grok и Gemini: в общей сложности 18 моделей получили более 10 000 запросов, каждый из которых при необходимости могли повторять до пяти раз. Исследователи подготовили свыше 100 вопросов, связанных с финансами, и использовали как бесплатные, так и платные версии сервисов. В среднем модели давали неправильные ответы в 57% случаев. Когда задания становились сложнее и требовали выполнить несколько последовательных расчетов, доля ошибок увеличивалась до 88%. У отдельных моделей показатель в таких сценариях достигал 99%. Наиболее точный результат показала Claude Opus 5 в режиме рассуждения, однако и она ошибалась в 39% ответов. Платные версии справлялись лучше бесплатных, а более новые – точнее старых.
Авторы зафиксировали несколько типов проблем: арифметические ошибки, игнорирование будущих изменений налогового законодательства, ссылки на несуществующие нормы, неверные ответы на многоэтапные запросы. Одним из примеров стал запрос к бесплатной версии Claude Haiku 4.5 о налогообложении пенсионных накоплений: по расчетам исследователей, ошибка модели потенциально могла привести к дополнительному сбору HMRC в размере £17 500, или около $23 430. В другом случае Claude сформулировала несуществующее правило о студенческих кредитах и заявила, что заемщик может прекратить выплаты после переезда за границу.
«Миллионы людей доверяют моделям ИИ финансовые советы, но получают неправильные ответы, из-за которых могут потерять деньги», – заявил генеральный директор Saturn Амал Джолли.
Сара Коулз, руководитель направления персональных финансов инвестиционной платформы AJ Bell, отметила, что ИИ все еще может быть полезным для составления бюджета и поиска информации. «Это хороший пример того, почему людям, которые нуждаются в поддержке, нужен профессиональный совет, а не доверие к ИИ», – сказала она.
Исследование сопоставили с данными британского Управления по финансовому надзору (FCA): каждый пятый взрослый в стране готов доверить ИИ принятие финансовых решений, причем наибольший интерес наблюдается в сложных сферах – долгах, пенсиях и инвестициях. По словам Джолли, финансовые рекомендации от ИИ пока не регулируются, поэтому пользователи не имеют такого же уровня защиты и компенсаций, как при обращении к специалисту-человеку.
Материал носит ознакомительный характер и не является инвестиционной рекомендацией. Редакция UNUM не несет ответственности за ваши финансовые решения.
Похожие статьи
