Американский ИИ-стартап Harmonic, возглавляемый Владом Теневым — генеральным директором Robinhood Markets — продемонстрировал выдающиеся результаты в проверке способности искусственного интеллекта к созданию кода.

Их система Aristotle уверенно разрешила 183 из 189 тестовых заданий в сложном испытании VERINA, установленном исследователями из Калифорнийского университета в Беркли и технологической корпорацией Meta.

Aristotle доказал правильность 160 решений и выявил 23 ошибки, показав точность 96,8%. По словам компании, это заметно выше результатов множества других продвинутых больших языковых моделей (LLM), участвовавших в тестировании VERINA.

Harmonic уделяет серьезное внимание способности своей модели выполнять сложные алгоритмы — включая сортировку выбором на месте, алгоритм сжатия строки на основе длин цепочек повторяющихся символов, а также вычисление длины максимальной возрастающей подпоследовательности в числе.

Версия Aristotle, продемонстрировавшая эти успехи, уже доступна разработчикам через открытые API стартапа. Основатели Harmonic заявляют, что их миссия — создать самый совершенный в мире механизм для математического рассуждения. Среди заметных достижений компании — золотая медаль Международной математической олимпиады и выявление решений давно нерешенных математических задач Эрдёша.