Китайская компания ByteDance, материнская структура TikTok, приступила к предварительному обучению одной из крупнейших в мире моделей искусственного интеллекта. По данным источников, потенциальный размер новой системы может достичь 10 триллионов параметров, что превысит показатели китайской модели Kimi K3 примерно втрое. Окончательный объем будет определен на поздних этапах разработки. Предварительное обучение занимает от трех до шести месяцев, после чего планируется дополнительная настройка и выпуск продукта. Данный шаг направлен на сокращение технологического отставания от американского разработчика Anthropic, чьи самые мощные модели, по оценкам отраслевых экспертов, содержат около 8 триллионов параметров.

Количество параметров определяет способность модели обрабатывать информацию, но не гарантирует автоматического превосходства в качестве. На возможности системы также влияют объем обучающих данных, архитектура и методы оптимизации. Несмотря на масштаб проекта, ByteDance придерживается стратегии развития закрытых моделей, в отличие от ряда китайских лабораторий, публикующих свои наработки. При этом компания уже демонстрирует успехи: ее видеогенеративная модель Seedance входит в число лидеров рынка, а потребительский продукт Doubao насчитывает около 324 миллионов ежемесячных активных пользователей в Китае.

Разработкой занимается команда Seed под руководством бывшего исследователя Google DeepMind, включающая около 2000 специалистов. Руководство ByteDance делает ставку на полностью независимую разработку, отказываясь от метода дистилляции, предполагающего обучение меньших моделей на ответах крупных систем. Основатель компании Чжан Иминь подчеркнул необходимость ориентации на мировой уровень возможностей модели в долгосрочной перспективе. Для реализации этих целей ByteDance активно наращивает инвестиции в ИИ-инфраструктуру, расширяет сеть дата-центров, развивает облачное подразделение Volcano Engine и работает над созданием собственных микропроцессоров. В планах компании – вложить в это направление до 170 миллиардов долларов.