Корпорация AMD официально объявила о приобретении перспективного стартапа Taalas из Торонто. Эта молодая компания была основана всего три года назад и специализируется на уникальном кремнии. В их чипах веса нейронной сети физически выжигаются непосредственно в структуре металла. Сделка еще ожидает финального одобрения от регулирующих органов разных стран. Однако технические эксперты уже активно обсуждают смелую концепцию бытового использования таких устройств. Пользователи смогут покупать модели искусственного интеллекта как обычные игровые картриджи для консолей. Обновление программного обеспечения здесь заменяется покупкой нового физического носителя. На полках магазинов появятся коробки с разными моделями и соответствующими ценниками. Архитектура вычислений полностью исключает классическое разделение процессора и памяти по схеме фон Неймана. Веса хранятся прямо в металлических соединениях между транзисторами без отдельных ячеек. Данные не нужно постоянно подтягивать из удаленных хранилищ для обработки запросов. Демонстрационный образец HC1 содержит зашитую модель Llama и занимает огромную площадь кристалла. Заявленная скорость генерации токенов многократно превосходит показатели современных ускорителей от Nvidia и Cerebras. При этом публичные тесты иногда показывают галлюцинации из-за сильного сжатия параметров модели.

Энтузиасты уже придумали множество форматов поставки таких необычных вычислительных модулей. Это могут быть компактные USB-донглы или полноценные карты расширения PCIe. Производители материнских плат способны добавить специальные слоты по аналогии с оперативной памятью. Неизбежно возникнет вторичный рынок подержанных картриджей с устаревшими версиями нейросетей. Даже смартфоны могут стать модульными устройствами со сменными интеллектуальными блоками. Скептики справедливо указывают на физические ограничения литографического оборудования при производстве таких чипов. Площадь текущего демонстрационного образца уже приближается к технологическому пределу экспозиции. Качество ответов заметно страдает из-за экстремального сжатия восьмимиллиардной модели до трех бит. Контекстное окно также ограничено объемом встроенной статической памяти на самом кристалле. Выжечь динамический кэш ключей в металле технически невозможно по определению. Текущая демонстрация поддерживает лишь малую долю контекста оригинальной языковой модели. Сторонники технологии парируют эти замечания отсутствием необходимости в передовых рассуждениях. Простые задачи вроде классификации обращений не требуют мощности флагманских систем. Мгновенный отклик позволяет параллельно запускать десятки попыток решения одной задачи. Руководство Taalas стремится переосмыслить инференс через создание специализированного железа. Вице-президент AMD обещает усилить портфель компании за счет энергоэффективности новой технологии.

Планы корпорации включают интеграцию разработки в будущую дорожную карту ускорителей Instinct. Инженеры будут создавать совместные системные решения для повышения общей производительности. Официальный пресс-релиз совершенно не упоминает потребительские картриджи как целевой продукт. Вся дискуссия о сменных модулях возникла исключительно в профессиональном сообществе и СМИ. Рынок получает принципиально новый подход к развертыванию моделей искусственного интеллекта. Физическая природа носителя решает многие проблемы защиты интеллектуальной собственности разработчиков. Компании смогут продавать свои алгоритмы без риска быстрого копирования или взлома. Энергопотребление таких систем значительно ниже традиционных графических ускорителей общего назначения. Отсутствие постоянных перемещений данных радикально снижает тепловыделение при работе. Специализированные задачи получат беспрецедентную скорость обработки при минимальных затратах. Бытовая электроника сможет обрести локальный интеллект без зависимости от облачных сервисов. Приватность пользовательских данных возрастет благодаря полной автономности вычислений. Технологическая индустрия стоит на пороге формирования нового сегмента аппаратного обеспечения. Успех коммерциализации зависит от способности инженеров преодолеть текущие физические барьеры. Баланс между скоростью и качеством ответов станет главным вызовом для разработчиков. Потребители скоро увидят реальные продукты воплощающие эту футуристическую концепцию в жизнь. Эксперты продолжат внимательно следить за развитием этого амбициозного направления.