Цены на чипы памяти, такие как DRAM и NAND, резко подскочили в последние месяцы, поскольку растущие рабочие нагрузки, связанные с искусственным интеллектом (ИИ), вынуждают гиперскейлеров приобретать гораздо большие объемы этих компонентов, чем ожидалось ранее. Этот всплеск спроса обусловлен не просто масштабным расширением дата-центров, а фундаментальными изменениями в архитектуре моделей и программном обеспечении, что создает скачкообразный рост объема памяти, потребляемой каждым графическим процессором (GPU). Этот процесс требует значительно больше DRAM и NAND в каждом вычислительном кластере.

Одним из ключевых драйверов спроса являются новые версии программного обеспечения CUDA от Nvidia (например, CUDA 12.8 и 13.0), которые позволяют GPU использовать более крупные пулы памяти во всей системе. Эти функции позволяют моделям рассматривать память GPU и CPU как единое адресное пространство, упрощая перераспределение ресурсов и побуждая разработчиков выделять гораздо большие рабочие наборы. Это означает, что серверам ИИ требуется больше системной DRAM и больше емкости SSD для поддержки подкачки и хранения данных моделей, поскольку современные задачи вывода включают частые случайные чтения параметров модели и баз данных, с которыми SSD справляются гораздо лучше, чем традиционные жесткие диски.

Быстрое расширение контекстных окон в больших языковых моделях (LLM) представляет собой еще один важный сдвиг. Когда модели обрабатывают входные данные, насчитывающие сотни тысяч токенов, память становится основным узким местом, поскольку более длинные последовательности требуют значительно больше VRAM для хранения промежуточных данных. При переполнении VRAM система вынуждена выгружать данные в оперативную память или SSD, при этом гиперскейлеры внедрили эту иерархию в масштабе, используя NVMe-накопители как расширение системной памяти. Более длинные контексты также требуют более высокой пропускной способности от хранилища, поскольку чтение больших запросов в реальном времени и поддержка многих пользователей одновременно требуют быстрой NAND-памяти большой емкости.

Аналитики BofA отмечают, что хотя улучшения в CUDA и новые алгоритмы внимания снижают некоторые накладные расходы памяти, в конечном итоге они позволяют обрабатывать более крупные рабочие нагрузки. По мере того как GPU обрабатывают более длинные последовательности, базовые системы должны поддерживать больше данных, поступающих с SSD. Кроме того, многопроцессорные GPU-конструкции распределяют массивные модели между многими ускорителями, что увеличивает потребности в объединенной памяти и перемещает больше данных на флэш-накопители. Всплеск спроса на NAND и DRAM, связанный с ИИ, совпал с восстановлением более широких рынков электроники, включая расходы на ПК, телефоны и традиционные дата-центры, что привело к истощению запасов и резкому росту цен, создав «суперцикл» для чипов памяти.