Большие языковые модели страдают от архитектурной проблемы, которую индустрия пока не решила: после обучения знания в модели застывают, а попытка их обновить вызывает так называемое «катастрофическое забывание». Исследование января 2026 года показало, что около 15-23% голов внимания в нейросетях серьезно нарушаются, особенно в нижних слоях. Причем забывание сильнее проявляется тогда, когда новые задачи похожи на уже изученные. Суть в том, что модель оперирует вероятностями, а не фактами, и без доступа к свежим данным начинает галлюцинировать.

Основной рабочий способ обойти эту проблему сегодня – генерация с поиском (RAG): модель не переобучается, а просто берет актуальную информацию из внешних источников в момент ответа. Но полноценно реализовать это могут в первую очередь компании, у которых уже есть собственная поисковая инфраструктура. Например, Microsoft интегрировала Bing с Copilot, Google связал свой поиск с Gemini, а Яндекс – поиск с YandexGPT. Компании без собственного поиска вынуждены либо пользоваться чужими решениями, либо строить инфраструктуру с нуля – что требует многих лет работы.

Ученые ищут способы решить проблему на уровне модели: в 2026 году появились стратегии вроде O-LoRA, CLAIM, Nested Learning от Google Research. Однако фундаментальное ограничение пока не снято. Поэтому наличие собственного поиска становится ключевым конкурентным преимуществом для ИИ-сервисов: чем качественнее поиск, тем точнее и надежнее ответы нейросети.