Meta представила революционную систему Brain2Qwerty v2, способную восстанавливать набираемый текст по записям активности мозга без необходимости хирургического вмешательства. Точность системы на уровне слов достигла 61%, что в семь с лишним раз превосходит показатели предыдущих неинвазивных методов, которые едва дотягивали до 8%.

Для обучения модели использовали около 22 000 предложений. В эксперименте участвовали девять здоровых добровольцев, каждый из которых провел по 10 часов в сканере магнитоэнцефалографии, набирая на клавиатуре услышанные фразы. Вместо устаревших ручных схем выявления нейронных событий Meta применила сквозное глубокое обучение для декодирования данных напрямую из сырых сигналов мозга.

Система работает с непрерывной записью мозговой активности и восстанавливает предложения целиком, используя дообученную языковую модель для учета смыслового контекста. Лучший участник эксперимента достиг впечатляющих 78% точности, причем более половины его предложений были декодированы с одной ошибкой или вовсе без ошибок.

Несмотря на успехи, разработка пока далека от клинического или бытового применения. Brain2Qwerty v2 тестировали только на здоровых людях, которые физически набирали текст. Для пациентов, потерявших речь или способность двигаться, этот подход требует отдельной проверки. Кроме того, система не работает в режиме реального времени – она обрабатывает предложение целиком, поэтому пользователь не видит каждое слово сразу после его «набора» силой мысли.

Проект является частью инициативы Digital Brain Project по созданию открытых нейронаучных наборов данных с бюджетом $5 млн. Напомним, что еще в сентябре 2022 года Meta опубликовала исследование о «мозговом декодере», преобразующем мысли в речь.