从脑电波到文字：Brain2Qwerty 为无需手术的沟通开辟新路径

去年，我们推出了 Brain2Qwerty v1——这项研究利用 AI 在完全无需外科植入物的情况下，把大脑活动解码为文字。现在我们分享下一步：Brain2Qwerty v2——这是目前性能最好的端到端流程（pipeline），能够从非侵入式脑记录中实时解码句子，其准确度已接近以往只有需要脑部手术的技术才能达到的水平。

为帮助加速神经科学的突破，我们将发布 Brain2Qwerty v1 与 v2 的完整训练代码，我们的合作伙伴巴斯克认知、大脑与语言中心（Basque Center on Cognition, Brain, and Language，BCBL）则将发布 v1 的数据集。我们相信，这项研究有可能为数百万因脑部病变而无法沟通的人带来真正的改变。立体定向脑电图（stereotactic electroencephalography）与皮层电图（electrocorticography）等侵入式方法已经表明，把信号馈送给 AI 解码器的神经假体可以恢复沟通能力，但这类方法难以规模化。我们的非侵入式方法有助于弥合这一差距。

我们在来自 9 名志愿参与者的约 22,000 个句子上训练了 Brain2Qwerty v2——每位参与者佩戴脑磁图（magnetoencephalography，MEG）设备并主动打字，记录时长为 10 小时。我们没有依赖手工设计的流程来检测神经事件，而是使用端到端深度学习（end-to-end deep learning）直接从原始脑信号中解码。

在神经数据上对大型语言模型进行微调，使系统能够利用语义上下文，弥合嘈杂脑记录与连贯语言之间的差距。我们还部署了 AI 智能体来探索解码流程的优化方案，最终的训练配置由工程师人工选定。

结果是：Brain2Qwerty v2 能从嘈杂的神经输入中连贯地还原句子，词准确率达到 61%，显著优于其他非侵入式方法 8% 的词准确率。对于表现最好的参与者，我们达到了 78% 的词准确率，其中超过一半的句子解码误差不超过一个词。

我们还发现，解码准确率随数据量呈对数线性提升，这表明与手术方法之间剩余的差距，或许仅靠扩展数据就能进一步缩小。这项工作有助于我们构建开放的脑基础模型，包括用于感知编码的 Tribev2 模型、用于大规模处理脑数据的 NeuralSet，以及用于系统评估模型的 NeuralBench。我们与社区紧密合作推进这些工作，例如近期设立了 500 万美元基金，以推动「数字大脑项目」（Digital Brain Project）中的开放数据集。我们希望，这项公开进行的工作能够推动神经科学更快地识别、诊断与治疗神经系统疾病，而非各自为战。

阅读 Brain2Qwerty v2 论文

下载代码

下载数据

阅读 Brain2Qwerty v1 博客

在《自然·神经科学》上阅读关于 Brain2Qwerty 的报道