耶鲁、剑桥等高校联合推出 MindLLM 医疗行业 AI 工具，可将大脑磁共振成像数据转为直观文字信息

IT之家于3月3日报道，耶鲁大学与剑桥大学及达特茅斯学院的科研团队，共同开发出一款名为MindLLM的医疗AI工具。该工具可以将脑功能性磁共振成像（fMRI）数据转换为文本，并在多项基准测试中超越了目前市场上的技术如UMBRAE、BrainChat和UniBrain等。

MindLLM结合了fMRI编码器和大型语言模型，专门用于解析fMRI扫描中立体像素（Voxels）以理解脑部活动。其fMRI编码器基于神经科学注意力机制，能够灵活处理不同形态的输入信号，执行多样化的分析任务。

研究团队为这一工具引入了脑部指令调优（BIT）方法，进一步增强了模型从fMRI信号中提取多重语义信息的能力，以便执行图像描述、问答推理等解码任务。

测试结果表明，在文本解码、个体间泛化能力及新任务适应性等多个基准测试中，MindLLM的表现比行业内模型分别提升了12.0%、16.4%及25.0%，显示出其在适应新受试者及处理未见语言推理方面的优越性。

然而，研究人员指出，目前该模型仅能对静态图像信号进行分析，未来若能进一步优化，有望转变为实时fMRI解码器，广泛应用于神经控制、脑机接口及认知神经科学等领域，显著提升神经假肢的感知能力、精神状态的监控以及脑机交互的潜力。

相关论文已经在ArXiv平台上发布，IT之家附上论文链接（点击访问）。

广告声明：文中包含的外部链接（包括不限于超链接、二维码及口令等形式）旨在提供更多信息，帮助节省选择时间，结果仅供参考。