文章编号：1827 / 更新时间：2024-11-30 20:52:11 / 浏览：次

最近，来自伦敦大学学院、剑桥大学、牛津大学等机构的团队发布了一个神经学专用基准 BrainBench，登上了 Nature 子刊《自然人类行为》。

结果显示，经过该基准训练的 LLM 在预测神经科学结果的准确度方面高达 81.4%，远超人类专家的 63.4%。在神经学常见的 5 个子领域：行为/认知、细胞/分子、系统/回路、神经疾病的神经生物学以及发育/塑性和修复中，LLM 的表现也都全方位超过了人类专家。

更重要的是，这些模型被证实对于数据没有明显的记忆。也就是说，它们已经掌握了一般科研的普遍模式，可以做更多的前瞻性（Forward-looking）预测、预测未知的事物。

全新神经学基准

本本文的一个重要贡献，就是提出了一个前瞻性的基准测试 BrainBench，可以专门用于评估 LLM 在预测神经科学结果方面的能力。

每个测试用例包括两个版本的摘要：一个是原始版本，另一个是经过修改的版本。修改后的摘要会显著改变研究结果，但保持整体连贯性。

测试者的任务是选择哪个版本包含实际的研究结果。

评估 LLM 和人类专家

团队使用 EleutherAlLanguageModelEvaluationHaress 框架，让 LLM 在两个版本的摘要之间进行选择，通过困惑度（perplexity）来衡量其偏好。困惑度越低，表示模型越喜欢该摘要。

对人类专家行为的评估也是在相同测试用例上进行选择，他们还需要提供自信度和专业知识评分。最终参与实验的神经科学专家有 171 名。

评估 LLM 是否纯记忆

为了衡量 LLM 是否掌握了思维逻辑，团队还使用 zlib 压缩率和困惑度比率来评估 LLMs 是否记忆了训练数据。

部分研究者认为只能当作辅助

本文向我们展示了神经科学研究的一个新方向，或许未来在前期探索的时候，神经学专家都可以借助 LLM 的力量进行初步的科研想法筛选，剔除一些在方法、背景信息等方面存在明显问题的计划等。

但同时也有很多研究者对 LLM 的这个用法表示了质疑。有人认为实验才是科研最重要的部分，任何预测都没什么必要：还有研究者认为，LLM 预测神经学研究结果的准确度远超人类专家，这可能只是因为 LLM 记忆力超强，而不是真正理解了神经科学的原理。

无论如何，LLM 预测神经学研究结果的准确度远超人类专家的研究结果，都为我们打开了神经科学研究的新大门。未来，LLM 有可能成为神经科学研究中不可或缺的工具。

相关标签： 困惑度、 预测、 结果、 神经、 模型、 人类、 水平、 狂喜、 神经学、 人类、 研究、 专家、 结论、 Nature、 zlib、

本文地址：http://dy.qianwe.com/article/1827.html

上一篇：的真实面孔AI令人毛骨悚然的真实感与逐渐丧...
下一篇：GPT伦理冰山一角细思极恐AI揭开的...