LLM 不错比科学家更准确地预计神经学的酌量成果！开云体育(中国)官方网站

最近，来自伦敦大学学院、剑桥大学、牛津大学等机构的团队发布了一个神经学专用基准BrainBench，登上了 Nature 子刊《当然东谈主类行径（Nature human behavior）》。

成果涌现，经由该基准教诲的 LLM 在预计神经科学成果的准确度方面高达81.4%，远超东谈主类人人的 63%。

在神经学常见的 5 个子界限：行径 / 默契、细胞 / 分子、系统 / 回路、神经疾病的神经生物学以及发育 / 塑性和确立中，LLM 的施展也完好场所逾越了东谈主类人人。

更贫瘠的是，这些模子被阐明关于数据莫得瓦解的系念。

也便是说，它们依然掌合手了一般科研的深广神情，不错作念更多的前瞻性（Forward-looking）预计、预计未知的事物。

这立马激发科研圈的围不雅。

多位教训和博士后博士后也示意，以后就不错让 LLM 赞理判断更多酌量的可行性了，nice！

LLM 预计才能全面卓绝东谈主类人人

让咱们先来望望论文的几个贫瘠论断：

总体成果：LLMs 在 BrainBench 上的平均准确率为 81.4%，而东谈主类人人的平均准确率 63.4%。LLMs 的施展显耀优于东谈主类人人

子界限施展：在神经科学的几个贫瘠的子界限：行径 / 默契、细胞 / 分子、系统 / 回路、神经疾病的神经生物学以及发育 / 塑性和确立中，LLMs 在每个子界限的施展均优于东谈主类人人，非凡是在行径默契和系统 / 回路界限。

模子对比：较小的模子如 Llama2-7B 和 Mistral-7B 与较大的模子施展非常，而聊天或教导优化模子的施展不如其基础模子。

东谈主类人人的施展：大多半东谈主类人人是博士学生、博士后酌量员或教职职工。当戒指东谈主类反应为自我文牍专科学问的最高 20% 时，准确率上涨到 66.2%，但仍低于 LLMS。

置信度校准：LLMs 和东谈主类人人的置信度齐校准细腻，高置信度的预计更有可能是正确的。

系念评估：莫得迹象标明 LLMs 系念了 BrainBench 技俩。使用 zlib 压缩率和困惑度比率的分析标明，LLMs 学习的是等闲的科学神情，而不是系念教诲数据。

全新神经学基准

本论文的一个贫瘠孝顺，便是提倡了一个前瞻性的基准测试BrainBench，不错有利用于评估 LLM 在预计神经科学成果方面的才能。

那么，具体是如何作念到的呢？

数据网罗

当先，团队应用 PubMed 取得了 2002 年至 2022 年间 332807 篇神经科学酌量相关的摘抄，从 PubMed Central Open Access Subset（PMC OAS）中索要了 123085 篇全文著述，诡计 13 亿个 tokens。

评估 LLM 和东谈主类人人

其次，在上头网罗的数据的基础上，团队为 BrainBench 创建了测试用例，主要通过修改论文摘抄来收尾。

具体来说，每个测试用例包括两个版块的摘抄：一个是原始版块，另一个是经由修改的版块。修改后的摘抄会显耀改动酌量成果，但保持合座连贯性。

测试者的任务是选拔哪个版块包含本色的酌量成果。

团队使用 Eleuther Al Language Model EvaluationHaress 框架，让 LLM 在两个版块的摘抄之间进行选拔，通过困惑度（perplexity）来计算其偏好。困惑度越低，示意模子越可爱该摘抄。

对东谈主类人人行径的评估亦然在调换测试用例上进行选拔，他们还需要提供自信度和专科学问评分。最终参与本质的神经科学人人有 171 名。

本质使用的 LLM 是经由预教诲的 Mistral-7B-v0.1 模子。通过 LoRA 时间进行微调后，准确度还能再加多 3%。

评估 LLM 是否纯系念

为了计算 LLM 是否掌合手了念念维逻辑，团队还使用 zlib 压缩率和困惑度比率来评估 LLMs 是否系念了教诲数据。公式如下：

其中，ZLIB（X）示意文本 X 的 zlib 压缩率，PPL（X）示意文本 X 的困惑度。

部分酌量者以为只可行为扶助

这篇论文向咱们展示了神经科学酌量的一个新目的，大约改日在前期探索的时辰，神经学人人齐不错借助 LLM 的力量进行初步的科研意见筛选，剔除一些在步履、配景信息等方面存在瓦解问题的策动等。

但同期也有许多酌量者对 LLM 的这个用法示意了质疑。

有东谈主以为本质才是科研最贫瘠的部分，任何预计齐没什么必要：

还有酌量者以为科研的要点可能在于精准的诠释。

此外，也有网友指出本质中的测试步履只推敲到了陋劣的AB 假定考试，真正酌量中还有许多波及到平均值 / 方差的情况。

合座来看，这个酌量关于神经学科研责任的发展还是曲常有启发道理的，改日也有可能膨胀到更多的学术酌量界限。

酌量东谈主员们如何看呢？

参考通顺：

[ 1 ] https://www.nature.com/articles/s41562-024-02046-9#author-information

[ 2 ] https://github.com/braingpt-lovelab/BrainBench开云体育(中国)官方网站