一篇论文改写AI科研评价规则!中国公司拿出实践数据,双榜第一
全球大厂开始押注的AI科研,终于有了统一标准
一篇论文改写AI科研评价规则!中国公司拿出实践数据,双榜第一 – 量子位
首页
资讯
智能车
智库
活动
MEET大会
AIGC
扫码关注量子位
< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">
一篇论文改写AI科研评价规则!中国公司拿出实践数据,双榜第一
思邈
2026-08-24
21:21:22
来源:
量子位
全球大厂开始押注的AI科研,终于有了统一标准
允中 发自 凹非寺
量子位 | 公众号 QbitAI
今年8月,谷歌首席科学家Jeff Dean宣布离职,创办AI4S公司Discovery Loop。
同样是今年,OpenAI、Anthropic、英伟达等科技巨头相继官宣入局AI4S这一方向。
这批“跨界”大厂玩家的目标高度一致:不只做科研辅助工具,而是打造能自主跑完“假设→设计实验→执行验证→迭代优化”完整科研循环的“
AI科学家
”。
不只这些科技巨头,有许多公司已经更早入场。成立于2024年的中国企业
深度原理
,是全球最早押注AI自主科研方向的公司之一。
这一赛道背后是一片广阔的“金矿”。一旦AI能够实现自主闭环科研,
AI就能从“卖软件”升级为新材料、新药物等万亿实体产业的生产力基座
。
国家战略层面也重视这个赛道。AI驱动科学发现已被纳入
我国新一轮科技强国战略
。
行业越热,一个问题就越绕不开:怎么评价这些“AI科学家”们到底做得好不好?
旧的衡量标尺,已经不够用了
长期以来,行业通用的衡量AI科研水平的标尺是HLE这类闭卷知识考试。
它们本质上是只看最终答案的考卷,只看答案,不会看答案生成的过程。
获得高分的这类AI科研工具,通常让它做一个实际实验就会暴露问题:它们可能可以流畅的引用文献,但无法停下来审视反思异常数据,也可能给出看似头头是道,实际上无法执行的实验方案。
8月19日,一篇名为《Measuring AI Scientists: From Exams to Discovery》的论文发布,第一次为“AI进行真实科研的水平”提出了系统完整的评价范式,正式填上了这个衡量标尺的缺口。
论文由中国AI4S企业深度原理(Deep Principle)联合微软研究院、斯坦福大学、FutureHouse、Edison Scientific、艾伦人工智能研究所、加州大学伯克利分校等全球顶尖产学机构共同完成。
全球最大材料开源数据项目Materials Genome和库Materials Project创始人Kristin Persson、FutureHouse和Edison Scientific的创始人,近期《Nature》期刊Co-Scientist论文核心作者Andrew White、 科研智能体评测标杆ScienceWorld核心开发者Peter Jansen、2023年Nature上AI4S review的第一作者Yuanqi Du、 Terminal Bench的最后通讯作者Ludwig Schmidt等AI4S泰斗级学者奠定了框架的学术权威性;
深度原理作为唯一的中国产业代表
,以真实研发管线跑出来的一线经验,让这套框架具备落地的可操作性。
文章中甚至出现
诺贝尔化学奖得主Frances Arnold的署名
,一个不以AI见长且几乎不在AI4S界出现的科学家的名字,表明科学界的“权威”对这个方向的日益重视。
2026年,从科技大厂到创业公司,各类玩家纷纷入场AI科研赛道,行业竞争加剧。这一评测体系在这个时机出现,有其必然性。
如何系统、完整地评价AI的科研水平
论文的核心创新,是提出了
发现回合(discovery episode)
的评估体系。
这一体系的核心逻辑是用“
综合考核
”的形式,全程记录AI在整个科研周期里的每一步决策,最终对整条轨迹的科学性、严谨性和有效性进行综合评分。
考核方式和以前的“应试”逻辑迥然不同。
围绕科研闭环的三个阶段:科研假说、方案执行、实验结果解读,这个评估体系分别建立了评判维度,最终还要进行“全流程闭环测试”,衡量AI产出真实科研发现的综合能力。
△论文指出知识评测和发现评测的差别,并定义“发现回合”包含的评估要点
这套体系还重新定义了失败数据的价值:失败的实验数据恰恰是训练和评估AI科研的核心资产。
人类科学家能从失败中总结经验、规避弯路,AI做科研也应该学会从失败中获得经验。
而且,这个考核还对AI科研结果的真实性和独立性提出了高要求,确保实验结果是“货真价实“的新发现,不是无法实证的“自宣称成果”。
深度原理的MIRA,就是这套体系的现实样本
在这篇标准论文发布之前,头部玩家已经在产品中跑通了闭环逻辑,
深度原理的MIRA平台就是其中最典型的产业样本
。
普通科研AI的定位是“答题工具”,科研人员给出明确问题,AI返回对应答案。
MIRA的设计逻辑与普通科研AI截然不同,它搭建了覆盖“假设生成→模拟计算→实验验证→知识沉淀”的完整闭环系统,用三层架构
实现真实科研团队的完整协作逻辑
。
上层是分工协作的多智能体小队,可以统一规划和调度科研进程;
中层是打通高性能计算与自动化实验室的双执行引擎,实现干湿实验室联动;
底层是可沉淀、可复用的科研记忆体系,让每个项目的数据和试错结论都能留存,成为后续研究的基础。
△AI Scientist Mira实际操作页面
这套设计的产业价值,已经被公开基准测试印证。
在化学、能源、材料综合评测Research Claw Benchmark和药物发现评测Science Agent Arena中,MIRA均位列第一,且完成单项任务的平均成本也同样处于行业最优水平(最低),同时在性能和成本两个维度形成优势。
△MIRA在Research Claw Benchmark等评测中的结果
△Science Agent Arena药物发现榜单:MIRA以81.1%的综合分位列第一
深度原理此前推出的React-OT模型,可在0.4秒内计算化学反应过渡态,奠定了平台底层的高精度计算能力。
MIRA正是在这类专业模型的基础上,进一步串联起科研全流程。这一演进路径,恰是整个AI4S行业从工具到平台、从单点到闭环的缩影。
作为这套评测体系的核心产业共创方,深度原理已依托MIRA与自建高通量实验平台的干湿闭环,在
锂电、工业冷却液、新能源材料
等赛道布局多条自研管线,由AI主导全周期科研,真实沉淀闭环数据,让平台与评测框架形成持续的互相验证与迭代。
跨越干湿实验室的完整科研实践数据,是帮助AI快速掌握假设边界、规避重复试错的核心资产,预计未来也将成为下一阶段AI for Science发展的关键基础设施。
结语
这一标准范式的发布,是AI for Science赛道的一个里程碑节点,给所有奔跑的玩家划出了清晰的评判标尺。
但检验这个新标尺的数据却不易得。只有像深度原理和Edison Scientific这些拥有化学、材料、生物全流程研发能力、并且是AI native的公司才有可能做到。
过去的上半场,行业比拼的是“谁懂得更多”——大厂拼基座、拼参数、拼考试分数,用越来越难的题库,证明模型的知识厚度。
这些努力奠定了AI科研的基础,但也逐渐摸到了天花板。
接下来的下半场,比拼的将是“谁能真的做出东西”。
今年以来,从海外大厂陆续入局,到Jeff Dean创立Discovery Loop,再到国内深度原理等企业的科研闭环实践,整个行业都在朝着“让AI真正走完从假说到发现的完整闭环”这个方向前进。
如今,
AI科研的评价标准越来越接近科学本身的逻辑
,AI离真正成为可信科研生产力的那天,已经越来越近了。
想要完整了解“发现回合”评测体系的设计细节、测试场景与量化标准,可查阅论文原文:
《Measuring AI Scientists: From Exams to Discovery》
https://doi.org/10.26434/chemrxiv.15007582/v1
对MIRA平台感兴趣的朋友,可以在这里体验:
https://mira.deepprinciple.com/chat?invite_code=CN-89K6Y3UA
*本文系量子位获授权刊载,观点仅为原作者所有。
版权所有,未经授权不得以任何形式转载及使用,违者必究。
AI科研
深度原理
思邈
AI重塑商业,信任决定未来商业能走多远丨Visa大中华区总裁张文翊
2026-08-24
科学家只管提问题,AI负责跑实验:深势科技把科研全流程搬进桌面
2026-08-21
攻克行业级柔性操作难题!招商局狮子山人工智能实验室首次亮相WRC 2026
2026-08-20
具身数据底座开卖,首发5100元:机器人训练数据有了新解法
2026-08-19
扫码分享至朋友圈
相关阅读
材料版AlphaFold来了!40个工业任务全方位SOTA,AI4S迎来行业大突破
叠加LLM“训练buff”,材料AI终于学会了“物理直觉”
邓思邈
2026-06-01
LLM三段式训练
材料基座模型
深度原理
热门文章
闭源RSI的严父:18个Agent自主科研,Kimi K3靠Harness逼近Opus 5
2026-08-20
人形机器人开始打国球了!两台机器人完整打完11分制比赛
2026-08-17
MiniMax核心工程负责人阿岛离职
2026-08-19
用DeepSeek网页版就能瓜分鹅厂600万??!
2026-08-19
写2000字提示词,不如先生成3D白模!AI视频创作进入“预演时代”
2026-08-19
关于量子位
加入我们
寻求报道
商务合作
扫码关注量子位
追踪人工智能新趋势,报道科技行业新突破
量子位 QbitAI 版权所有©北京极客伙伴科技有限公司
京ICP备17005886号-1
本文来源:量子位