您现在的位置是:不白之冤网 > 娱乐
ChatGPT踢到铁板了!能破解千禧数学困难,但论文复现率低至13.98%?_新浪财经_新浪网
不白之冤网2026-11-18 00:35:39【娱乐】2人已围观
简介炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会!来源:量子位)允中 发自 凹非寺量子位 | 公众号QbitAIOpenAI最近真是连连往数学界扔重磅炸弹。上个月,OpenAI宣
炒股就看金麒麟分析师研报,到铁但论低至权威,破解专业,千禧及时,数学全面,困难助您挖掘潜力主题机会!文复网(来源:量子位)允中 发自 凹非寺量子位 | 公众号QbitAIOpenAI最近真是现率新浪新浪连连往数学界扔重磅炸弹。上个月,财经OpenAI宣布其AI模型仅用88小时,到铁但论低至便攻克了困扰人类百年的破解千禧年七大顶级数学困难之一——N-S方程;昨天,又放出722篇数学手稿,千禧千禧困难又有仨。数学但在UniPat AI发布的困难PaperBenchX测评中,直面93个真实论文复现任务,文复网表现最强的现率新浪新浪GPT-6 Astra,完整复现率却只有13.98%。△10组受测配置在93个复现任务上总体与分阶段表现随橙想!当前模型已经能取得破解千禧年数学困难这样的伟大突破,但很少能完成一次可靠的端到端科学复现。(正经脸)这引发了一些思考:在广泛的AI for Science天地中,我们要以什么标准判断「做对了科学」?本着严谨踏实的科研态度,迈向AI数学家乃至General AI Scientist的第一步到底是什么?我们又该如何形成一套可印证、可比较的标准,真正衡量AI在科学研究上的进步?该用什么尺子衡量AI在科学里的进步?此时此刻,让我们再细品陶哲轩、邓煜等25位菲尔兹奖得主联名发布的公开信。他们肯定了大语言模型的数学能力急剧提升,已经能解决数学天地的重大困难,但也提出了更关键的问题:AI公司把解决数学问题当作基准测试,这对数学这门科学、对数学共同体都是有害的。所以,这不是一封反对AI的信,它问的是一个更朴素的问题:衡量AI在科学里的进步,到底该用什么尺子?信里还有一句分量更重的话:把解决数学问题当作基准测试的错位问题,只是更广泛的错位问题的一部分,这种错位同样影响着其他科学与创意职业,乃至整个社会。的确,上面提出的问题从数学天地扩展到自然科学乃至社会天地,只会更难回答。数学至少还有最后一道防线:Lean。证明对不对,机器可以逐步检查,答案的真假有兜底。可放到其他科学天地里,一个电磁仿真的反射系数、一条能带、一个收敛后的带隙,都没有Lean。一个和论文对得上的数字,背后可能是错误的物理模型、没收敛的仿真,或者碰巧凑出合理值的无效后处理。所以,在衡量AI自主提出问题、设计实验、做出新发现的General AI Scientist能力之前,有一个更基础的问题:它能不能可靠地把一项已经发表的科学工作重做一遍,并证明自己做对了?这个问题的逻辑在于,由于复现有唯一正确的答案,因此可以被准确评估。UniPat AI最近发布的一项工作「PaperBenchX」,瞄准的正是这件事——它从93篇研究论文中构建了93个复现任务,这些任务横跨电磁、光子、化学、材料、生物、机器人等12个研究方向和10种天地原生科学环境,含3168条专家校验的评分项,是国际上第一个多学科端到端论文结果复现的Benchmark。△PaperBenchX的任务分布、来源论文与评分项构成PaperBenchX的考试规则很简单:Agent拿到一篇真实论文、一个装好了对应科学软件的容器化环境、以及一份说明「要复现哪部分」的任务书;Agent交回一份可执行的复现工作流;评分标准、容差、参考答案全部对Agent掩藏。要求特别注意的一点是,论文本身是公开的,Agent当然能看到论文里的结果数字,但很明显的是,这场考试考的不是「猜答案」,而是考验AI能不能重建一条科学上成立的流程,并自己跑出支撑那个结论的证据。所以,PaperBenchX测的到底是什么?答案是:不测「得到了多少数字」,只认重新生成的证据。Agent交卷后,系统删掉全部输出、断开网络,在隔离环境里把工作流从头重跑一遍,评分器只相信重放产物。可以说,在某种意义上,就是为科学仿真搭的一道「Lean」。测得结果怎么样?结果是:在93个论文复现任务里,表现最强的GPT-6 Astra,完整复现率只有13.98%。这意味着,模型能够在不少任务中产出看起来合理的结果,但真正从头跑通完整工作流、生成与论文一致且可印证的证据,成功率还不到七分之一。这就是今天的AI与能够跨越不同天地科学边界的General AI Scientist之间的距离。PaperBenchX的意义在于第一次把这段距离量了出来。目前,UniPat AI团队从每个研究方向中选取1个代表性任务,共开源12个测试任务。这些任务覆盖不同研究方向和科学软件栈,可用于评测Agent、调试复现工作流,以及研究模型在真实科学环境中的端到端复现能力。并同时维护81个封闭测试任务,以维持PaperBenchX的区分度和长期评测有效性。13.98%背后,可靠复现卡在哪?接下来,我们具体看一下PaperBenchX在同一组93个任务上所评测的10组前沿模型与Agent框架配置,分析测评出来的结果,弄明白可靠复现到底卡在哪。△(a)为受测配置的阶段得分;(b)为交互轮数与得分关系;(c)为抽样轨迹的工作流时间分配局部完成不等于完整复现先来看图a,受测配置的阶段得分。可以看出在全部受测配置中,建模(Modeling)和执行(Execution)平均得分分别为62.70%和61.84%,印证(Validation)只有42.80%。这意味着, Agent能够完成部分建模、调用求解器并生成结果文件,但这些结果不一定正确,也不一定能够证明结果真正支持论文结论。综合来说,它们还很难把各个环节串联起来,完成一次完整、可信的复现。更多交互不意味着更好的复现结果再来看图b,交互轮数与得分关系。轨迹分析显示,长时间运行往往意味着反复尝试、故障恢复,或者在错误的模型设定上继续计算。这说明,交互轮数越多,分数不一定越高。前期决策决定后续执行是否有价值再来看图c,抽样轨迹的工作流时间分配。以Fable 5为例,它将37.1%的时间用于论文重建和代码实现,是五个模型中前期投入比例最高的,但它反而能够用较少的交互取得接近最优的部分得分。也就是说,论文理解、科学建模、参数选择和实验组织等前期决策是否合理,很大程度上决定了后续计算是否会变成资源浪费。因为如果几何结构、边界条件、模式定义或关键参数在前期已经设置错误,那么求解器即使正常运行,也只是在计算错误的科学系统。前期一个错误决定,可能使后续数小时的计算全部失去价值。综上所述,单看貌似跑通的结果或得出的最终输出,是无法区分不同失败原因的。有些Agent的实验成功运行,但科学模型或结果分析错误;另一些Agent则是因为缺少可信求解过程或代码有误无法完成重跑。UniPat AI团队也进一步指出了要达成「可靠复现」的几个关键之处:困难不在于「能不能跑通」,而在「跑通的东西是否在科学上成立」:一个看似对上了的数字,可能来自错误的模型、不合适的参数、没收敛的仿真或无效的后处理;对结果的评测必须建立在重新生成的证据上,而不是Agent的自述上:删掉输出、断网、重跑、只认重放产物;目前部分进展是真实的,完整复现仍然稀少:Agent已经能写出合理的仿真并将其运行完成,但要让整个过程和最终结果都经得起印证,仍然很难。PaperBenchX的差异化设计把「整篇论文复现」确立为一种Agent评测范式,并不是UniPat AI创始,OpenAI的PaperBench也是类似的工作。但过往的任务汇集在机器学习论文天地,真正进入物理、化学、材料等科学研究场景后,复现一篇论文就不再是「把代码跑一遍」这么简单,会未遭三个挑战:理解科学问题:论文不是一份可以照着执行的说明书。直面真实的科学问题,Agent要求自己理解研究目标,判断边界条件怎么设、色散怎么处理、哪些参数会真正影响结论,而不是简单按照README把代码运行一遍;正确完成科学仿真:把代码成功跑起来,只是第一步。分辨率、求解器容差、采样时长等参数只要设置不当,就可能导致完全错误的数值结果。Agent还要求读懂诊断信息,识别数值发散等异常,并判断什么时候要求调整参数、加密网格。这些都不是通用的代码执行能力,而是莫大依赖具体学科知识的判断;判断结果是否真的可信:这是最容易被忽视、也最致命的一步。跑出一个和论文对得上的数字,并不意味着科学上做对了。错误的物理模型、尚未收敛的仿真,甚至不合理的后处理,都可能得到一个「看起来正确」的结果。因此,科学复现不像普通代码任务那样有一个简单的pass/fail标准,Agent还必须能够判断结果背后的科学过程是否可靠。真正的科学复现,要求Agent完成一条完整的链路:先理解科学问题,再执行科学计算,最后印证科学结论。这三项恰好就是一个AI Scientist必须具备的基本功:读懂科学、执行科学、判断科学。所以可以理解为,PaperBenchX测的并不是Agent会不会运行一段科研代码,而是它能不能完成一套相对完整的科学工作流。这也构成了PaperBenchX与已有类似基准的核心区别——这背后是这项工作的几个关键设计:第一,Agent必须在真实的科学软件里工作,而不是换了一套学科数据的机器学习任务。PaperBenchX覆盖12个研究方向、10种仿真平台,每个天地都有自己的参数体系、计算流程和收敛判据。已有基准(PaperBench、ScienceAgentBench等)基本局限在ML/Python栈里;PaperBenchX是第一个在不同学科天地让Agent直接直面Ansys HFSS、Ansys Lumerical、Meep、PySCF/GPU4PySCF、ABACUS这些天地原生求解器的复现基准。第二,Agent提交的产物必须能够完整重新复现。Agent提交后,系统会删掉全部输出、断网,并在隔离环境中重新执行整个工作流。只有能够在这一过程中重新生成的科学产物,才会进入后续评分——每条评分项锚定一个具体的科学要求,由程序检查和大模型打分判定。第三,有限的时间预算,要求Agent自己完成科研过程中的取舍。单任务预算4 – 24小时,中位数7小时。在这个时间窗口里,Agent要求自己决定如何分配算力:什么时候检查中间结果,计算失败后是否要求重新运行,哪些参数值得调整,以及有限时间内应该把精力放在哪些环节。这更接近真实科研中的工作方式,而不是一个可以无限尝试的代码执行任务。第四,印证方式杜绝蒙混过关的可能。一般的代码基准,跑一遍单元测试就知道对不对,但科学复现无法仅靠一个pass/fail判断。因此,PaperBenchX将印证拆成三个层次,每一层分别回答一个问题:能不能重跑出来:Agent提交任务后,系统会删除它生成的所有输出,断开外网,并在隔离环境中从头执行工作流。跑不出来的,直接不算。这一步过滤掉了所有手动拼凑结果、依赖缓存、从网上抄答案的可能;证据能不能溯源:必须能够追溯到对应的计算过程。比如,Agent声称某次仿真已经收敛,就要求提供相应的收敛记录;如果报告了某个物理量,就要求能够找到生成这一结果的仿真输出以及后续分析过程。这样,评测的不只是一个孤立的数字,而是支撑这个数字的完整证据链。科学上站不站得住:最后,评测系统再判断结果是否满足具体的科学要求。每一条评分标准都会对应明确的科学要求和所需证据。对于数值一致性、单位、误差容差等可以明确计算的问题,由程序自动检查;对于要求结合天地知识进行判断的问题,则交给LLM评审。而且,Agent自己写的「复现成功」这类文字,永远不被当作证据,也不被当作对评委的指令。这样才能避免Agent通过写一份看起来很完整的报告,却没有真正完成背后的科学计算来「蒙混过关」。那么,问题就进一步来了:一篇论文里的科学结论,究竟怎样才能被拆解成一组可以执行、可以重算、也可以客观判定的要求?PaperBenchX不是简单地把论文交给Agent,然后比较最终数字。每一道任务都要经过「构建候选任务」和「印证与审核」两个阶段,共九个步骤,才能正式进入评测。△PaperBenchX的两阶段、九步任务构建与印证流程也就是说,PaperBenchX把一篇论文里的科学结论,编译成一种新的对象:一条可以由AI执行、由环境重放、由原始证据重算、最后由评分器逐项印证的科学工作流。更多关于如何「把一篇论文变成一道可评测的科学复现题」的细节,可以去GitHub或官网Blog了解~GitHub开源链接:https://github.com/UniPat-AI/PaperBenchX官网Blog链接:https://unipat.ai/blog/PaperBenchX海量资讯、精准解读,尽在新浪财经APP
很赞哦!(16175)
相关文章
- 华为Mate X8大折叠真机再曝,“亮面”内屏折痕也几乎不可见|手机|全场景新品发布会_网易订阅
- 停摆倒计时,勇士已签下菲利普斯,自由市场抢人潮将至|克里斯|凯特尔|埃琳·菲利普斯_网易订阅
- 热火大胜活塞获4连胜:字母哥34+14+8 坎宁安33+8克莱26分|热火队|维金斯|罗宾逊|阿德托昆博|比利·坎宁安_网易订阅
- 观战台:西班牙火拼英格兰争小组头名 意大利德国迎生死战_比赛_进球_比利时
- 中国推进再生资源回收体系建设 解决“扔比买难”
- BLG夺得S16全球总决赛冠军,时隔五年中国战队再登世界之巅_赛区_Gaming_范佳来
- [流言板]达尼斯-詹金斯全场14投4中,得到10分5助攻2抢断-NBA新闻-虎扑社区
- 累计认定全国名特优新农产品24个、全国特质农品21个——石家庄“国字号”农产品是如何炼成的_新浪财经_新浪网
- [流言板]邵佳一去年11月上任后执教国足10场,取得4胜2平4负-中国足球-虎扑社区
- 火箭明天伤病报告:老范轮休,斯玛特禁赛,卡佩拉存疑,亚当斯大概率复出-NBA-火箭专区-虎扑社区
热门文章
站长推荐

又一国际品牌旗舰店落户南京西路商圈!加拿大羽绒服品牌Moose Knuckles启幕_新浪财经_新浪网

创新药进院难在哪?如何打通“最后一公里”?_医保_药品_目录

115.5㎡的家:业主亲自挑的天然石头,每一块都有脾气|卧室|玄关|客厅|电视墙|背景墙_网易订阅

佩珀代因海浪队详细背景资料(Oregon vs. Pepperdine )-CBA-留洋球员区-虎扑社区

“结婚22年两儿子均非亲生”,女方独家回应:我没出轨_姜先生_李女士_姜某

[流言板]马丁:今晚我们根本就没有紧迫感,比赛从头到尾毫无能量-NBA新闻-虎扑社区

华为余承东自曝是Mate X系列第一位用户,称大折叠已成千万用户主力机|手机|mate x_网易订阅

上海市中心这片区域的旧改,折射城市更新的一次居住刻度跃迁|枫林|东安|徐汇区_网易订阅