近日ღ✿✿，中国科学技术大学本科校友ღ✿✿、美国哈佛大学博士生陈勇超和所在团队以 Qwen-3B/7B/14B 为初始模型, 用多步监督微调（SFTღ✿✿，Supervised Fine-tuning）和群体相对策略优化（GRPOღ✿✿，Group Relative Policy Optimization）让模型在 144 个推理和规划的任务上进行训练ღ✿✿。训练过程中模型可以自由多次使用代码执行器来帮助推理ღ✿✿，这些任务都有符号计算的成分ღ✿✿，但是文字推理和符号计算哪个更合适以及如何相互配合其实需要模型自主学会ღ✿✿。

　　研究团队发现ღ✿✿，训练代码执行器（Code Interpreter）受限于模型的能力ღ✿✿。比如ღ✿✿，很多模型在过度的文字推理训练后ღ✿✿，代码生成能力反而会下降凯发K8官网ღ✿✿。这种能力下降在 Leetcode 这种特定代码基准上很难体现出来ღ✿✿，因为下降的能力是在解析具体抽象问题到代码或者符号计算这一步ღ✿✿。现实生活中很多问题也是这样ღ✿✿，尽管存在符号计算的因素ღ✿✿，但是想要抽象成符号计算的问题需要有很多思考ღ✿✿。

　　任务的多样性则是另一个挑战ღ✿✿。训练单个任务的代码执行系统很容易ღ✿✿，但是研究团队发现当任务种类繁多情况下ღ✿✿，模型就很难学会根据不同任务来决定策略ღ✿✿，很多任务对于策略的偏好性甚至是相反的ღ✿✿。鉴于此ღ✿✿，研究团队发现单纯靠强化学习很难达到很好的效果ღ✿✿，这和在数学任务或检索任务上使用强化学习就能完成训练存在不同之处ღ✿✿。“所以ღ✿✿，SFT 阶段在我们研究团队的任务上还是非常重要的ღ✿✿。”陈勇超表示ღ✿✿。

　　陈勇超认为ღ✿✿，未来基于大模型的代理或者具身智能系统在很多任务中都需要融入符号计算ღ✿✿，就像很多机器人领域的学者认为“未来的模型不是从视觉语言到动作ღ✿✿，而是视觉语言到控制”ღ✿✿。可以预见的是ღ✿✿，最先应用的是虚拟世界ღ✿✿，比如旅行规划ღ✿✿、网页任务以及各种科学问题求解女人POOPING大便A卫生巾ღ✿✿。同时ღ✿✿，虽然很多任务并不需要符号计算ღ✿✿，但是仍需要代码执行ღ✿✿，例如任务过程中需要画图来可视化ღ✿✿，这些场景也亟需训练模型融入代码执行器ღ✿✿。

　　据介绍ღ✿✿，R1-Code-Interpreter 工作是研究团队整个大课题的一部分ღ✿✿：把符号计算与基于大模型的推理规划结合起来（Neuro-Symbolic Foundation Models for Reasoning and Planning）ღ✿✿。现在的大模型推理规划基本都是直接基于纯神经网络以及文字推理来进行女人POOPING大便A卫生巾凯发K8官网ღ✿✿。但是ღ✿✿，有很多任务都是需要基于符号来计算优化的ღ✿✿，比如要让大模型帮用户规划旅行路线ღ✿✿，整个机票ღ✿✿、酒店ღ✿✿、时间ღ✿✿、地点和交通的选择都是在预算ღ✿✿、偏好ღ✿✿、行程和价格等因素下的优化与规划问题ღ✿✿。再比如ღ✿✿，机器人中典型的任务与移动规划ღ✿✿。前段时间特别火的“9.9 和 9.11 比大小”还有“strawberry 里面有几个 r”等问题ღ✿✿，让大模型生成代码来解决这些问题比直接文字推理要简单容易得多ღ✿✿。

　　在这个工作之前ღ✿✿，研究团队在 ICRA 2024 发表的 AutoTAMP[1] 和在 NAACL 2025 发表的 TravelPlanner[2] 利用其预先设计好的框架和算法把大模型与符号计算的工具相结合, 来做机器人和旅行中的规划问题ღ✿✿。这样做能带来很好的效果ღ✿✿，但是泛化性会有局限性ღ✿✿。比如ღ✿✿，面临不同任务需求时ღ✿✿，所需要的算法以及框架会不一样ღ✿✿，这时若为每个场景设计一个框架会显得十分局限ღ✿✿。现在大模型之所以这么火ღ✿✿，一大原因就是因为它超强的泛化性ღ✿✿。所以ღ✿✿，研究团队一直思考如何在让大模型能够在符号计算的同时ღ✿✿，又不损失大模型的泛化能力ღ✿✿。

　　2024 年ღ✿✿，陈勇超在微软研究院实习的时候ღ✿✿，首先想到的就是以代码为载体ღ✿✿，来融合各个算法ღ✿✿、控制器和规划器ღ✿✿。一方面ღ✿✿，因为符号计算就是在人为预先设定的规则语言下调用各种算法女人POOPING大便A卫生巾ღ✿✿，比如编程语言ღ✿✿、控制器以及规划搜索方法等女人POOPING大便A卫生巾ღ✿✿。另一方面ღ✿✿，当前的大模型在经过训练后ღ✿✿，天然具备代码编程的能力ღ✿✿。所以研究团队认为ღ✿✿，如果大模型能够自然高效运用代码执行器ღ✿✿，然后在文字推理和符号计算之间灵活调动ღ✿✿，那么在处理各种推理规划任务时会非常高效ღ✿✿。同时ღ✿✿，因为是否调用代码以及选择什么样的算法都是大模型自主完成凯发K8官网ღ✿✿，所以对泛化性没有损失ღ✿✿。

　　明确了这个方向之后ღ✿✿，研究团队先测试了一下目前 OpenAI 的 Code-Interpreterღ✿✿，借此发现目前 OpenAI 训练的 GPT-4o+代码执行器有很多问题ღ✿✿，比如有些任务很明显使用生成代码来解决会更好ღ✿✿，但是其实模型仍然会选择自己用文字推理ღ✿✿，然后导致出错ღ✿✿。研究团队还发现ღ✿✿，即使通过调整提示词引导模型生成代码来解决任务ღ✿✿，生成的代码也会经常包含无效的代码凯发K8官网ღ✿✿，未能充分利用符号计算ღ✿✿。最新的推理模型 o1ღ✿✿、o3 还有 DeepSeek-R1 也被发现存在这些问题ღ✿✿。后来ღ✿✿，研究团队把所发现的现有 Code-Interpreter 的问题总结成论文ღ✿✿，并以《在代码执行与文本推理之间引导大型语言模型》（Steering Large Language Models between Code Execution and Textual Reasoning）为题发表在 2025 国际学习表征会议（ICLRღ✿✿，International Conference on Learning Representations）[3]ღ✿✿。

　　而为了解决这些不足ღ✿✿，研究团队尝试训练模型来提高自如运用代码执行器的能力ღ✿✿。其中涉及到两个方向ღ✿✿：一是额外训练一个辅助的模型来指导主模型的生成ღ✿✿，好处是辅助模型的尺寸和训练难度都要小很多ღ✿✿，而且可以通过用最强的主模型来探测现在能达到的最强能力ღ✿✿。二是直接微调单个模型来兼顾纯文字推理以及符号计算的能力ღ✿✿，这对基础模型的能力要求比较高ღ✿✿。研究团队一开始尝试的是第一种方法ღ✿✿，训练出来的 CodeSteer[4] 能够让 GPT-4o 在 8B 模型的指导下ღ✿✿，充分利用符号计算来解决很多推理规划问题ღ✿✿，甚至在很多任务上比 o1 和 DeepSeek-R1 的表现还好ღ✿✿。第二种方法就是研究团队在此次 R1-Code-Interpreter 工作中所探究的ღ✿✿。

　　陈勇超认为ღ✿✿，未来的大模型做推理和规划任务的时候ღ✿✿，应该在三种方法模态直接自由选择和衔接ღ✿✿：1）自己直接生成答案ღ✿✿，大模型文字推理或者机器人里面 VLA 生成控制信号ღ✿✿；2）调用外部的工具（tool use）ღ✿✿；3）生成代码来创造合适的工具ღ✿✿。后续ღ✿✿，他计划探索一些方法把这三种模式都结合起来ღ✿✿。同时ღ✿✿，也打算在具体实际的应用任务上达到更好的效果ღ✿✿，来验证想法的可行性ღ✿✿。

　　一名中年人点头ღ✿✿，道ღ✿✿：“近几年来ღ✿✿，在这片广袤的大地上倒是出了几个超凡的孩子ღ✿✿，在没有长辈陪同的情况下ღ✿✿，横穿过十几万里大荒ღ✿✿，激战各种凶禽猛兽ღ✿✿，成功活着回到族中ღ✿✿。”

　　众人都笑了ღ✿✿，毛球跟杀鸡宰鸭子似的ღ✿✿，叫个不已ღ✿✿，捂着自己的眼睛ღ✿✿，不情不愿的将一颗金色的血珠滴落进鼎中ღ✿✿。

　　得到这个好消息后女人POOPING大便A卫生巾ღ✿✿，我马不停蹄地带着团队做了一个新的品牌推广计划给总部凯发K8官网ღ✿✿，内容大致为ღ✿✿：公司产品已经领先业界ღ✿✿，万事俱备ღ✿✿，必须在推广上下大力气ღ✿✿、花大工夫ღ✿✿。这份关键的得到批准并且开始运行之后ღ✿✿，我才决定重提个人计划ღ✿✿。8月初ღ✿✿，我再次到总部和Ericღ✿✿、Alan和其他高管约谈我的离职计划ღ✿✿。之前ღ✿✿，他们已经给出了破例的条件挽留我ღ✿✿，同时ღ✿✿，他们看到我在六月危机时的超强度工作ღ✿✿，以及在新推广计划设计上的呕心沥血凯发K8官网ღ✿✿，都以为我会接受续约的邀请ღ✿✿。

　　dz新闻信息服务许可证音像制品出版许可证广播电视节目制作经营许可证网络视听许可证网络文化经营许可证凯发K8官网首页ღ✿✿。凯发手机appღ✿✿。物流公司ღ✿✿。凯发手机appღ✿✿！凯发手机娱乐appღ✿✿。凯发k8官网首页ღ✿✿！凯发k8官网ღ✿✿。