发布日期：2025-01-05 00:45    点击次数：152

新智元报谈“自拍偷拍”

剪辑：Aeneas 好困

【新智元导读】OpenAI o1和o3模子的奥秘，竟传出被中国询查者「破解」？今天，复旦等机构的这篇论文引起了AI社区的浓烈反响，他们从强化学习的角度，分析了终了o1的门路图，并追念了现存的「开源版o1」。

就在今天，国内的一篇论文，引得人人AI学者震恐不已。

推上多位网友示意，OpenAI o1和o3模子背后究竟是何旨趣——这一未解之谜，被中国询查者「发现」了！

注：作家是对奈何迫临此类模子进行了表面分析，并未宣称也曾「破解」了这个问题

骨子上，在这篇长达51页的论文中，来自复旦大学等机构的询查东谈主员，从强化学习的角度分析了终了o1的门路图。

其中，有四个枢纽部分需要重心温煦：策略运转动、奖励想象、搜索和学习。

此外，动作门路图的一部分，询查者还追念出了现存的「开源版o1」口头。

论文地址：https://arxiv.org/abs/2412.14135

探索OpenAI的「AGI之迷」

抽象来说，像o1这么的推理模子，不错被以为是LLM和AlphaGo这类模子的集结。

最初，模子需要通过「互联网数据」进行西宾，使它们约略结实文本，并达到一定的智能水平。

然后，再加入强化学习模范，让它们「系统地想考」。

终末，在寻找谜底的过程中，模子会去「搜索」处分决策空间。这种模范既用于骨子的「测试时」陈述，也用于立异模子，即「学习」。

值得一提的是，斯坦福和谷歌在2022年的「STaR: Self-Taught Reasoner」论文中提倡，不错期骗LLM在陈述问题之前生成的「推理过程」来微调将来的模子，从而提高它们陈述此类问题的智商。

STaR让AI模子约略通过反复生成我方的西宾数据，自我「指引」到更高的智能水平，表面上，这种模范不错让言语模子杰出东谈主类水平的智能。

因此，让模子「深切分析处分决策空间」的这一理念，在西宾阶段和测试阶段齐饰演着枢纽扮装。

在这项责任中，询查者主要从以下四个层面对o1的终了进行了分析：策略运转动、奖励想象、搜索、学习。

策略运转动

策略运转动使模子约略发展出「类东谈主推理步履」，从而具备高效探索复杂问题解空间的智商。

海量文本数据预西宾

指示微调

问题分析、任务判辨和自我纠正等学习智商

奖励想象

奖励想象则通过奖励塑造或建模提供密集灵验的信号，带领模子的学习和搜索过程。

放胆奖励（基于最终放胆）

过程奖励（基于中间门径）

放胆奖励（左）和过程奖励（右）

搜索

搜索在西宾和测试中齐起着至关弥留的作用，即通过更多贪图资源不错生成更优质的处分决策。

MCTS等树搜索模范探索多种处分决策

贯串更正迭代立异谜底

集结两种模范可能是最好取舍

搜索过程中使用的带领类型：里面带领、外部带领，以及两者的集结

学习

从东谈主工大门户据中学习需要甘愿的数据标注。比拟之下，强化学习通过与环境的交互进行学习，幸免了甘愿的数据标注老本，并有可能终了杰出东谈主类的施展。

计谋梯度模范，如PPO和DPO

从高质地搜索处分决策克隆步履

迭代搜索和学习周期

综上，正如询查者们在2023年11月所意象的，LLM下一个松弛，很可能便是与谷歌Deepmind的Alpha系列（如AlphaGo）的某种集结。

对此，有网友示意，这项询查的真谛毫不单是是发表了一篇论文，它还为大多量模子翻开了大门，让其他东谈主不错使用RL来终了疏导的观念，提供不同类型的推理反馈，同期还开采了AI不错使用的脚本和食谱。

「开源版o1」

询查者追念谈，尽管o1尚未发布工夫叙述，但学术界也曾提供了多个o1的开源终了。

此外，工业界也有一些访佛o1的模子，举例 k0-math、skywork-o1、Deepseek-R1、QwQ和InternThinker。

g1：这项询查可能是最早尝试再行终了o1的口头。

Thinking Claude：与g1访佛，但它通过更复杂和细粒度的操作来提醒LLM。

Open-o1：口头提倡了一个SFT数据集，其中每个反应齐包含CoT。询查者推测，这些数据可能来自东谈主类人人或一个刚劲的LLM。

o1 Journey：通过两篇工夫叙述中进行了详备形色。第一部分通过束搜索生成的树数据进行遍历，特定节点由GPT-4优化后用于SFT，这一策略不错被形色为人人迭代。第二部分则尝试对o1-mini进行蒸馏，并通过prompt来收复遮掩的CoT过程。

Open-Reasoner：框架访佛于AlphaGo，通过强化学习擢升模子性能。

慢想考与LLM：询查雷同分为两篇工夫叙述。第一部分与Open-Reasoner访佛，集结了强化学习和测试时的搜索。第二部分从QwQ和Deepseek-R1中蒸馏，并尝试了两种强化学习模范。

Marco-o1：口头将Open-o1的数据与模子本身通过MCTS算法生成的数据集结，用于SFT西宾。

o1-coder：口头尝试在代码生成范畴再行终了o1。

不同开源o1口头在策略运转动、奖励想象、搜索和学习范畴的模范对比

策略运转动

在强化学习中，策略界说了智能体奈何把柄环境现象取舍步履。

其中，LLM的动作粒度分为三种级别：处分决策级别、门径级别和Token级别。

智能体与环境在LLM强化学习中的交互过程

对于LLM的运转动过程，主要包括两个阶段：预西宾和指示微调。

在预西宾阶段，模子通过大限制鸠集语料库的自监督学习，发展出基本的言语结实智商，并战胜贪图资源与性能之间的既定幂律规矩。

在指示微调阶段，则是将LLM精真金不怕火单的下一个Token揣测，更动为生成与东谈主类需求一致的反应。

对于像o1这么的模子，融入类东谈主推理步履对于更复杂的处分决策空间探索至关弥留。

预西宾

预西宾通过大限制文本语料库的搏斗，为LLM设立基本的言语结实和推明智商。

对于访佛o1的模子，这些中枢智商是后续学习和搜索中发展高等步履的基础。

言语结实与生成：言语结实是分脉络发展的——句法模式较早领略，而逻辑一致性和抽象推理则在西宾的后期阶段迟缓酿成。因此除了模子限制外，西宾时长和数据构成也至关弥留。

天下学问获取与存储：学问存储具有高效的压缩和泛化特质，而抽象观念比拟事实性学问需要更粗莽的西宾。

基础推明智商：预西宾通过各样化的推理模式发展了基础推明智商，后者以精真金不怕火单推断到复杂推理的脉络结构迟缓领略。

指示微调

指示微调通过在多范畴的指示-响支吾上进行挑升西宾，将更动为面向任务的智能体。

这一过程将模子的步履从单纯的下一个Token揣测，更动为具有明确想法的步履。

遵守主要取决于两个枢纽身分：指示数据集的各样性和指示-响支吾的质地。

类东谈主推理步履

尽管经过指示微调的模子展现了通用任务智商和用户意图结实智商，但像o1这么的模子，需要更复杂的类东谈主推明智商来充分施展自后劲。

如表1所示，询查者对o1的步履模式进行了分析，识别出六种类东谈主推理步履。

问题分析：问题分析是一个枢纽的运转动过程，模子在处分问题前会先再行表述并分析问题。

任务判辨：在面对复杂问题时，东谈主类时常会将其判辨为多少可料理的子任务。

任务完成：之后，模子通过基于明确问题和判辨子任务的迟缓推理，生成处分决策。

替代决策：迎面对推理艰涩或想路中断时，生成各样化替代处分决策的智商尤为弥留。如表1所示，o1在密码破解中展现了这一智商，约略系统性地提倡多个选项。

自我评估：任务完成后，自我评估动作枢纽的考证机制，用于证实所提处分决策的正确性。

自我纠正：当推理过程中出现可控造作时，模子会取舍自我纠正步履来处分这些问题。在o1的演示中，当碰到诸如「No」或「Wait」之类的信号时，会触发纠正过程。

对于o1策略运转动的推测

策略运转动在开采访佛o1的模子中起到了枢纽作用，因为它设立了影响后续学习和搜索过程的基础智商。

策略运转动阶段包括三个中枢构成部分：预西宾、指示微调以及类东谈主推理步履的开采。

尽管这些推理步履在指示微调后的LLM中已隐性存在，但其灵验部署需要通过监督微调或尽心想象的提醒词来激活。

长文本生成智商：在推理过程中，LLM需要考究的长文本荆棘文建模智商。

合理塑造类东谈主推理步履：模子还需要发展以逻辑连贯方式，有序安排类东谈主推理步履的智商。

自我反想：自我评估、自我纠正和替代决策提议等步履，可视为模子自我反想智商的施展。

奖励想象

在强化学习中，智能体从环境中接受奖励反馈信号，并通过立异策略来最大化其长久奖励。

奖励函数时常示意为r(st， at)，示意智能体在时刻步t的现象st下践诺动作at所取得的奖励。

奖励反馈信号在西宾和推理过程中至关弥留，因为它通过数值评分明确了智能体的盼愿步履。

放胆奖励与过程奖励

放胆奖励是基于LLM输出是否相宜预界说盼愿来分拨分数的。但由于穷乏对中间门径的监督，因此可能会导致LLM生成造作的解题门径。

与放胆奖励比拟，过程奖励不仅为最终门径提供奖励信号，还为中间门径提供奖励。尽管展现了重大的后劲，但其学习过程比放胆奖励更具挑战性。

奖励想象模范

由于放胆奖励不错被视为过程奖励的一种稀奇情况，很多奖励想象模范不错同期应用于放胆奖励和过程奖励的建模。

这些模子常被称为放胆奖励模子（Outcome Reward Model，ORM）和过程奖励模子（Process Reward Model，PRM）。

来自环境的奖励：最平直的奖励想象模范是平直期骗环境提供的奖励信号，或者学习一个模子来模拟环境中的奖励信号。

从数据中建模奖励：对于某些环境，环境中的奖励信号无法获取，也无法进行模拟。比拟平直提供奖励，鸠集大门户据或偏好数据更为容易。通过这些数据，不错学习一个模子，从而提供灵验的奖励。

奖励塑造

在某些环境中，奖励信号可能无法灵验传达学习想法。

在这种情况下，不错通过奖励塑造（reward shaping）对奖励进行再行想象，使其更丰富且更具信息量。

然则，由于价值函数依赖于策略π，从一种策略预计的价值函数可能并不适互助为另一种策略的奖励函数。

对于o1奖励想象的推测

鉴于o1约略处理多任务推理，其奖励模子可能集结了多种奖励想象模范。

对于诸如数学和代码等复杂的推理任务，由于这些任务的陈述时常触及较长的推理链条，更可能取舍过程奖励模子（PRM）来监督中间过程，而非放胆奖励模子（ORM）。

当环境中无法提供奖励信号时，询查者推测，o1可能依赖于从偏好数据或大门户据中学习。

把柄OpenAI的AGI五阶段贪图，o1也曾是一个刚劲的推理模子，下一阶段是西宾一个约略与天下交互并处分推行问题的智能体。

为了终了这一想法，需要一个奖励模子，为智能体在着实环境中的步履提供奖励信号。

奖励集成：为通用任务构建奖励信号的一种直不雅方式是通过特定范畴的奖励集成。

天下模子：天下模子不仅约略提供奖励信号，还不错揣测下一现象。有询查以为，视频生成器不错动作一种天下模子，因为它约略揣测将来时刻步的图像。

搜索

对于像o1这么旨在处分复杂推理任务的模子，搜索可能在西宾和推理过程中齐施展弥留作用。

搜索带领

基于里面带领的搜索不依赖于来自外部环境或代理模子的着实反馈，而是通过模子本身的现象或评估智商来指引搜索过程。

外部带领时常不依赖于特定策略，仅依赖于与环境或任务关系的信号来指引搜索过程。

同期，里面带领和外部带领不错集结起来指引搜索过程，常见的模范是集结模子本身的省略情趣与来自奖励模子的代理反馈。

搜索策略

询查者将搜索策略分为两种类型：树搜索和序列修正。

树搜索是一种全局搜索模范，同期生成多个谜底，用于探索更粗莽的处分决策范围。

比拟之下，序列修恰是一种局部搜索模范，基于先前放胆迟缓优化每次尝试，可能具有更高的遵守。

树搜索时常适用于复杂问题的求解，而序列修正更安妥快速迭代优化。

搜索在o1中的扮装

询查者以为，搜索在o1的西宾和推理过程中，齐起着至关弥留的作用。

他们将这两个阶段中的搜索，分一名为西宾时搜索（training-time search）和推理时搜索（test-time search）。

在西宾阶段，在线强化学习中的试错过程也不错被视为一种搜索过程。

在推理阶段，o1标明，通过加多推理贪图量和延伸想考时刻不错捏续提高模子性能。

询查者以为，o1的「多想考」方式不错被视为一种搜索，期骗更多的推理贪图时刻来找到更优的谜底。

对于o1搜索的推测

西宾阶段搜索：在西宾过程中，o1更可能取舍树搜索工夫，举例BoN或树搜索算法，并主要依赖外部带领。

推理阶段搜索：在推理过程中，o1更可能使用序列修正，集结里面带领，通过反想不休优化和修正其搜索过程。

从o1博客中的示例不错看出，o1的推理格调更接近于序列修正。各样迹象标明，o1在推理阶段主要依赖里面带领。

学习

强化学习时常使用策略对轨迹进行采样，并基于取得的奖励来立异策略。

在o1的布景下，询查者假定强化学习过程通过搜索算法生成轨迹，而不单是依赖于采样。

基于这一假定，o1的强化学习可能触及一个搜索与学习的迭代过程。

在每次迭代中，学习阶段期骗搜索生成的输出动作西宾数据来增强策略，而立异后的策略随后被应用于下一次迭代的搜索过程中。

西宾阶段的搜索与测试阶段的搜索有所不同。

询查者将搜索输出的现象-动作对鸠集记为D_search，将搜索中最优处分决策的现象-动作对鸠集记为D_expert。因此，D_expert是D_search 的一个子集。

学习模范

给定D_search，可通过策略梯度模范或步履克隆来立异策略。

近端策略优化（PPO）和平直策略优化 DPO）是LLM中最常用的强化学习工夫。此外，在搜索数据上践诺步履克隆或监督学习亦然常见作念法。

询查者以为，o1的学习可能是多种学习模范集结的放胆。

在这一框架中，他们假定o1的学习过程从使用步履克隆的预热阶段起初，当步履克隆的立异遵守趋于安适后，转向使用PPO或DPO。

这一历程与LLama2和LLama3中取舍的后西宾策略一致。

强化学习的Scaling Law

在预西宾阶段，亏本、贪图老本、模子参数和数据限制之间的关系，是战胜幂律Scaling Law的。那么，对于强化学习，是否也会施展出来呢？

把柄OpenAI的博客，推感性能与西宾时刻贪图量，如实呈对数线性关系。然则，除了这极少以外，关系询查并未几。

为了终了像o1这么的大限制强化学习，询查LLM强化学习的Scaling Law至关弥留。

参考尊府：

https://x.com/MatthewBerman/status/1875202596350415332

https://x.com/WesRothMoney/status/1875051479180165489

https://arxiv.org/abs/2412.14135

上一篇：乱伦qvod “逮捕尹锡悦”暂停膨大！韩国今天发生了啥？    下一篇：阿朱 勾引 马斯克说：想见效，应该建立系统而非确立方针。