正在解析大规模强化学习(Large-Scale RL)奖励机制...
在冷启动阶段,DeepSeek 摆脱对海量监督标注(SFT)的依赖,设计了基于严格规则的正确性奖励函数(Rule-based Reward)。
在推演复杂逻辑时,模型遇到解题卡点会自发触发回溯机制,探索全新假设分支,从而在无监督引导下自主涌现自校验(Self-Correction)认知。
DeepSeek-R1 纯强化学习推理的核心突破机制:
- 规则导向奖励(Rule-based Outcome Reward):跳脱出主观人类评分,采用数学公式精确性验证与代码编译器通过率作为硬指标,从根本上杜绝奖励黑客(Reward Hacking)。
- 长思维链自主搜索:允许模型自主生成数千 Token 的内部推演序列,通过试错获得正向强化,自发形成“提出假设 - 逻辑验证 - 推翻纠错”的认知闭环。
- MoE 算力高能效支撑:借助 671B 稀疏架构将单步推理激活成本降至极致,使得在超长思考链下仍保持高吞吐与经济可行性。