这个月 AI 社区很阻止，尤其是 Llama 4 和 GPT-4.5 等新旗舰模子的发布。但你可能照旧严防到，东谈主们对这些新模子的响应相对正常。原因之一可能是 Llama 4 和 GPT-4.5 仍然是传统的模子，这意味着它们的查考莫得使用明确的强化学习进行推理。

与此同期，xAI 和 Anthropic 等强劲敌手在其模子中加多了更多推理时间和功能。举例，Grok 和 Claude 的界面当前皆为某些模子添加了一个「想考」（或扩张想考）按钮，不错明真正换推理功能。

非论如何，Llama 4 和 GPT-4.5（非推理）模子的低迷反响标明，咱们正接近仅靠扩张模子限度和数据所能达到的极限。

可是，OpenAI 近期发布的 o3 推理模子标明，在计谋性过问诡计资源方面，特等是通过针对推理任务量身定制的强化学习要领仍有杰出大的校正空间。据 OpenAI 职工在直播中先容，o3 使用的查考诡计资源是 o1 的 10 倍。

图源：OpenAI o3 与 o1 的性能与算力比拟。

天然单靠推理并非灵丹仙丹，但确乎能普及模子在挑战性任务上的准确率和贬把握题的时间（当前斥逐）。因此，Sebastian 瞻望以推理为重心的后查考将成为明天 LLM 经由的圭臬作念法。本文将考虑强化学习在推理方面的最新弘扬。

张开剩余54%图源：本文重心先容用于修复和校正推理模子的强化学习查考要领。

本文主要实质包括以下几部分：

默契推理模子； RLHF（Reinforcement Learning from Human Feedback）基础：一切从何而来； PPO（Proximal Policy Optimization）简介：强化学习的核默算法； RL 算法：从 PPO 到 GRPO（Generalized Return and Policy Optimization）； RL 奖励模子：从 RLHF 到 RLVR（Reinforcement Learning wit DeepSeek-R1 推理模子的查考要领； 从最近对于查考推理模子的 RL 论文中接收的教养； 值得柔软的推理模子查考盘考论文。

下文以作家第一东谈主称口气叙述。

默契推理模子

咱们领先来了解推理的界说。简而言之，推理（reasoning）是指使 LLM 好像更好地处理复杂任务的推理（inference）和查考手段。为了更严防地施展如何斥逐这小数（当前斥逐），我界说如下：在 LLM 的语境中，推理是指模子在提供最终谜底之前生成中间神气的时间。

这个过程每每被称为想维链 (CoT) 推理。在想维链推理中开云kaiyun体育，LLM 会明确生成一个结构化的语句或诡计序列，以证据其如何得出论断。具体如下图所示：

LLM 如何处理多神气推理任务的简便图例。模子并非只是回忆一个事实，而是需要齐集多个中间推理神气才能得出正确的论断。笔据具体斥逐面貌，中间推理神气可能会显现给用户，也可能不会显现。 发布于：中国香港