OpenAI 推出全新 AI 模型 o1 系列，引领复杂推理新时代

2024 年 9 月 13 日，北京时间午夜，OpenAI 正式发布了一系列全新的大型语言模型（LLM），旨在专门解决复杂的推理问题。这些模型在科学、技术、工程和数学（STEM）领域表现卓越，标志着人工智能能力的重大飞跃。

图片

一、全新模型的推出

1. OpenAI o1

OpenAI o1 是一款全新的大型语言模型，经过强化学习训练，能够执行复杂的推理任务。与之前的模型不同，o1 在生成回答之前会深入思考，产生一系列内部的思维链。这种方法使得模型在解决问题时能够尝试不同的策略，识别并纠正错误，显著提升了推理能力。

图片

2. OpenAI o1-mini

为了满足对高效推理模型的需求，OpenAI 同时推出了 o1-mini。这是一款经济高效的模型，在 STEM 推理方面表现突出，尤其是在数学和编码领域。o1-mini 的成本比 o1 低 80%，速度更快，延迟更低，适用于需要推理但不需要广泛世界知识的应用场景。

二、性能表现

1. 数学领域的突破

在美国高中数学竞赛 AIME 中，o1-mini 取得了 70.0% 的得分，与 o1 的 74.4% 接近，远远超过之前的模型 o1-preview（44.6%）。这一成绩相当于美国高中生中的前 500 名水平，展示了模型在高难度数学问题上的卓越能力。

图片

图片

2. 编程能力的提升

在国际知名的编程竞赛平台 Codeforces 上，o1-mini 的 Elo 评分达到了 1650，与 o1 的 1673 相当，超越了 o1-preview（1258）。这使得 o1-mini 位于参赛程序员的第 86 个百分位，展现了其在解决复杂编程问题上的强大实力。

图片

3. 学术基准测试

在需要推理的学术基准测试中，例如 GPQA（科学）和 MATH-500，o1-mini 的表现优于 GPT-4o。尽管 o1-mini 缺乏广泛的世界知识，但在 STEM 领域的专注优化使其在这些任务上取得了领先。

图片

三、模型优化与创新

1. 针对 STEM 推理的优化

o1 系列模型在预训练期间专注于 STEM 推理能力的提升。通过使用高计算量的强化学习（RL）训练管道，模型学会了完善自己的思维过程，尝试不同的解题策略，并能主动识别和纠正错误。这种方法不仅提高了模型的推理深度，也提升了计算资源的利用效率。

图片

2. 思维链的应用

模型在回答之前会生成一个内部的思维链，模拟人类在解决复杂问题时的思考过程。这使得模型能够将棘手的问题分解为更简单的步骤，并在当前方法不起作用时尝试新的策略，从而显著提高了问题解决的成功率。

四、安全性与道德考量

1. 新的安全训练方法

OpenAI 为 o1 系列模型引入了一种新的安全训练方法，利用模型的推理能力，使其更有效地遵守安全和协调准则。模型能够在上下文中推理安全规则，确保在提供强大功能的同时，不会产生有害的输出。

图片

2. 提高越狱防护能力

与之前的模型相比，o1 在越狱测试和安全拒绝边界的评估中表现出显著的改进。在内部最严格的越狱评估中，o1-preview 的得分为 84（满分 100 分），远高于 GPT-4o 的 22。这表明新模型在应对试图绕过安全规则的请求时更加稳健。

五、局限性与未来展望

1. 目前的局限性

由于专注于 STEM 推理，o1 系列模型在处理非 STEM 领域（如日期、传记和常识等）的事实知识方面表现较弱。此外，模型目前还缺乏一些实用功能，例如浏览网页获取实时信息，以及处理文件和图片的能力。

图片

2. 未来的改进方向

OpenAI 计划在未来的版本中改进这些局限性，尝试将模型的能力扩展到 STEM 之外的其他模态和专业领域。这包括加强模型的世界知识储备，提升其在自然语言处理等方面的表现。

六、发布与可用性

1. ChatGPT 用户

• ChatGPT Plus、Team、Enterprise 和 Edu 用户：即日起可以在 ChatGPT 中访问 o1 和 o1-mini。

• ChatGPT Free 用户：计划在近期提供 o1-mini 的访问权限。

2. API 开发者

符合使用等级 5 的 API 开发者现在可以通过 API 访问这两个模型，享受更高的速率限制和更低的延迟。这些模型的 API 目前不包括函数调用、流式传输和对系统消息的支持，但 OpenAI 正在努力在后续版本中添加这些功能。

七、意义与影响

1. 推理能力的新高度

o1 系列模型代表了人工智能在复杂推理任务方面的新高度。其在数学、编码和科学等领域的卓越表现，将为解决实际问题提供强大的工具，推动相关行业的发展。

2. 安全与协调发展的典范

通过引入新的安全训练方法，OpenAI 展示了在提高模型能力的同时，确保其安全性和道德性的可能性。这为人工智能领域的安全与协调发展树立了典范。

3. 促进多领域创新

随着模型能力的扩展，o1 系列有望在医疗、物理、工程等多个领域发挥作用。例如，医疗研究人员可以使用 o1 注释复杂的生物数据，物理学家可以生成量子光学所需的数学公式，开发者可以构建和执行多步骤的工作流程。

图片

OpenAI 的 o1 和 o1-mini 模型的推出，标志着人工智能推理能力的重大突破。通过专注于 STEM 领域的优化和创新的强化学习方法，模型在复杂问题解决上达到了新的高度。未来，随着模型的进一步完善和应用领域的扩展，o1 系列有望在科学研究、技术开发和教育等方面产生深远影响。

作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～