CHATGPT专注于推理的新人工智能模型GPT4.5

OpenAI 正准备推出代号为“Strawberry”的具有潜在推理能力和数学能力的人工智能模型。

此次发布可能会在未来两周内发布，标志着 OpenAI 在开发更先进的人工智能系统方面迈出了重要一步。初始版本可能仅限于一小部分测试人员。Strawberry，以前也称为 Q* 或 Q-Star，旨在增强推理能力。

Strawberry的“系统2”思维

虽然OpenAI尚未确认有关发布的详细信息，但据报道，它采用了一种“系统2”风格的思维，这是心理学家丹尼尔·卡尼曼在其著作《思考，快与慢》中普及的概念。这一过程涉及一种缓慢、深思熟虑和分析性的思维模式，用于有意识的推理。相对而言，系统1则是快速、直觉和情感化的。

就草莓而言，该系统据报道在“思考”时所花费的时间显著长于其当前模型GPT-4o。根据《信息报》的报道，它将在处理输入和潜在响应时花费10到20秒的时间，然后再分享最终答案，以减少错误。

此外，Strawberry（以前称为Q*）可能会：

• 专注于高级推理和问题解决能力。

• 展示解决数学问题的能力。

• 可能会集成到ChatGPT中——可能是一个名为Orion或GPT-5的模型。

《信息报》此前报道，OpenAI还在开发一个名为Orion的模型，该模型使用来自Strawberry模式的合成数据。Orion是一个独立项目，可能是OpenAI的下一个旗舰语言模型。

与STaR（自学推理器）的联系

一些来自路透社等媒体的报道指出，Q*/Strawberry的相关报道与STaR（自学推理器）之间可能存在联系。草莓与2022年发布的STaR研究论文之间的相似之处值得注意：

STaR从一小组示范逐步推理的示例（称为“推理依据”）开始。它接着提示一个大型语言模型（LLM）为一个更大的没有推理依据的问题数据集生成推理依据。这类似于为LLM提供一些已解决的示例，然后要求其独立解决类似问题。这种方法也被称为“自举”（bootstrapping）。

更接近真相的循环

该过程利用语言模型现有的推理能力，通过自学习循环迭代地改进它们。具体过程如下：

• 推理生成：STaR从一小组示范逐步推理的示例（称为“推理依据”）开始。接着，它提示大型语言模型（LLM）为一个更大的没有推理依据的问题数据集生成推理依据。

• 筛选：它检查生成的推理依据是否导致正确答案。只有那些能够得到正确答案的推理依据会被保留。

• 微调：LLM在这个经过筛选的问题及其相应成功生成的推理依据的数据集上进行微调。这增强了模型生成良好推理依据的能力。

• 迭代：该过程（步骤1-3）会重复进行。前一步改进后的LLM会再次生成同一更大数据集的问题的推理依据。这个迭代过程持续进行，模型通过自身生成的推理学习并随着时间推移提高性能。

• 推理化（可选）：为了克服仅从最初成功的推理依据中学习的局限性，STaR引入了“推理化”。对于模型回答错误的问题，它提供正确答案作为提示，并要求模型生成一个证明该答案的推理依据。这帮助模型从错误中学习，提高其在更具挑战性问题上的推理能力。

“STaR使模型能够通过学习自身生成的推理来提升自身能力，”论文总结道。作者们还指出：“我们认为，使用没有推理的示例来自举推理是一种非常通用的方法，而STaR可以作为在许多领域中更复杂技术的基础。”

逐步推理生成

逐步推理（Chain-of-thought reasoning）涉及将复杂问题分解为一系列中间步骤，每个步骤都形成一个逻辑链，以便于推导下一步。这种推理方式与人类的思维过程相似，使得推理过程比传统的深度学习更透明、更易于理解，后者虽然能揭示变量之间的隐藏联系，但却往往缺乏可解释性。

据报道，STaR和草莓（Strawberry）在解决数学问题方面都取得了成功。STaR论文分享了一些示例，展示了STaR如何生成数学问题的逐步解决方案，有时甚至找到比基准数据中提供的解决方案更高效的答案。

大家关注的问题

Q: 草莓（Strawberry）何时会向公众开放？

A: OpenAI计划在2024年秋季尽早将草莓集成到ChatGPT中。

Q: Orion是GPT-5的正式名称吗？

A: 虽然Orion预计将是GPT-4的继任者，但OpenAI尚未正式确认其为GPT-5。

Q: 草莓如何改善AI推理能力？

A: 草莓采用了一种名为自学推理器（Self-Taught Reasoner，STaR）的技术来增强其问题解决能力，使其能够更有效地处理复杂任务。

Q: Orion会完全消除AI的“幻觉”吗？

A: 虽然Orion旨在显著减少错误，但不太可能完全消除它们。然而，它应能提供更可靠和准确的响应。

Q: 草莓和Orion可能对就业市场产生什么影响？

A: 这些模型可能会自动化更多复杂任务，潜在地影响数据分析、编码和客户服务等领域的工作。然而，它们也可能在AI开发和应用方面创造新的机会。