2月29日，马斯克对 OpenAI 及其 CEO Sam Altman 等人提起诉讼。马斯克认为 OpenAI 应该作为非营利性组织运营，为造福人类社会而开发 AGI，并保持开源开放，而不是变为微软的事实上的闭源子公司。

上面这则新闻相信很多人都看过了，还有一份关于「OpenAI 在 2027 年实现 AGI」的 53 页 PDF，在互联网上流传。是什么原因让 OpenAI 有信心能在 2027年实现 AGI 的？

还记得之前 OpenAI 的宫斗吗？起因可能就是 Ilya Sutskever 发现 OpenAI 已经拥有实现 AGI 的重要工具。为了防止 AGI 过早到来，他才决定赶走 Altman。

这个重要的工具是什么？可能就是网上泄露的 Q*。

在说 Q* 前，先说一下神经网络。深度学习的神经网络，在概念上类似于生物大脑，参数就类似于大脑的神经元连接数，大脑的神经元连接规模可能在 100 万亿 - 200 万亿。

GPT-2 有 15 亿参数，不如一个小鼠的大脑连接数。GPT-3 有 1750 亿参数，已经接近猫的大脑连接数。

在 1750 亿参数的 GPT-3 发布后，许多人就对参数为 100 万亿模型的潜在性能进行猜测，推断结果表明，AI 的性能似乎会达到人类水平。

想要训练一个 100 万亿参数的多模态模型，需要的训练数据量已经超过了现在互联网上已有的数据。而且 100 万亿参数模型性能不是最优的，但是已经要花费太多的GPU 算力了。所以他们还需要使用 Chinchilla scaling laws（栗鼠缩放定律）来弥补这个问题。简单地说：就是在保持参数规模不变的情况下，投入更多的数据进行训练，可以让100万亿模型性能达到最优。

所以，现在问题就是哪来那么多的数据？答案可能就在Q*。

Q 是一个类 A 算法和 Q 学习的结合。A* 是一种启发式搜索算法，用来解决路径查找，Q学习（Q-learning）是一种无模型的强化学习算法，旨在学习特定状态下某个动作的价值。其最终目标是找到最佳策略，即在每个状态下采取最佳动作，以最大化随时间累积的奖励。

大模型能利用思维树（ToT）进行慢思考，结合类 A* 的搜索算法，进行路径规划，求解出从“问题”到“结果”的全路径，Q 学习的强化学习监督反馈能找到最优路径。

更进一步，可以将这个最优路径的推理过程，作为数据保存下来。因为这是一个强化学习监督反馈找到的最优路径，会是一个高质量的 token。而且这个方式还能生成即使在现实世界 中小概率才能产生的数据。因为不需要人工参与，就可以源源不断的生成出适合训练的高质量数据。再利用这些数据去训练大模型，有可能能匹配 100 万亿参数大模型所需的数据量。

OpenAI 想训练一个 100 万亿参数的多模态大模型，这需要很多数据，而 Q* 可以做到合成大规模的高质量数据。使用这些合成数据去训练一个 100 万亿参数多模态的大模型，有可能让这个大模型达到 AGI 的能力。当然，这些只是个人猜想。