卢一峰：如何让大模型进入“慢思考”？

卢一峰：如何让大模型进入“慢思考”？

12月16日和17日，极客公园举办了创新大会2024。在第一天的会场中，美国国家工程院院士张宏江和 资深工程师卢一峰开展了一场对谈。对谈中，卢一峰指出，现在的大语言模型仍是一种“快思考”模式，其答案来自互联网数据压缩和重新组织，但离“慢思考”，即帮人类解决难题的能力还有很远的道路要走。

卢一峰解释道，所谓慢思考类似于解决“如何把人类带到火星”这类问题，无法用Q&A快问快答的方式获得答案。而慢思考的结果需要像科学实验一样，在探索了不同的可能性之后才能获得。相较于“快思考”，“慢思考”是自我进化和智慧产生的开始。

那么如何让大模型进入“慢思考”？卢一峰认为，这要从两个角度回答。首先需要确定大模型在回答哪些问题时产生了“不确定”，“就像别人问我如何去火星？如果在回答的过程中，我在哪一步卡住、哪一个词上卡住了，我就会开始思考我到底在说什么，这就是我不确定的时刻。”

而在发现大模型的“不确定时刻”后，卢一峰指出，应该在这个时刻让大模型停住，进一步做探索和检索增强生成，让大模型从“不确定”走向“确定”。

而大模型的“不确定”性和目前的快思考模式，也是它们输出不准确或误导性的答案，即“幻觉”问题产生的原因之一。卢一峰认为，目前幻觉问题是阻碍大模型更深入地改变人类，提高人均生产效率的关键的阻碍。

解铃还须系铃人，解决幻觉问题也需要从“不确定”中入手。卢一峰指出，如今的大模型在压缩互联网数据后，已经对大部分知识和行为概念有合理了解。而在建立了大模型的认知后，需要使用检索增强生成的方法，了解模型的可信度在哪个环节显著下降，并在该环节上进行微调，让数据对齐。“我们可以想象这是一个教小朋友的过程（有专家认为，儿童在两岁到四五岁会进入撒谎敏感期，其间儿童容易受想象力和创造力的驱动而撒谎），如果看小朋友怎么思考，其实存在一种可能性是，即使用一套存在的知识教育他，但还是教会了他说谎。因为他以为自己需要天马行空的发挥，‘哪怕我不确定我不知道我也可以瞎说’。”

因此，为避免大模型“撒谎”，卢一峰认为，人们需要非常仔细、谨慎地选择数据，保证事实相关的数据能够真实地反映大模型认知中已存的、知识类数据。

而在数据的选择上，新的、高质量的数据来源在哪，也是一个业内正在探讨的问题。7月初，加州大学伯克利分校计算机科学教授、《人工智能——现代方法》作者斯图尔特·罗素就曾发出警告称，等人工智能驱动的机器人可能很快就会“耗尽宇宙中的文本”。那么，在未来的训练中，合成数据是否会是一个大趋势呢？

对此，卢一峰认为，这需要从数据的定义开始说起。他指出，数据实际上是任务和目标，“在我们用互联网的语料做词元预测训练时，每一个预测训练的目的都不同，比如This之后是不是要接is，这是英语语言上的训练。但如果给大模型一本侦探小说，让它把凶手的名字推理出来，这就是一个很难的推理训练过程。”

卢一峰认为，在明确大模型的训练目标后，自然也能明确在训练时需要什么样的数据，或需要合成什么样的数据。因此，他指出，如果需要让大模型执行创新类型的任务，这类任务所需的高质量数据就难以从互联网上获得，“除非你找诺贝尔奖获得者来帮你写一些语料，可能帮助大模型达到目的。在我看来最好的、帮助大模型做出真正创新的方法还是给它一个环境、一个目标，然后帮助它‘慢思考’达成自我进化，才能得出超人类的解法。”

采写：南都记者胡耕硕