http://www.incompleteideas.net/IncIdeas/BitterLesson.html Sutton 在2019年总结了 AI 研究 70 年的一个真实模式:从国际象棋到围棋,从语音识别到计算机视觉,每一次”靠精心设计的人类知识取胜”的路径都被”通用方法 + 算力 + 数据”碾压。他点出了一种研究者的心理执念——我们总想把自己对世界的理解直接灌输给机器,因为这让我们觉得自己懂、觉得自己有贡献。但历史一次次证明,可扩展的搜索和学习,长期看会赢。 里面反复提到的摩尔定律，是指英特尔创始人之一戈登·摩尔（Gordon Moore）提出的经验性观察，核心内容是：集成电路上可容纳的晶体管数目，约每隔18-24个月便会增加一倍，性能也将提升一倍，而价格则降低为之前的一半。换到AI领域则是每隔固定时间算力会得到质变提升。 The Bitter Lesson现在常用于衡量一种方法或理念是否足够遵循“苦涩教训”——即该方法，它能不能简单粗暴地随着算力的增加而持续变强？ 如果把大模型分为强化学习派(AI应当使用元方法从0开始积累能力)和监督学习派(给AI灌输大量人类已有的知识经验技能)两派的话，Sutton应该属于前者。目前的主流大模型都是后者，预训练不就是灌输知识嘛。我刚刚看了WhynotTV新的一期，Behavior Imitation也是经典的监督学习派。啊，总之前者的理论尚未被现实大规模验证过，我先不急着站队。 无论怎样，一个不能顺从时代潮流（现在的话就是算力的指数增长）的方法不是好方法。
2025 年 9 月,Sutton 上了 Dwarkesh Patel 的播客，直接说 LLM 是死路一条。他的核心论点是:LLM 在模仿人类数据、而不是从经验中学习,而这才是它根本的扩展瓶颈。换句话说,Sutton 认为目前主导整个行业的范式——预训练 + RLHF + 推理时算力——根本不算他原文里说的”learning and search”的真正落实。他认为我们需要一个新架构来支持持续(on-the-job)学习。 这件事的奇妙之处在于:整个 AI 行业过去六年都把 Bitter Lesson 当成 scaling 投入的理论依据,但作者本人在 2025 年说”你们误解了我的意思”。这不是反驳 Bitter Lesson 本身,但强烈反驳了”LLM scaling = Bitter Lesson 的胜利”这一通行解读。 The Bitter Lesson
- 1： 能否突破训练信号的质量上限
- 2 ：训练信号本身能否跟着算力扩张 但是当时人们只理解到了2的scaling，没有理解到1