“去年的阶梯是思维链,今年的阶梯是 Agent,Agent 之后必须解决持续学习,然后进入 AI 自我迭代的渐进奇点,最后才是具身智能。”梁文峰说。
梁随后表示:“这个奇点,它并不是一个奇点,它也是一个渐进的过程。”
这番表态,颇有“渐悟派”的遗风。
但与此恰恰相反的是“顿悟派”思想,即当模型规模扩大到一定程度后,一些没有被直接设计的能力,会在训练过程中自行出现。简而言之,其代表就是整个行业早已熟知的 Scaling Law 和“涌现”理论。 (图源:Scaling Laws for Neural Language Models)
OpenAI 前首席科学家 Ilya Sutskever 认为神经网络这种复杂系统,本身可能具备产生高级能力的潜力。随后 2020 年,包括 Jared Kaplan、Sam McCandlish、Tom Henighan、Tom Brown、Dario Amodei 等一众大神发表了论文《Scaling Laws for Neural Language Models》,论证了语言模型性能与模型规模、数据量、计算量之间的关系。
至此,Scaling Law 似乎成了达成 AGI 的不二法门。
一时间,Scaling Law 成为行业共识。2024 北京智源大会上,月之暗面创始人杨植麟公开表示:“Scaling Law 没有本质的问题,而且接下来 3 到 4 个数量级,我觉得是非常确定的事情。”同在会场上的零一万物 CEO 李开复也表示:“Scaling Law已被验证有效并且尚未达到顶峰。”