百度王海峰：规模定律未来几年仍有效

6月14日,2024北京智源大会在京举行。百度首席技术官王海峰受邀出席并作主旨演讲,对人工智能技术发展作出最新判断。王海峰认为,大模型为通用人工智能带来曙光,可以从两个角度解读,一是人工智能技术的通用性,二是能力的全面性。从人工智能技术发展趋势来看,未来几年,规模定律依然有效,大语言模型仍有很大提升空间,多模态大模型会越来越好用,智能体技术逐渐成熟加速应用爆发等。

通用人工智能新视角:技术通用、能力全面

人工智能是模拟、延伸和扩展人的智能。王海峰认为,大模型为通用人工智能带来曙光,可以从两个角度解读,一是人工智能技术的通用性,二是能力的全面性。

人工智能技术历经几十年发展,从早期的人工撰写规则,到后来统计机器学习,可以自动从数据中学习,但解决不同场景的问题需要不同的算法,演进到深度学习时代,算法的通用性大大加强,深度神经网络一套架构和技术可以解决各种问题,再到大模型时代,除了算法,模型也变得更加通用和统一。

在技术的通用性方面,大模型在解决不同任务、语言、模态、场景的通用性都变得越来越好。以自然语言处理为例,之前有分词、句法分析、语义匹配、机器翻译、问答、对话、等等很多个子方向,现在一个大语言模型就可以解决绝大多数任务;语言方面,大模型既可以解决单语言的问题,也可以跨语言,不仅学习了人类的自然语言,也学习了人工定义的形式语言,架起了从思考到执行的桥梁;同时,大模型也可以实现多模态的统一建模,广泛赋能各行各业应用,等等。总体上,人工智能技术的通用性越来越强。

在能力的全面性方面,理解、生成、逻辑、记忆是人工智能的四项基础能力,其他各项人工智能的典型能力,无论是创作、解题、代码,还是规划、决策等等,基本上都是这四项基础能力的综合运用。这四项能力越强,越接近通用人工智能。

文心大模型技术解读

文心一言是百度自主研发的新一代知识增强大语言模型,基于更强平台、更优数据和更好算法训练,从万亿数据和千亿知识中融合学习,突破知识内化与外用技术,具备知识增强、检索增强和对话增强的核心技术,在基础模型训练、数据构建与优化、对齐技术创新、提示优化、智能体机制等方面进一步创新突破。

智能体是在基础模型上,进一步进行思考增强训练,包括思考过程的有监督精调、行为决策的偏好学习、结果反思的增强学习,进而得到思考模型。智能体的思考模型可以调用工具来完成任务。代码智能体首先通过思考模型理解用户需求,经过思考,把完成任务的指令和相关信息整合成提示,输入给代码解释器;然后,代码解释器根据提示,把自然语言表达的用户需求翻译成代码并执行,相当于“用模型写代码让复杂的任务变简单”。

公开资料显示,百度自2010年起开始全面布局人工智能,2019年3月推出文心大模型1.0,持续迭代升级,去年10月发布文心大模型4.0。文心大模型的持续快速进化,得益于百度在芯片、框架、模型和应用上的全栈布局,尤其是飞桨深度学习平台和文心的联合优化。文心大模型的周均训练有效率达到98.8%,相比一年前文心一言发布时,训练效率提升到当时的5.1倍,推理105倍。

人工智能进入工业大生产

对于人工智能技术的进一步发展,王海峰认为,规模定律未来若干年仍将有效;大语言模型现在能力很强,还在快速进步,未来仍有很大提升空间;多模态大模型会越来越好用;智能体技术会越来越成熟。人工智能技术正在加速进步,产业进入爆发期。

王海峰指出,纵观人类经历的前三次工业革命,其核心驱动力量机械技术、电气技术和信息技术都有很强的通用性,会应用于各行各业,当它们呈现出标准化、自动化和模块化的工业大生产特征,核心技术就进入工业大生产阶段。人工智能基于深度学习及大模型工程平台,包括算法、数据、模型、工具等,也已经具备了非常强的通用性,并且具备了标准化、模块化和自动化的特征,所以深度学习及大模型工程平台推动人工智能进入到了工业大生产阶段,通用人工智能将加速到来。