中国大模型“加速度”！文心大模型3.5十余项技术突破，综合能力超越ChatGPT

8月1日消息,“科创中国”青年百人会(后文简称青百会)联合百度举办“青·创·汇”高端对话,围绕人工智能技术创新与产业发展交流研讨,同时正式成立“科创中国”青百会女性工作委员会。该委员会将鼓励更多女性投身科技创新事业,为女性科技工作者提供展示交流平台和职业发展支持,为推动科技经济融合工作贡献女性力量。

图:“科创中国”青年百人会女性工作委员会成立仪式

作为“科创中国”青百会轮值主席,百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜在现场分享了大模型产业实践与文心一言的进展。她表示,文心一言是百度在产业实践中发展而来的。2019年,百度推出了文心大模型1.0,然后持续演进到2.0、3.0版本,今年5月份升级到3.5版本。

“文心大模型3.5相比3月份的版本,效果提升50%,训练速度提升2倍,推理速度提升30倍,这得益于飞桨与文心的协同优化。“吴甜分享到,在基础模型训练方面,文心大模型3.5采用了飞桨最先进的自适应混合并行训练技术及混合精度计算策略,并采用多种策略优化数据源及数据分布,加快了模型迭代速度,提升了模型效果和安全性。同时,创新了多类型多阶段有监督精调、多层次多粒度奖励模型、多损失函数混合优化策略、双飞轮结合的模型优化等技术,进一步提升模型效果及场景适配能力。此外,文心大模型3.5新增插件机制,扩增了大模型的能力边界。

(图:“科创中国”青百会轮值主席、百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜)

全球领先的IT市场研究和咨询公司IDC在《AI大模型技术能力评估报告,2023》中指出,文心大模型3.5拿下12项指标的7个满分,综合评分第一,算法模型唯一满分,行业覆盖唯一满分。另据近期多个公开测评显示,文心大模型3.5版支持下的文心一言中文能力突出,甚至有超出GPT-4的表现;综合能力在评测中超过ChatGPT,遥遥领先于其他大模型,稳居国内第一。

大语言模型在产业中的应用非常广泛,吴甜表示百度各产品基于文心一言重构应用。例如,百度智能办公系统“如流”基于文心一言上线了智能总结、会议智能洞察、超级助手等多个新功能,实现工作模式的范式变革。再如,百度智能编码助手Comate可根据自然语言的描述,生成对应的代码片段,支持在代码编辑区内根据注释自动生成代码,已帮助80%百度工程师提升编程效率。

大语言模型在应用中的价值不断被验证,同时也在应用反馈中成长。吴甜表示,具备可行性的大模型产业化路径,类似于芯片代工厂。“由少量高技术投入且技术领先的大模型生产厂商,先把大模型生产出来,将复杂的算法、算力、数据封装。企业应用时,只需在大模型厂商提供的大模型基础上进行低成本地精调、适配、部署,高效应用到千行百业。”

当前,我国人工智能核心产业规模超过4000亿元,拥有全球最大的应用市场和最丰富的应用场景。大语言模型与应用场景结合能够带来显著的落地价值。比如智能办公、智能编程、智能营销、智能媒体、智能教育、智能金融等等。

有分析人士认为,随着人工智能成为各国科技创新的竞争高地,中国的大模型也呈现出井喷式发展态势。然而,真正的大模型需要深厚的技术积淀和充分的应用反馈,不可能一蹴而就。如今,以百度文心为代表的大模型正在渗透到越来越多的领域,不仅能够帮助推动传统产业转型升级和高质量发展,还会创造更大的增量价值,给产业发展,甚至是社会发展带来深刻变革。