华为云田奇：如何炼成盘古行业大模型

在华为开发者大会2023(Cloud)上,华为云人工智能领域首席科学家田奇演讲中表示,华为云将践行AI for Industries,将盘古大模型打造成行业大模型,助力千行百业智能化升级。

华为云人工智能领域首席科学家田奇

田奇表示,生成式AI是智能化升级的新浪潮,大模型是生成式AI的核心。但目前全球基于大模型开发ToB应用的企业还不到三分之一,行业中的海量业务场景迫切需要更多专业的大模型和专业的AI应用来解决,来弥补通用大模型落地行业的不足。

他认为,通用大模型落地行业需要解决专业性、技能和数据安全合规三方面的挑战。

首先,通用大模型虽然通用性强,但专业性弱,需要具备行业专业知识才能给出专业准确的回答。其次,通用大模型虽然知识面广,但技能不足,企业场景复杂,需要模型具备多种技能。最后,数据安全合规也是一个挑战,因为数据是企业的核心资产之一,训练和使用大模型需要保障企业的数据安全合规。

为了应对这一挑战,华为云基于实践打造了分层解耦的大模型架构,加速大模型落地千行百业。该架构分为三层:L0、L1和L2。L0层是基础大模型,包括语言、视觉、多模态、预测、科学计算等五大基础模型,以及基于有监督微调和强化学习的上百种能力集。L1层是行业大模型,基础大模型学习行业知识,适配行业工作流程,形成具备专业能力的行业大模型。L2层是场景模型服务,提供开箱即用的AI应用。

田奇介绍了华为深耕行业,让盘古大模型从“知”到“行”的四大关键举措:

沉淀行业知识:学习10多个行业的公开数据和专有数据,掌握丰富的行业知识和机理。

淬炼行业技能:结合专家和行业数字环境的反馈进行强化学习,以达到符合行业应用的最佳结果。

对话专业工具:打通10多个行业插件,包括数学计算、知识图谱、求解器等,让大模型能重用大量行业资产、行业工具。

保障安全合规:提供公有云、混合云、大模型专区三种部署模式,保障安全部署;建立长效机制,确保数据集来源和使用合规、数据全生命周期安全、构建完整的数据标注以及审核机制、构建模型合规使用政策、确保模型使用边界。

此外,田奇还展示了华为云盘古大模型工程化套件,覆盖了数据处理、模型训练和应用开发三大环节。该套件提供了基于模板的Prompt在线辅助撰写功能、多人Rank在线标注和任务分拨功能等数据工程能力;提供了自监督预训练、有监督SFT训练、强化学习训练等三种工作流,支持一站式开发;提供了多种API和可调用工具,支撑企业分钟级构建大模型原生应用。

田奇表示,盘古大模型工程化套件把复杂的大模型开发过程,流程化,标准化,简单化,帮助行业用户一键启动,实现一站式开发。基于华为云盘古大模型工程化套件,完成一个千亿行业模型端到端的开发,从过去需要5个月缩短到现在1个月,整体速度提升5倍。田奇以学习和共建语言范式的盘古阿拉伯语大模型、发现和预测自然规律的盘古气象大模型以及理解和驱动行业升级的盘古铁路大模型这三个行业大模型为例,介绍了华为云如何以沉淀的工作方法和工程套件,为这些行业带来的全新革新。