首个中文版ChatGPT来了：大模型的中国元“Yuan”

ChatGPT到底有多火?它已成为史上最快传播的应用,发布两个月后就有了 1亿用户。实现同样的用户量,TikTok需要近九个月,而 Instagram用了两年多。

未来几年,微软将继续增加投资 ChatGPT背后的公司 OpenAI 100亿美金,而 Google也于近日投资了另外一个同类公司 Anthropic将近 4亿美金,在硅谷科技圈和资本市场成为了 2023年最令人兴奋的科技进展。微软联合创始人比尔盖茨判断,ChatGPT的历史意义重大,不亚于 PC或互联网诞生。

国内在这次 AI变革的浪潮中同样反应热烈,其中就有国内通用人工智能初创公司元语智能,推出国内首个基于大模型的功能型对话产品 ChatYuan。

PromptCLUE全中文任务零样本学习模型

在正式介绍元语智能的功能型对话大模型 ChatYuan之前,我们先了解一下大规模多任务 Prompt预训练中文开源模型——PromptCLUE,它实现了中文上的三大统一:统一模型框架、统一任务形式和统一应用方式。

PromptCLUE在千亿中文 token上大规模预训练,累计学习 1.5万亿中文 token,在亿级中文任务数据上完成训练,并训练数百种任务集。它具有更好的理解、生成和抽取能力,并且支持文本改写、纠错、知识图谱问答等。

PromptCLUE支持几十个不同类型的任务,具有较好的零样本学习能力和少样本学习能力。针对理解类任务,如分类、情感分析、抽取等,可以自定义标签体系;针对生成任务,可以进行采样自由生成。

技术亮点

1.首个全中文任务支持的零样本学习的开源模型;

2.自动化高质量数据处理算法,产出海量高质量无监督和有监督数据用于训练;

3.基于高质量数据构建更加符合中文习惯的字典并从零训练中文大模型,模型性能效果更有保证;

4.融合多种训练策略训练大模型,具备在中文上强大的泛化、迁移和生成能力。

ChatYuan功能对话开源大模型

就其功能而言,ChatYuan可以用于问答、结合上下文做对话、做各种生成任务(包括创意性写作),也能回答一些像法律、医疗等领域问题。ChatYuan线上服务是基于百亿参数大模型,目前已开源了 7.7亿的参数模型,显存 6G左右,一张民用显卡即可加载使用。后续会陆续开源更多、更大参数量的版本。

ChatYuan基于 PromptCLUE结合数亿条功能对话多轮对话数据进一步训练得到,它去掉了文本理解、信息抽取类任务,加强了问答、对话和各种生成式任务的学习和训练;针对多轮对话容易受到上下文的干扰,加入了抗干扰数据使得模型可以在必要时忽略无关的上下文;加入了用户反馈数据的学习,对齐人类意图,使得模型不仅具有一定的通用语言理解能力、特定任务上的生成能力,也能更好地响应用户的意图。

技术亮点

1.基于从零训练的全中文任务支持零样本学习模型 PromptCLUE进一步迭代获取。

2.在中文领域首创了功能对话形式支持全中文任务,支持自由输入。

3.结合人类反馈的方法进行学习,对齐人类意图。

文本创作能力

上下文关联能力

元语智能认为目前公司发布的大模型中还有很多可以优化的方向,比如在某些场景下效果不稳定;在对齐人类意图、复杂推理和代码生成上还需要持续优化。

在未来,元语智能将在多个方向上持续精进,比如模型 size上将推出千亿级别参数模型、在对齐人类意图层面实现关键突破,并且提升至少 50%模型的覆盖场景,并且今年在国内实现行业通用人工智能的落地应用。

通用人工智能(AGI)的坚定信仰者—中国“Yuan”

元语智能是一家致力于提供通用人工智能技术(AGI)的初创公司,坚定通用人工智能信仰,持续不断在全球范围内,为实现可靠、有效、无害的通用人工智能贡献中国力量,让人类受益。目前元语智能已经提供了支持功能型对话的开源中文大模型免费下载及 API服务,以及基于网页、小程序的类「ChatGPT」的机器人交互产品等。

元语智能认为,通用人工智能(AGI)是下一代计算机基础设施,代表了人类未来主要人机交互和生活方式,并在不久的将来会使大部分行业广泛受益。

元语智能核心成员来自于中文 NLP开源社区「CLUE」及阿里达摩院、百度等互联网企业,在这里不得不介绍下「神秘」的 CLUE开源社区。

CLUE开源社区

2019年,随着预训练模型成为主流的趋势,国内陆续产生了一些预训练模型。可是国内没有一个可以衡量大模型效果的综合性中文基准,而国外已经有了 GLUE这样的通用预训练模型基准。所以 CLUE的发起人联合国内外 30多个产业界青年学者,一起共建了中文语言理解标准评价系统(CLUE)。CLUE的定位是要更好的服务中文语言理解任务,作为通用语言模型测评的补充,通过搜集整理发布中文任务及标准化测评等方式完善基础设施,最终促进中文 NLP和认知领域的进步和突破。

CLUE是一组评估机器能够像人类一样理解和响应中文文本的任务,上线于 3年前,也是第一个大规模的中文语言评估基准。在 CLUE的官网上,有语料库、排行榜、预训练模型和代表性的数据集等资料可供选择,包括文本相似度、分类、上下文推理、阅读理解、少样本学习和知识图谱等在内的 17项测评任务。自发布以来,获得了人工智能行业的广泛认可,同时将成果发布在顶会论文。众多头部公司包括阿里、华为、百度、字节跳动、美团、网易、OPPO、招商银行等都使用了 CLUE基准。

因此脱胎于 CLUE社区的元语智能,在多方面具备大模型的先天优势,积累了包括大量高质量数据、具备丰富的处理数据的算法和经验、沉淀了强大的大模型研发能力,并且非常重要的是,积累了十分活跃的开发者开源社区。

CLUE核心组织成员在 2022年看到了大模型和生成模型的潜力,以及基于对通用人工智能(AGI)未来的坚定判断,进行了近一年的技术孵化,之后创立元语智能。并且在 ChatGPT发布半年之前就已经在多任务大模型进行深入探索和研发,积累了大量经验。

团队进展

截止目前,元语智能主要在以下方面取得了有效进展:

•2022年 10月 1日发布 PromptCLUE1.0模型 & API—首个中文支持的零样本开源模型。目前全平台下载量:4.4W+,API调用量:10w+/天。

•2022年 11月发布 PromptCLUE1.5模型 & API—支持更多任务的零样本开源模型。

•2022年 12月 20日发布 ChatYuan—国内首个基于百亿参数大模型的功能对话产品,支持小程序和网页。

•2023年 1月 12日发布 ChatYuan大模型—首个功能对话开源模型供免费下载,全平台已有数万下载量。

•2023年 2月 3日发布 ChatYuan API—可供 API调用的功能对话模型。

国内 AGI困境

其实包括元语智能在内,国内无论是大型科技公司还是创业公司,目前都面临着各式各样的挑战,很难有像 OpenAI的资源和人才密度。国内创业公司或许在一段时间内可以专心技术研发,但很快就会受到盈利压力的挑战,而不断调整战略方向。大型科技公司虽然看起来资源充足,但是很少能在未有落地成效的情况下,坚定信念进行长期持续投入基础设施建设。

在元语智能看来,国内目前主要有以下多方面的问题:

•人力、算力方面的资源瓶颈。国内行业内相对来说更缺乏耐心,在未见到明确收益前持续投入不足,资本也同时缺乏耐心。

•中文高质量的数据积累不足,国内开源开放的生态相对薄弱。

•对 AI未来趋势的前瞻性判断不足,缺少具有坚定信仰的引领者。

•行业对 AGI创业公司信心不足,对于 AGI价值的共识不够。

未来愿景

因此,元语智能作为国内第一个勇敢前行的初创公司,并坚定通用人工智能(AGI)将普惠人类的信仰,给了国内通用人工智能行业从业者非常大的信心。

同时,元语智能强烈呼吁:国内从事人工智能研究的同行、长期关注科技行业的资本以及各行各业对 AGI感兴趣的朋友,要共同有耐心、有信心的坚持下去。他山之石,可以攻玉,但我山之石将会持之以恒。