腾讯游戏知几谷小雨履新，任德寿宫博物馆AI导览员

日前,由浙江省委宣传部指导、浙江广电集团谋划部署、浙江卫视与腾讯互娱公共研发体系下的知几团队共同打造的国内首位“宋韵文化推广虚拟人”谷小雨,华丽亮相宋韵文化节开幕暨南宋德寿宫遗址博物馆开馆仪式,并担任主持人。据了解,谷小雨已作为AI虚拟导览员“常驻”南宋德寿宫遗址博物馆,为来访游客互动讲解畅聊德寿宫历史文化,传颂经典宋词,同时也能指引展厅内的路线导览。

德寿宫遗址是南宋临安城内一处重要的宫苑遗址,是江南园林的集大成作,而南宋德寿宫遗址博物馆依托遗址原址,以遗址本体及出土物品的保护、研究、收藏和展示为主,同时展示南宋历史文化和遗产。

上任新岗位的谷小雨换了妆容打扮,珍珠面靥、柳叶细眉凸显出淡雅风格,印花抹胸加直领对襟褙子和百迭长裙还原传统宋制,窄袖褙子的下摆结合了宋代《梨花春燕图》中的造型特征,整体造型既展现宋人含蓄内敛的体态,又尽显少女婷婷袅袅的灵动,体现了地道的宋韵气质。一颦一笑,韵律自然,在谷小雨出众“业务能力”的背后,是腾讯互娱知几团队硬核的技术支持。

前沿技术助力虚拟人“拟活”,谷小雨能说会道展宋韵风采

为了使谷小雨能够与游客进行实时的语音对话,腾讯互娱知几团队运用了多模态AI语音问答技术,通过智能交互技术和AI赋能虚拟人,令谷小雨实现“听得懂”、“答得出”、“懂得多”三大目标。

具体说来,在“听得懂”方面,知几团队采用了深度学习、自然语言理解等AI技术,叠加由腾讯游戏语音GVoice和微信智聆语音两大技术团队提供的语音识别技术,多管齐下,保证小雨能准确地听懂游客的意图,并进行恰当的回复。

同时,区别于传统问答需要人工提前撰写大量预设的答案,知几团队自研的生成式对话算法可基于虚拟人性格背景,智能生成符合人设的回答。实际上,谷小雨在出任导览员之前,就已经进行了400G开放数据和30亿参数量的超大规模语言模型训练,再加上海量宋韵文献和由腾讯PGC问答架构团队提供的百科搜索引擎的加持,小雨成功掌握了宋韵百科知识,堪称宋韵文化“百晓生”。

在保证小雨对答如流“答得出”的前提下,知几团队还采用了语音驱动口型技术,通过适配各种音色、歌唱、语气词等不同类型的音频输入,学习种类繁多的情感语音数据,生成韵律自然、情感风格丰富和个性化的高表现力语音,配合灵动准确的面部表情和口型,让小雨的语音达到可媲美真人合成的效果,使虚拟人小雨真正地“活起来”。

从国内到海外,数字科技赋能千年宋韵

自今年6月首次亮相以来,“宋韵文化推广虚拟人”谷小雨秀才艺、做科普,登上央视丰收节晚会,不断拓宽着宋韵文化的传播面。在文化数字化的赛道上,这个“出生于宋朝”的虚拟人正不断做出更多积极探索。

除了在国内宣传推广宋韵文化,谷小雨也将宋韵文化输送到了海外。在今年中秋的2022“月是故乡明”华侨华人中秋晚会上,谷小雨通过大型冰屏在晚会现场从天而降,给海外侨胞和世界各地的观众传递宋韵之美,送上中秋祝福;在美国加州洛杉矶举行的亚洲秋庆节上,谷小雨也亮相活动现场,吸引了大量当地的汉服爱好者参与、打卡互动,并将内容上传至国际社交媒体。谷小雨在用数字化的创新表达,不断将宋韵文化的金名片传播至海外。不仅如此,谷小雨还正在参加第十八届中国国际动漫节,以年轻国潮之力,助力宋韵文化传播。

在不久的将来,腾讯互娱知几团队还将以此为合作契机,联合腾讯游戏学堂、浙江卫视以及中国美术学院,整合各方在AI技术、虚拟人技术以及广电端虚拟制片技术上的领先优势,深化“艺术”和“技术”合作,共同开展课题研究。在为谷小雨日常运营提供技术支撑的同时,持续对前沿的数字虚拟技术进行深入研发和产品化落地。

从国内到海外,从历史到未来,谷小雨以数字科技为内核,不断用现代化手段助力中国文化传播。