更多精彩 >

数字人有多接近真人?全国首个高校大模型元宇宙科创大赛将迎来大比拼

2023-05-10 22:17:41   来源:  作者: 

摘要:随着大模型元宇宙热潮日渐高涨,虚拟主播、虚拟客服等数字人已从科幻走进现实。

随着大模型元宇宙热潮日渐高涨,虚拟主播、虚拟客服等数字人已从科幻走进现实。他们的语言、动作、表情等都十分接近真人。这样的虚拟数字人是如何打造出来的?5月19日举行的全国首个高校大模型元宇宙科创大赛——第四届“天马杯”全国高校科技创新大赛(简称“天马杯”)决赛将为大家揭秘。

 

据大赛主办方马上消费金融股份有限公司(下称“马上消费”) 副总经理兼首席信息官蒋宁介绍,本次大赛将赛道集中在前沿科技领域,以元宇宙为核心,设置了2D数字人驱动、3D数字人驱动、NLP(自然语言处理,属于人工智能的一个子领域) 三个赛道。

 

其中,2D数字人驱动赛道的赛题为“语音驱动数字人口型生成”,3D数字人驱动赛题为“视频驱动人脸生成”,NLP赛道赛题为“数字人播报资讯内容生成”。在前期的预赛中,参赛团队围绕这三大赛题进行开发,取得了让数字人具备“人的行为模式”的创新成果。决赛中,他们将通过现场演示、答辩,展示这些创新成果。

 

譬如,在2D数字人驱动赛道中,主办方提供了一系列真人录制的音画同步的短视频,以及对应的其中人脸的3DMM参数(这个参数用来表示人脸关键点位的空间坐标和形变)。有赛队基于这些数据开展建模训练,实现了通过分析语音信号中的语调、语速、情感等信息来预测说话人的面部表情。据此,可以一张图片和通过语音生成的表情参数作为输入,生成与输入语音同步的说话人人脸视频。

 

在3D数字人驱动赛道中,主办方提供了一系列真人录制的人脸短视频,以及对应的其中人脸的BlendShape参数(用于描述人体表面形状变化的参数)。有赛队基于这些数据,根据输入人脸提取的关键点信息与基准的人脸关键点计算差值,然后用差值加上额外计算参数输入模型去预测人脸表情变化。据此,仅通过摄像头就能捕捉面部表情并构建3D人脸模型。

 

在NLP赛道中,主办方提供了一系列基于真实新闻得到的素材——新闻以及与之相关的训练数据和测试数据。有赛队基于其中的训练数据,探索多种可行的预训练模型并最终选定一种模型,打造出了数字人新闻播音员。该数字人新闻播音员能够基于关键新闻素材(如时间、地点、人物、事件等)生成一段通畅、易读的资讯新闻。

 

蒋宁表示,随着大模型概念火爆,各种虚拟数字人如潮水般涌现。而另一方面,元宇宙又对虚拟数字人的语言、动作、表情等提出了更高的要求,需要虚拟数字人像真人一样“动起来”。在此背景下,“天马杯”决赛设置上述三大赛道,旨在以比赛促进数字人技术创新发展,探索让数字人能真实还原真人表情、语言和动作的新方法、新路径。

 

参加本次比赛之前,我们团队也在研究数字人,但往往更偏重理论,实用性不大。而本次比赛和我们平时的研究有一定的相关性,有利于我们将所学理论知识与实践相结合,提高团队开发数字人的技术水平。”参赛队代表USTC-Qingbo赛队队长李弘毅说。

image.png

图说:“天马杯”大赛海报资料图。马上消费提供


猜你喜欢

再添“国字号”荣誉 马上消费获批国家企业技术中心

马上消费

近日,国家发展改革委、财政部、海关总署、国家税务总局等联合公布2023年新认定(第30批)国家企业技...

2024-01-23

大模型时代将来临,马上消费的智能客服掀起新篇章

马上消费

智能客服在金融机构服务中扮演着越来越重的角色,但“智能客服不智能”的情况,至今仍然是金融机构和客户之...

2023-10-25

马上消费赫建营出席《银行家》论坛:ESG发展应以科技为支撑

马上消费

近日,由《银行家》杂志社主办的“2023 银行家金融创新论坛暨银行家金融创新成果发布会”在北京召开。

2023-10-19

助力西部金融中心建设,马上消费连续5年上榜重庆企业百强

马上消费

9月26日,由重庆市经济和信息化委员会指导、重庆市企业联合会(企业家协会)和重庆市工业经济联合会主办...

2023-09-27

原创

换帅!格力集团突曝大消息

董明珠格力电器格力集团

热搜第一!千亿格力换帅,网友:董明珠呢?

2024-02-19

艾斯谱光电完成新一轮股权融资

艾斯谱光电

日前,艾斯谱光电完成新一轮股权融资,由力合基金管理的四川省隆昌市产业基金投资,并于2024年1月正式...

2024-02-19

河南省举办首届家庭医生团队技能竞赛,华医网提供平台和技术服务

华医网

2023年11月11日,由河南省卫健委主办、河南省人民医院和阜外华中心血管病医院承办的“2023河南...

2024-02-19

重大突破!震有科技中标中广电5GToB专网项目

震有科技

2024年2月4日,震有科技成功中标《中广电移动5GToB专网项目》,这是震有科技5G专网核心网及配...

2024-02-19

“润”系美好品质生活“酱香”新潮出圈

GEL WORKS公

好的产品往往能给消费者带来好的体验。

2024-02-19

行业回暖叠加AI技术加持,上游消费电子产业链企业受益

上游消费电子产业链

2023年下半年至今,随着苹果、华为、小米、蔚来、三星等新机纷纷亮相,推动消费电子行业需求周期向上。

2024-02-19

沉稳扎根,焕新生长!“希望的田野”生生不息

新希望集团

改革开放以来,民营经济不断为国民经济发展注入活力和可能性。

2024-02-19

飞诺门阵完成Pre-B轮融资,战略布局双碳等新领域迈上新台阶

飞诺门阵

2024年开局之际,飞诺门阵正式宣布完成数千万Pre-B轮融资,由青岛安芙兰领投,仲山启诺、盐城国瑞...

2024-02-19

宏利香港及澳门 2023年第四季度及全年业绩实现强劲增长

宏利香港及澳门

宏利香港及澳门在2023年第四季度及全年的年度化保费等值(APE)销售额、核心盈利、新造业务价值、新...

2024-02-19

君恒医药完成数千万元天使轮融资

君恒医药

杭州君恒制药有限公司(以下简称“君恒医药”)正式宣布完成数千万元天使轮融资。

2024-02-19

投资家网(www.investorscn.com)是国内领先的资本与产业创新综合服务平台。为活跃于中国市场的VC/PE、上市公司、创业企业、地方政府等提供专业的第三方信息服务,包括行业媒体、智库服务、会议服务及生态服务。长按右侧二维码添加"投资哥"可与小编深入交流,并可加入微信群参与官方活动,赶快行动吧。

避免卡脖子,硬科技如何“逆境”突围?

2024年1月10日,由投资家网主办,财经锐眼、有时间协办,北京微金科技有限公司承办的“第十二届股权...

VC/PE眼中的“专精特新”

2024年1月10日,由投资家网主办,财经锐眼、有时间协办,北京微金科技有限公司承办的“第十二届股权...

国内首次!可重复使用技术验证火箭复用飞行成功!

星际荣耀双曲线二号可重复使用验证火箭第二次飞行试验圆满成功

坚守17年,AI“老兵”要上市了

科创板即将迎来一名新成员。

金山云旗下公司增资至4亿美元

金山云旗下公司增资至4亿美元

投资家网协办:首届深圳湾资本市场年会隆重举行

投资家网协办:首届深圳湾资本市场年会隆重举行

12月20日,由南山区资本市场协会主办,投资家网、桐鹏汇财金高管俱乐部协办的资本巿场年会随即举行。

“投资家网·2023中国价值企业榜”重磅发布

“投资家网·2023中国价值企业榜”重磅发布

身处百年未有之大变局,中国经济这艘万吨巨轮,早已屹立于世界舞台中央。

朱民对话瑞•达利欧:2024全球政治风险大于经济与金融风险|和讯财经2023年会

朱民对话瑞•达利欧:2024全球政治风险大于经济与金融风险|和讯财经2023年会

在全球经济经历了激进加息、经济增速放缓、地缘冲突、石油减产等种种事件之后,全球经济增长的态势继续放缓...

专家学者齐聚和讯财经2023年会 寻找中国经济信心之源

专家学者齐聚和讯财经2023年会 寻找中国经济信心之源

2023行至岁末。在诸多外部不确定因素依然强势的背景下,中国经济运行的积极因素正在调整、积累。

蓄势·共进|第17届中国投资年会·有限合伙人峰会即将开启

蓄势·共进|第17届中国投资年会·有限合伙人峰会即将开启

2023年末,充满高度不确定性的全球经济、此起彼伏的地缘政治冲突、重构调整的全球供应链——投资者正在...