今天给大家分享的是简单、快捷、低成本的百度智能云超写实虚拟人平台,下面我们来看具体详情!
虽然数字虚拟人越来越受关注,如果要迎来大爆发,虚拟偶像甚至能部分替代频频爆雷的真人偶像地位,但是还需要新平台的出现。
因为,数字虚拟人从表面上看是一种娱乐,但本质上,数字虚拟人是新的网络应用服务,像社交、电商、外卖一样,需要强大专门的、专为虚拟人/虚拟偶像服务的平台。
新平台首先要做到:将打造超写实数字虚拟人的高门槛、高投入真正降下来,变成普及化服务。解决现在如果想开发超写实虚拟人,花费很贵、难以实时直播、也无法快速批量生产内容等诸多问题。
近期新发布的百度智能云“数字明星运营平台与灿星计划”,有可能就是这样的平台,它正是朝着让超写实虚拟人开发,变得更简单快捷、更低成本、更易运营这一方向去的。
简而言之,百度“数字明星运营平台”能做到:
用AI智能的方式快速打造数字虚拟偶像
打造的虚拟偶像既有3D超写实的、直接在真人基础上生成的,也有半写实或二维的、宠物化的,都能做到高效、快速生成。而且是一体化智能平台,既能打造IP也能运营IP,和我期望的新平台非常接近。
就在8月18号,和央视新闻联合举办的“百度世界2021”上,已经展示了几个典范案例,包括将央视著名主持人、真人明星龚俊都变成了数字虚拟人,以及Q版的火星车数字人等,展现了各种可能和场景。
“数字明星运营平台”的黑科技非常多、待小编一一道来。
用简单快捷的4D扫描+人工智能直接打造超写实虚拟人
目前的超写实虚拟人开发实在是太麻烦了:
高精度原画设计;
高写实3D建模;
导入高水准的虚拟人引擎;
高精度动捕;
高精致的修帧渲染;
这个流程还没包括人工智能,只做出形象和动作而已。这必然导致成本高昂、流程复杂,不懂行的人根本做不好。
而在“数字明星运营平台”上,情况会有重大改变:你可以不用去找CG公司做3D建模,也能打造出足够漂亮、足够高仿真的AI智能虚拟人。因为平台会通过4D扫描技术+人工智能,把你找到的真人变成有智慧的超写实虚拟人。
你只需找到符合自己要求的真人美女帅哥,当然孩子和老人也行,剩下的事情,就是由平台来帮你转化为超写实虚拟人,节省大量精力时间,也肯定比开发3D高仿真模型要省钱。
千万不要小看这件事,这意味着,哪怕你不是做动画的、不是做3D的、甚至不是做IP的,也可以开发出足够好的超写实虚拟人。这也意味着,任何网红也能直接把自己变成数字虚拟人了,而无需繁琐的建模工作,具有极为广阔的应用领域。
根据我拿到的第一手资料,描述一下这个开发过程:
第一步,用高精度4D扫描技术,对人体进行全方位扫描,捕捉真人的细腻表现。
第二步,用人工智能机器深度学习扫描数据,并用人工智能算法组合驱动丰富真实的实时面部表现,从而超高精度还原真人模特。
数字虚拟人的动态精模显著提升虚拟偶像“真情实感”的品质
其实以前见过用扫描生成的3D人,但由于没有结合人工智能,表情很不自然,尤其是口型失真,做出来的只是泥塑木雕的3D升级版而已。
所以结合人工智能进行深度学习和算法非常重要,只有结合了AI,3D人才可能显得有“真情实感”,才有资格称为“虚拟人”。
这是百度用4D扫描+人工智能所做的龚俊数字人,尽可能还原真人偶像的气质和魅力
这是百度为央视网开发的全新升级版数字人小C,也作为奥运信息搜罗官,出现在刚刚结束的奥运会上
第三步,设定五个关键维度,即表情、口型、毛发、布料、身型,来打造超写实虚拟明星,尤其是加入了表情可变的口型合成算法,让用户观感更亲切自然,彻底解决口型和表情失真的问题。
数字虚拟人的表情实现亲切自然的情感传递
数字虚拟人的口型与表情配合用AI解决口型+表情容易失真的问题
毛发、布料与身形尽可能细腻、自然和丰富
总之,只要有真人模特,平台就能帮你做出尽可能真实、自然、精细,以及实时驱动的虚拟偶像。
只需高精度照片或摄像头就能生成超写实虚拟人
上一种方法还需要真人模特,和专门的高精度扫描。
平台还有更极致的简单快捷办法:用标准人像照片或摄像头来生成。这种方法只需要高精度照片或视频。
方法1:你提供从单张或多张高精度照片,上传到平台,由平台生成超写实虚拟人的模型。
方法2:你也可以通过高精度摄像头进行面部捕捉和动作捕捉,上传到平台,同样也能生成超写实虚拟人的模型。
方法3:直接提供高精度视频也可以。
当然,要做出超写实虚拟人不只这么简单,平台还需要从妆容、发型、服装、音色等各个方面进行再调节,通过5个维度、15项参数,不断装扮出新鲜感。
在这背后,平台需要建立丰富的妆容库、发型库和衣柜,以及各种音色库供选择。
还有一个趣点:为了保证虚拟人不会做出不雅观的表现,平台专门设计了基于AI技术的数字人表情管理引擎,确保各种虚拟人的驱动表现仪态大方。
总之,一张照片就有可能生成一个虚拟人IP,然后发展为一个百变的虚拟明星。
我发现这样做,不仅是在造星,还意味着所有经典的、甚至是去世的真人明星、偶像,只要获得家属的授权许可,也能直接转化为数字虚拟明星,继续唱歌、跳舞和演出……
这有点永生的感觉,在元宇宙的虚拟世界里,生者与逝者,永远继续生活在一起……
一句话生成形象IP说出来等于做出来
这是比前两种方式更极致简单的方式:让普通人可以用一句话的简单描述,即可自动生成个性化3D虚拟数字形象。
你只需说出你想要的形象,说等于做,说出来就是做起来。比如——
1.你用语言描述形象的五官特征或者服饰,例如:帮我生成一个大眼睛的穿着裙子的女生。
2.你也可以用形容词描述形象,例如:帮我生成一个英俊、幽默的虚拟形象。
3.你还可以指定明星或职业等形象,例如:帮我生成一个长得像xx明星的虚拟形象等。
然后,平台系统就帮你生成、实现出来,然后不断调整、优化。
“一句话生成”的设想,准备在百度Apollo智能车联的新一代车载虚拟智能助手中落地。
设想一下,你作为老司机,你只需动动嘴,描述出来,就可以轻松拥有一个专属的虚拟形象助手,非常有趣、非常高效,而且生成的汽车虚拟助手也很多样化和个性化。
这背后的黑科技,是百度增强现实技术部正在研发的3D虚拟形象智能化生成方案,通过在语音识别、自然语言处理、知识图谱和增强现实等技术方面的深厚积累和跨模态多技术融合,加上海量的人物知识数据,才有可能实现。
现在正在建立的是——
专属虚拟形象知识库,实现对虚拟形象全维度的特征描述;
基于人脸图片的形象重建、特征提取,实现用户专属个性特征的实时复刻;
基于语音/自然语言处理实现多轮对话式自然交互,使得用户交互更加友好高效。
我认为“一句话生成形象”的应用场景远远不只是车载助手——
比如购物者可以一句话生成自己希望的虚拟导购员;学生可以一句话生成自己希望的虚拟教师;游客可以一句话生成自己希望的虚拟导游;甚至宅男宅女可以一句话生成自己的梦中情人……
这些都是在科幻电影电视剧中出现的设想,很快就会来临。活在当下,就是活在未来……
用AI增强IP角色的表达力
前面介绍的都是如何生成IP形象,下面的则是如何增加IP角色的表现魅力来快速打造内容。
这对短视频制作尤其有用。比如AI演同款,就是用AI技术自动学习热⻔短视频,结合自己的IP角色,就能一键生成表演同款视频了。
又比如TTS视频,TTS指的是文字演绎,你只要输入一段动作描述文字,就能自动生成一条相应动作的短视频。
又比如AI唱歌,通过TTS转化唱歌,虚拟人的口型、表情、动作都自动与歌曲合拍。又比如AI跳舞,可以通过对2D动画的舞蹈进行动作识别,再让3D人物学会跳舞。
还有AI动效,通过图像识别技术,匹配UI动效,增加角色的趣味性。以及AI换脸,如果品牌更换代言人,可以直接在原有内容上,更换品牌代言人的脸,快速生成运营内容。
以上这些,显然都能极大简化虚拟人短视频生产的复杂度,甚至做到一键生成,这样一来,虚拟人短视频就能具备和真人视频比产量、比速度的能力。
传统动画视频的生产制作都是相当缓慢的,即使想做快也快不到哪里去,往往还过于简陋。
而结合AI增强的虚拟人视频演绎,将有机会开启一个超级生产的时代。这对现在的短视频制作生态有相当大的颠覆作用,也对未来产生不可估量的影响。
充分兼容导入已有3D/2D模型
这意味着——现在已有的众多3D、2D动漫角色,可以直接在平台上转化为自己专属的数字虚拟人,省去了IP创作方的再开发时间。
也就意味着,现有众多高创作力、低技术能力的IP开发方,直接具备转化自己的IP为虚拟人的能力,可以无需建模、快速做出自己的数字虚拟人,甚至是虚拟偶像。
设想一下到未来,从喜羊羊灰太狼到熊出没光头强,从哪吒到姜子牙,从许仙到白蛇青蛇,从刺客伍六七到非人哉、全职高手,都能彼此交互的场景吧。这将开启全IP的虚拟世界……
“数字明星运营平台”上的其他功能,还包括20位现成虚拟偶像,让你可以先不急着打造新的IP,直接在平台上选择,快速一分钟上岗。
以及三种驱动模式:AI驱动、拟合驱动和真人驱动,让你既可以不需要真人直接用AI智能驱动,也可以用真人在背后进行“中之人”演绎。
还有丰富的数字资产库,包括多种风格类型的场景库、让镜头表达更自由的机位镜头库、道具库(包括动态道具)、贴纸库、音效库、服装库、发型库、表情库、动作库等等。
这些都很直观易懂,不必做详细介绍。
IP运营平台与灿星计划
“数字明星运营平台”不只能开发IP,还能运营IP,是一体化智能的闭环体系。而“灿星计划”是可以和所有现有IP运营者进行合作的计划。
简单来说,就是通过平台的支持,让不具备制作和运营数字虚拟人的IP开发者、众多品牌,直接具备开发和运营能力,从而增加IP所有者的各种收入。
比如,可以通过平台进行IP直播带货、IP直播社交、还可以进行IP商业演出、进行IP广告代言、IP联名,甚至可以让IP参演各种影视。
既可以合入百度现有的商业生态里,进行比如开屏广告、信息流广告、直播卖货和联名营销等,也可以在百度之外的平台上进行。
平台还建立了三维虚拟演播室系统,可以直接将虚拟人IP内容,推流到各大平台,而且不限于在百度,当然,在百度生态内还会有流量扶持计划。
所有这些,都是通过“数字明星平台”,用最简单、快捷的方式实现。
从现在到未来,数字虚拟人有两种最重要的表达:
一个是“代表我”:在社交娱乐等领域,虚拟形象成为人们创造个性化分身的基础设施,在不同场合下,让人们充分表达自我,释放个性。
另一个是“服务我”:各种服务趋向个性化、定制化,虚拟形象作为服务的实体化表现,有机会成为人们的私人助理、朋友甚至伴侣,为用户提供情绪价值和实用价值,参与用户的生活。
前者是用户个人的虚拟人化,后者是品牌、商业服务的虚拟人化,共同构成了未来的元宇宙。
一个能简化数字虚拟人创意生产制作的新平台,能充分帮助实现这一切,产生无限的可能。
当平台让数字虚拟人的开发和运营,变得简单、快捷、高效和低价时,就有可能实现——众多品牌+众多创意小团队+个人创造者的共赢生态平台。
数字虚拟人才能够成为互联网的基础服务,实现从购物到娱乐、从教育到新闻、从内容到社交的大爆发,一直到元宇宙……虚拟人是元宇宙的奠基石。
本文内容整理自IP蛋炒饭公众号
更多百度智能云超写实虚拟人平台相关内容,AI人工智能持续分享中!