柳夜熙视频截图。
我,叫柳夜熙。
最近,新的美容专家刘夜熙首次亮相视频在互联网上爆炸,视频特效充满了先进的感觉,虚拟人真实生动,头发纹理,手动作几乎与现实生活相同,虚拟人与现实生活的互动也非常顺畅。这段美容专家的视频发布不到3030个小时,粉丝数量飙升至130万。截至11月23日,第一段视频已达到336.6万,粉丝数量已达到536万。
刘夜熙背后的创始人谢多生告诉贝壳金融记者,这段两分钟的视频只是刘夜熙的预告片,后续故事将以一集的形式在抖音上发布。目前,刘夜熙背后有150多支大中台团队,小前台团队不到10人。
2007年,当《初音未来》第一次用电子合成音唱歌,被日本秋叶原宅男称为公主殿下时,很多人认为这只是二维嘉年华。随着洛天一走进李佳琪的直播间,刘夜熙每天吸引数百万粉丝,虚拟人物不知不觉地进入了普通的大众生活。
今年,随着元宇宙概念的普及,虚拟人作为其元素之一也被推到了舞台上。2018年,当我们进入这条轨道时,许多人不知道什么是虚拟人,但今年似乎每个人都明白,许多投资者也在寻找相关的投资目标。次世文化公司创始人陈燕告诉《北京新闻》贝壳金融记者。
贝壳金融记者采访了虚拟从业者,了解到虚拟人分为三类:超现实虚拟人、虚拟偶像和虚拟人交互产品,并在不同领域实现了商业价值。然而,每秒数千到数万的高生产成本、实时渲染技术问题和难以超越人脑的人工智能技术也成为虚拟人发展的瓶颈。
塞仁正在捕捉面部表情。受访者提供图片
●打造
有超过1000万的虚拟偶像吸粉,几分钟视频成本几万元
手里拿着偶像海报,一字排开,齐声喊着生日快乐...11月2日左右,中国科学院大学、上海交通大学、海外剑桥大学、纽约大学的学生在哔哩哔哩上传了庆祝生日的视频。粉丝有很强的支持阵容。至于主角,不是传统意义上的真人,而是A-Soul的虚拟偶像嘉乐carol。
A-Soul是乐华娱乐2020年11月推出的虚拟偶像团体。起初,它遭到了原创虚拟主播粉丝的抵制。然而,在播出后不久,它精致的建模和中间人卓越的专业素质使许多反对者变黑。
一年来,A-Soul团队成为B站头部虚拟主播,其中嘉然B站成员粉丝126万。A-Soul的人气甚至衍生出很多亚文化梗,比如我真的很喜欢你、可爱捏、带我去。
虚拟偶像团体破圈,有行业爆发的影子。根据B站董事长陈睿公开的数据,2019年B站虚拟主播3.2万多名。
然而,聚在一起测试水并不意味着你能看到成功的曙光。根据一组公开数据,截至2021年8月18日,在B站3472位相对关注的虚拟主播中,1827人当月收入0元,也就是说,超过一半没有入账。
事实上,只要你设计一套3D模型,然后购买一套动作捕捉设备,你就可以成为一个主要的虚拟偶像。虚拟偶像行业观察家刘文(笔名)告诉贝壳金融记者,普通虚拟游戏锚使用基于面部动作捕捉的技术,换句话说,只要2D或3D皮肤,你就可以成为一个虚拟锚,可以像真实锚一样直播。
但刘文表示,动捕设备和3D建模都需要成本,效果越好,设备和模型成本越高,导致许多虚拟主播入不敷出。
早在2017年,火星文化创始人李浩就开始了虚拟偶像业务。目前,其虚拟形象沉默酱在全网拥有1800多万粉丝。他告诉贝壳金融记者,虚拟偶像在制作过程中是相似的。首先,使用建模工具制作3D模型并不断迭代,然后通过动作捕捉技术驱动角色模型的动作,并找到一个中间人。
李浩告诉记者,绝大多数虚拟主播都使用中间人和动态捕捉技术进行现场直播。第一个声音的未来和洛天一最初使用电子合成声音,但自第二批虚拟偶像诞生以来,中间人开始被广泛使用,因为虚拟偶像在说话时必须更像人。目前,在技术上,电子合成声说话与现实生活的一致性相对较高,但唱歌会产生明显的技术障碍,无法有效处理呼吸、气流声等效果,会让观众感到错误,使用动态捕捉技术可以有效降低生产成本。
事实上,虚拟偶像直播比播比现场直播更难达到数量级。据了解,目前的面部动态捕获和身体动态捕获属于不同的技术,所以在极端情况下,当一个虚拟偶像出现在工作室时,它的面部和身体应该由两个人分别携带动态捕获设备。此外,技术人员还需要合成两个动态捕获动画,然后与中间人的语音录制合成音频和视频,最终呈现观众看到的工作室效果。
去年4月,洛天依与李佳琪同框直播的噱头引起了一波关注。在直播过程中,李佳琪曾经听到洛天依的声音,但观众听不到翻车事故。
李浩告诉记者,虚拟偶像背后往往需要一个团队来支持它。以无声酱为例,内容团队有10人,包括导演、剧本、移动捕捉器、配音演员等。在技术方面,动画师必须根据不同的视频发布来修改无声酱模型。一个普通的短视频成本可能在6000元左右,几分钟的定制视频成本是数万元。
如果虚拟偶像的技术和动画团队可以被取代,中间人无疑是虚拟偶像的灵魂。2018年9月,音乐元素推出了虚拟偶像计划战斗歌手!经过两年多的运营,六位歌手的中间人于今年2月毕业,并在哔哩哔哩发布了告别视频。从那以后,当运营商宣布再次招募中间人时,许多粉丝在留言中说:改变‘中间人’或旧皮肤是不可接受的。
李浩说:我们与‘中间人’有着深刻的联系。如果虚拟偶像没有‘中间人’,我们至少应该停止一个月,因为即使我们找到一个新的声音演员来训练声音,聊天也可以,但唱歌很容易被看穿。
数字航天员,数字记者小建议。受访者提供图片
●瓶颈
柳夜熙烧钱爆红背后,成本高,技术高
早在半年前,创一科技就嗅到了元宇宙的风口,开始打造虚拟人IP刘,从市场定位、人物设置、人物制作、故事情节创作、拍摄执行、后期制作等方面不断打磨。刘的东方面孔、中式妆容和捉妖师的身份符合当前流行的民族时尚。同时,荧光元素的运用、科幻特效和赛博朋克风格的后期色调迎合了Z时代年轻人的喜好。
创一科技创始人谢多盛表示,对于刘的人气并不意外。团队复盘时也讨论过这一点:刘的人气50%是因为元宇宙的概念热度,30%是因为其2.5维度的设定和技术水平,20%是视频创意和世界观的构建。目前市场上的虚拟人大多以虚拟偶像的模式运作,大致可以分为培养、人格化、二维女团等类型。虚拟人的时空大多是二维或三维。创一科技将刘定位为2.5维-二维为纯CG,三维为现实世界,2.5维为游离。
目前,刘夜熙等后续虚拟人IP的实现方式短期内难以实现,仅靠烧钱维持其长期运行仍是个问号。然而,在创一的战略布局中,刘夜熙等后续虚拟人的实现方式主要有两种——传统IP经济和元宇宙未来的商业可能性。
贝壳金融记者注意到,现场虚拟偶像主要是二维绘画风格,刘、灵等虚拟偶像,更大程度上被称为超现实虚拟人,这种虚拟人往往不是现场,而是出现在微博、抖音、小红皮书等社交平台上,通过自己的照片和视频吸引粉丝,接受商业代言。
我们不做传统的二次元,也不接触虚拟锚的领域。凌制片人、次世文化公司创始人陈燕告诉贝壳金融记者,我们推出虚拟人主要应用于泛娱乐、品牌,粉丝大多更关注时尚生活,如果二次虚拟偶像粉丝可以与B站粉丝相比,那么超现实虚拟粉丝和小红皮书粉丝更相似。
贝壳金融记者发现,以中国超现实虚拟人凌为例,大多数商业广告类似于时尚明星,包括奢侈品和美容品牌。
与二维虚拟偶像相比,超现实虚拟人的视频制作成本也上升到了一个更高的水平。刘夜熙团队在接受贝壳金融记者采访时表示,在推出刘夜熙之前的半年多时间里,研发成本、人员成本等投资远超百万。
陈燕告诉贝壳金融记者,为了覆盖成本,公司内部制定了非常严格的产品规划。在每个产品结束之前,它将进行五到六个步骤的内部评估,包括每个IP在什么场景中使用它,以及试图创建什么级别的IP。以凌为例,我们将细化视频分为15秒、1分到2分钟,每季度计划一个重大事件,否则如果每周或每天更多,成本将无法覆盖。
事实上,在中国出现的现实主义虚拟人可以追溯到208年5月,Nex1早期Eptudios与Siriii联合推出的高保真数字虚拟人塞仁。在项目研发过程中,我们可以看到虚拟人行业昂贵的技术。
腾讯互娱工程师Davidiren在《虚拟数字siren的诞生》一文中用困难一词来形容塞仁项目。与电影行业相比,我们所有的计算都必须在当时发生。虚拟人程序每秒运行60帧,所有计算必须在16毫秒内完成。最后,四国顶级团队克服了软硬件带来的技术瓶颈,完成了这个项目。
目前,大多数超级虚拟人物项目仍难以实时直播。现在市场上可以实时(虚拟人)基本上是风格化的角色,现实风格通常是离线CG过程视频,有些只是使用虚幻引擎,我们一直坚持在线渲染,因为我们的目标是实时,着陆实时交互场景。NEX新技术研发中心副主任葛成说。
随着技术的迭代,超现实主义虚拟人的应用场景将越来越广泛。6月20日,新华社和腾讯联合推出了数字宇航员和数字记者的小建议。超现实主义虚拟人将承担载人航天工程和行星探测工程的现场报告任务,普通记者难以实现。葛成告诉贝壳金融记者,NExt数字人员团队一直保持在20人以内。
●变革
虚拟人I
随着技术的发展,超现实主义虚拟人、虚拟偶像甚至智能互动产品的界限逐渐模糊。虚拟人在未来能否实现技术统一,给市场带来了巨大的想象空间。
腾讯互动娱乐表示,在疫情等黑天鹅事件下,人与人之间的隔离将越来越需要互动和连接。虚拟人与虚拟世界不仅仅是一个娱乐场景,还需要考虑人与人之间的社会性和依赖性。数字人可以发挥更大的社会价值。除了数字宇航员和数字记者的身份,小郑未来还将为用户和年轻人进行更多的互动。在被越来越多的朋友认识和喜爱后,小郑也可以成为代表主流价值观的当代年轻人的虚拟偶像之一。
事实上,与虚拟人美丽的外表相比,与用户持续沟通更重要。陈燕说,他的愿景是在保持现有业务线的同时,追求与用户互动和虚拟IP的智能化和场景化,发展成为一家虚拟人生态公司。
目前,次世文化正在与小冰等顶级人工智能公司合作,努力扩大更智能的虚拟产品,即虚拟人不仅是IP,而且还增加了许多人工智能智能功能,以满足各种细分场景的需求。
随着人物建模、实时渲染、语音识别、动作识别等技术的发展,许多从业者看到了虚拟人的未来应用前景。在2021年世界人工智能会议的开幕式上,有四个虚拟人和现实主持人出现在同一舞台上——B站虚拟偶像风筝、百度的小度、小米的小爱同学和微软的小冰。其中,最后三个虚拟人都有自己的应用场景,例如,用户可以在小爱扬声器上喊小爱同学。
壳牌金融记者看到,目前市场上推广了许多虚拟人类产品,如科大讯飞、相信技术等公司推出了TO产品。贝克虚拟人
一些虚拟产品销售业务人员告诉贝壳金融记者,使用其提供的成品虚拟新闻主播每年的成本约为100万元。虚拟主播可以根据输入的文本内容自动生成适当的语音和表达,从而将文本报告转换为视频广播。如果你定制你的虚拟锚需要数百万,因为我们需要移动捕获和算法分析你提供的模型。
很多人看到虚拟人,只看到外表,但我一直认为虚拟人只是一个载体,最终促进虚拟人发展的是人类的需求。在现实世界中,当一个人的身体有缺陷时,他可以在虚拟世界中重新选择(他自己的形象)。通过人工智能技术,虚拟人工智能知识产权也应该与人类建立更稳定的关系。陈燕说。
京东集团副总裁梅涛在接受贝壳金融记者采访时表示,虚拟数字人的人工智能技术在未来可能会产生颠覆性的效果。以京东自己的数字人为例,包括2D和3D卡通数字人和真实数字人。数字人涉及的技术非常广泛,包括视觉和语音识别、语音合成和对话、图形学。未来,我们希望数字人能真正完成与儿童聊天、陪伴老年人、公共热线、智能客户服务等任务。因此,我们基于京东电子商务场景中智能客户服务的丰富实践,创造具有自身特色的数字人,希望在未来一到两年内形成相对成熟的标准化服务。你也可以看到,现在有很多初创公司在做数字人。经过几年的发展,可以说,数字人的技术和产品即将到一个爆炸性的时期。
据了解,2年SIGGRAPH18sia展台上曾展示AI驱动的样片,但当时AI只能进行一轮对话。
现在人工智能可以实现多轮对话,更智能,人工智能驱动数字人,未来是可预测的。虚拟和现实的整合是未来的总体趋势。数字人可以逐渐与现实世界产生情感共鸣,并可以作为社会的一部分存在。想想我们小时候看到的变形金刚、圣斗士、机器猫和葫芦娃都是虚拟角色,它们也已经成为影响我们这一代人的知识产权。随着数字人的蓬勃发展,可以预测,未来将会有更多与现实社会联系起来的虚拟角色。中间人是数字人无法逃脱的话题,但我相信人工智能可以在未来的某些特定领域更好地驱动数字人。葛程说。
如果虚拟偶像可以直播,就必须有‘中间人’。超现实的虚拟肖像,不能直播‘没有灵魂’。手机中的智能语音可以交互,但交互水平仍然太低。刘文告诉贝壳金融记者,如果虚拟偶像、超现实的虚拟人与市场上现有的虚拟助手相结合,这可能是虚拟人通向元宇宙的未来。
」