速途元宇宙研究院举办的“共话元宇宙XR视界”主题沙龙,聚焦于当下活跃的AR/VR市场解析与探索。XR技术在元宇宙热潮中展现出新的活力,而年轻用户群体对消费级VR、AR终端、游戏、直播的热衷,催生了消费蓝海。此沙龙预示着元宇宙领域仍有无限挖掘潜力。
沙龙邀请了花房集团副总裁兼技术委员会主席唐赓先生,作为在线社交娱乐领域领军企业的代表,他的出席引发了与会者的深度思考。唐先生对AR/VR技术在直播中的应用与挑战进行了详尽解读,揭示了“元宇宙+直播”的全新发展方向。
花房集团副总裁,技术委员会主席,拥有22年丰富的行业经验,深耕操作系统、嵌入式系统、系统架构、企业级网络安全、音视频编解码、云计算、AI、AR/VR、元宇宙等技术领域,拥有多项技术发明专利。曾在雅虎中国、阿里巴巴工作多年,同时也是原摩比神奇公司的创始人/总经理,360技术委员会委员。他持有工业自动化控制专业学士学位和工商管理博士学位。
当前,AR/VR技术在元宇宙相关产业中备受瞩目。AR技术通过在现实世界中添加数据注释,借助智能手机提升的深度感应和处理能力,成为移动设备上的重要应用;而VR技术则以其沉浸式的体验优势,使用户完全沉浸在虚拟现实世界中。随着市场需求和技术链的推进,AR/VR产业正迎来新一轮的增长机遇。
花房集团,旗下拥有花椒直播和六间房,自2006年成立以来,不断创新,从PC端跨越至移动端,见证直播产品演变。截至2021年底,花椒直播注册用户达2.15亿,六间房直播注册用户近7890万,海外社交网络产品注册用户约9730万。花房集团现拥有丰富的产品与服务矩阵,包括花椒、六间房、花吱、HOLLA、Monkey等十余款产品,服务于全球用户。
面对直播应用从PC端到移动端的趋势,唐赓带领花房集团技术团队不断突破技术边界,探索移动端直播的更多可能性。在谈及AR/VR技术在直播的应用时,他表示:“这是一片充满乐趣的技术领域。”
唐赓认为,AR/VR技术是元宇宙技术体系的关键组成部分,无论是AR以虚强实,还是VR虚拟现实,均依赖于视觉提供实时交互反馈。AR/VR技术不仅限于人们熟知的可穿戴设备(如VR头显、AR眼镜),更是作为底层交互技术的重要存在。
直播领域已融入诸多AR元素。以花椒直播为例,其在移动直播初期(约2015-2016年)便率先引入美颜、萌颜贴纸等功能,代表了AR技术在移动端应用的典范。这类精准叠加的AR特效显著增强了直播效果。
VR技术在虚拟形象IP直播中广泛应用,通过收集现实物理世界的数据(画面、动作、角度、力度等),利用计算机图形算法生成视频画面,结合输出设备,形成用户可见的虚拟影像,配合实时互动技术,为用户提供虚拟形象直播/连麦等终端体验。
面对AR/VR技术在直播中的挑战,唐赓指出,主要在于基于手机摄像头的虚拟形象VR直播对硬件性能要求极高,且效果尚不完善,存在识别错误(如动作遮挡、大角度转身、大幅度动作)。尽管可穿戴动捕设备的方案成本相比过去大幅下降,但仍偏高,投入意愿较低。此外,不同厂商协议不互通,限制了虚拟形象在同一个场景中的互动,只能维持传统互动直播的形式。
唐赓及其团队给出了答案。随着用户需求的多样化,网络直播从娱乐应用转向数字多媒体信息分发窗口,增强用户个体体验和情感联结需求成为研究重点。元宇宙概念的兴起,为花房集团提供了新的发展思路。
早在2018年,花房集团通过产品调研发现用户希望以虚拟形象参与直播互动,但当时的技术条件不足以实现。在唐赓的带领下,团队迅速开展技术调研与开发,利用苹果手机的ARKit脸部表情肌识别功能,驱动虚拟形象表情运动,有效传递表情、情感等信息,满足了大V用户的需求。此外,团队采用自研3D引擎,实现了动作捕捉、面部捕捉等功能,迅速涉足元宇宙领域并取得进展。
花房集团在今年6月推出的虚拟主播“上古玄儿”,便是这一系列努力的结果。技术团队对软、硬件环境进行了大量优化,显著提升了直播流畅度,确保了画质、流畅度、特效表现均达到理想状态,使得“上古玄儿”以完美的状态开播,赢得了粉丝的喜爱。
花房集团自2019年起在直播行业内率先推出“Avatar”,支持主播与用户使用虚拟形象进行互动、社交;2021年,花椒数字艺术展示平台“花椒粒”上线,首发数字艺术藏品;2022年春节期间,花椒携手腾讯云“至信链”上链多款数字艺术礼物;同年2月,花椒“舞台版”虚拟直播间启动,邀请主播和用户步入直播元宇宙;今年6月,“上古玄儿”首播即吸引了大量粉丝,展现了技术团队在元宇宙领域的创新能力和上线效率。
速途元宇宙研究院认为,花房集团在直播技术的探索反映了元宇宙技术多年发展的缩影,从VR直播、AR美颜技术、虚拟人交互、数字艺术藏品的涌现,为直播生态的优化升级提供了巨大空间与可能性。随着技术的不断融合,“元宇宙+直播”将展现出更加蓬勃的生命力。
作为互联网技术领域的老兵,唐赓凭借对新兴技术的敏感洞察,不断推动技术升级与更新,引领团队开发了多种社交娱乐产品。谈及元宇宙,他解释道,初期理解为包含区块链经济系统的游戏,而现在,它不仅局限于游戏形式,还包括远程会议、在线办公、城市规划、工业建设、教育培训、在线购物、虚拟直播等多种场景。
唐赓强调,元宇宙底层技术在直播中的应用将更加全面,通过元宇宙场景与VR技术的结合,不仅能够继续传输音视频内容,还能传输音频和动捕数据,实现参与方的自由视角显示和互动,为内容创作与艺术表现开辟无限可能。
在安全方面,唐赓指出,随着数字化程度的提高,安全挑战日益加剧。元宇宙作为数字化高级阶段,重新定义了网络安全,内容安全问题变得尤为突出。花房集团将利用自身优势与用户社区深度合作,加强社会各界对网络安全的关注。
作为工商管理学博士,唐赓对于元宇宙技术的人才管理和储备有独到见解,认为选拔人才应根据岗位需求灵活制定标准,适应元宇宙覆盖的广泛技术领域,培养具备多技能的全能型人才。
花房集团,作为全球领先的在线社交娱乐服务提供商,正不断丰富产品矩阵和服务体系,探索多元宇宙的新应用场景,为用户提供沉浸式的极致体验。未来,我们期待花房集团在全球社交娱乐领域元宇宙布局的模式,将成为互联网新风口之一。