3D虚拟数字人设计探索和落地实践(上)

发布时间:2024-09-01

Image

3D虚拟数字人正在从科幻概念走向现实应用。快手科技的实践表明,这项技术不仅能够为用户提供全新的互动体验,还有望重塑直播和短视频行业的格局。

快手视觉互动技术负责人简伟华在DataFun数字人论坛上分享了该公司在3D数字人领域的最新进展。他认为,3D数字人技术正处于从“愚昧之巅”向“开悟之坡”迈进的阶段,类比游戏行业的千亿美金市场,虚拟世界互动有望在直播间和短视频生态中得到广泛应用。

快手的3D数字人直播互动解决方案分为平台侧和软件接入侧。平台侧构建了快手虚拟世界互动平台(KMIP),基于PaaS技术支撑各种上层应用;软件接入侧则有一体化接入的软件快手虚拟演播助手(KVS)和可接入的SDK。这种架构能够支持高品质的光学和惯性设备捕捉的数字人开播,同时也支持低门槛无穿戴动捕技术,只需普通摄像头即可实现开播。

在技术实现方面,快手的方案具有几个显著优势:首先,它能够对接快手的特效平台,提供数万款丰富特效;其次,通过高性能异构计算和云渲染,支持多观众和多主播的虚拟世界互动;最后,将AI能力融入开放生态,带来直播间的千人千面内容和互动。

在落地实践中,快手已经打造了多个成功的数字人IP,如百万粉丝的官方虚拟主播关小芳和歌唱类虚拟主播张凤琴。这些数字人在建模、驱动、渲染、运营等全链路环节都有了技术和经验积累,并被沉淀到数字人解决方案中。

更令人兴奋的是,3D数字人在多人虚拟世界互动中展现出巨大潜力。通过快手的小玩法开放平台,已经实现了虚拟世界杯、海上大作战等多人互动应用,显著提升了直播间的数据指标。此外,与知名IP合作的元宇宙演唱会也取得了巨大成功,如与熊出没IP合作的光头强元宇宙演唱会和周杰伦的元宇宙音乐空间。

简伟华认为,3D数字人的虚拟世界互动有望在半年到一年内实现规模化落地。快手不仅在技术侧提供支持,还在产运侧推出扶持政策,欢迎外部开发者和厂商合作,共同拓展这一新兴领域。

随着技术的不断进步和应用场景的丰富,3D虚拟数字人有望成为连接虚拟世界和现实世界的桥梁,为用户带来前所未有的沉浸式体验。在这个过程中,快手等科技公司的探索和实践无疑将起到关键的推动作用。