-
公司新闻
-
国内首场数字人XR实时直播带货背后的“灵魂捕手”
发布:凌云光技术股份有限公司浏览次数:347哇,沐岚好美
虚实结合的直播太精彩了~
6月21号晚上,中国首位实时科技虚拟up主沐岚
与知名自媒体人大能同台
进行了长达近2小时的
国内首场数字人XR实时直播带货
随着虚拟技术的发展和对内容制作高质量的追求,数字人频频出圈,XR(扩展现实)被频繁的应用在各种大型节目或电影广告等视频制作上,但由于实时直播对稳定性要求极高,而XR虚拟制作涉及众多复杂的软硬件,再加上数字人的参与增加了复杂度与风险,因此XR+数字人+实时+直播带货,一直很难相遇。本次数字人XR实时直播带货成功的背后都有哪些技术支撑呢?
首先要讲的是虚拟制作,它是将计算机中虚拟场景与摄像机实景视频进行实时合成,使人物与虚拟场景能够同步变化,从而输出高真实感合成画面的视频制作方式,XR虚拟制作必须以LED大屏为背景且有屏外扩展画面。2021年春晚节目《牛起来》便是虚拟制作的典型案例。
本次直播,将摄像机跟踪、数字人、动作捕捉、LED大屏、UE5实时渲染等前沿技术或工具,有机结合到了一起。其中凌云光自主研发的FZMotion光学运动捕捉系统部署在场地中,保障了现场“中之人”的动作捕捉与真实摄像机的跟踪,是连接虚拟与现实世界的桥梁。
为了让真实摄像机在运动的时候,LED大屏上的画面以及屏外拓展画面能够发生相应的准确变化,FZMotion快速精 准的跟踪真实摄像机6自由度(6DoF, 6 degree of freedom)变化,结合镜头信息,传输至UE5虚拟摄像机实时渲染引擎。不同于机械跟踪或机身上安装相机(InSide-Out)的跟踪方式,当舞台周围多台真实摄像机同时需要被跟踪时,一套FZMotion系统便能搞定,无需根据被跟踪摄像机数量来增加跟踪系统数量。为了让沐岚动起来,FZMotion实时捕捉 “中之人”的动作,并融合面部捕捉与手指捕捉设备,将“中之人”的表情、手指动作、身体动作传递给沐岚并对其进行驱动。
一套动捕,多种跟踪
观众看到的包含沐岚的图像,其实由多个画面组合而成。一是真实摄像机拍摄到的,包含LED屏上的表演者、基于真实摄像机视角渲染而成的LED屏上画面。二是数字人沐岚,她被以AR前景的方式叠加到了画面一上。当摄像机拍摄到LED屏外的时候,还需要渲染屏外拓展画面,同画面一和二拼接。多个画面虚实融合,呈现给观众。而这一切,都离不开FZMotion的摄像机跟踪与真人动作捕捉。
由于系统复杂、存在不稳定风险,XR制作与数字人未能在实时直播中普及应用,本次FZMotion持续100多分钟的稳定表现,为数字人XR直播及时注入了一针“强心剂”。同时,FZMotion “一套动捕,多种跟踪”的优势,能够实现多人、多摄像机以及道具的跟踪,更是XR虚拟制作的神兵利器与高性价比选择。
【彩蛋】
沐岚与FZMotion同框解密直播黑科技,下期再会~
2022-06-27 -
免责声明
①本网刊载上述内容,并不代表本网赞同其观点或证实其内容的真实性,不承担此类作品侵权行为的直接责任及连带责任
②若本站内容侵犯到您的合法权益,请及时告诉,我们马上修改或删除。邮箱:hezou_yiqi
-
仪网通银牌会员 第 5 年
凌云光技术股份有限公司
认证:工商信息已核实
- 产品分类
- 品牌分类
- 线阵相机
- 面阵相机
- 高速成像产品
- 红外相机
- 高分辨率相机
- 科研仪器
- 高灵敏相机
- 光谱相机
- 窄线宽激光器
- 棱镜相机
- 超连续谱光源
- 全景成像
- 立体成像
- 光场成像
- 动作捕捉
- 采集卡&智能卡
- 镜头
- 读码器 & 激光打标
- 3D视觉
- X-Ray相机
- 高光谱多光谱相机
- 智能交通摄像机
- 工业视觉系统
- 光器件与仪器
- 超快激光器
- 光子晶体光纤
- 光谱仪
- 通用仪表
- 光接入网
- 科研相机
- 质量检测系统
- (比利时)比利时IMEC
- (美国)美国TOF
- (德国)德国inno-spec
- (加拿大)加拿大Polyga
- (日本)日本Kowa
- (美国)Teledyne PI
- (韩国)韩国LAON PEOPLE
- (美国)美国Lumencor
- (日本)日本茉丽特
- (法国)法国Mirsense
- (日本)日本Myutron
- (德国)AIM
- (西班牙)西班牙NIT
- (韩国)LAON PEOPLE
- (东莞)广东奥普特
- (美国)美国NAC
- (荷兰)荷兰Quest-Innovations
- (德国)德国PCO
- (德国)德国Raytrix
- (日本)日本nac
- (德国)德国施耐德
- (美国)美国SWIR Vision Systems
- (英国)英国Teledyne e2v
- (日本)日本VST
- (德国)Mikrotron
- (比利时)比利时Xenics
- (美国)美国I哦
- (德国)德国蔡司
- (美国)Imperx
- (成都)四川双利合谱
- (加拿大)Nüvü Camēras
- (英国)英国Odos Imaging
- (丹麦)丹麦JAI
- (日本)藤仓
- (比利时)MESA
- (德国)德国SHF
- (美国)OptiTrack
- (其它)黎巴嫩 ML
- (海淀区)凌云光技术
- (美国)美国GP
- (加拿大)Teledyne DALSA
- (日本)日本YOKOGAWA
- (美国)PointGrey
- (法国)法国APEX
- (德国)德国XImea
- (加拿大)加拿大EXFO
- (美国)美国菲力尔
- (美国)美国FINISAR
- (德国)德国Silicon Software
- (美国)美国PriTel
- (美国)美国KAYA Instruments
- (日本)日本Neubrex
- (美国)美国Faceware
- (德国)德国VPIphotonics
- (日本)日本BlueVision
- (瑞士)瑞士 II-VI | H&S Polatis
- (长沙)湖南长步道
- (瑞士)丹麦NKT
- (深圳)深圳视清
- (美国)美国IRflex
- (意大利)意大利DATALOGIC
- (美国)美国nLIGHT
- (荷兰)荷兰DB2 Vision
- (法国)法国Kylia
- (法国)法国First Light
- (加拿大)加拿大TERAXION
- (佛山)佛山华国
- (俄罗斯)IPG
- (美国)美国illunis
- (日本)日本M-TRAN
-
仪企号凌云光技术股份有限公司
-
友情链接
-
手机版开启全新的世界m.yiqi.com/zt2777/