HoloLens 在中国广播电视行业的创新实践

HoloLens自面世以来,我们1方面利用混合现实的技术特性,与垂直行业客户1道进行定制化方案的开发;另1方面也在努力提升HoloLens的内容拍摄及展现情势。特别随着Spectator View这样的第3方视角方案趋于成熟,我们可以预感国内电视媒体乃至泛文娱行业在未来利用混合现实技术实现制作创新的广阔前景。

微软HoloLens参加了国内某知名电视台的节目录制,并在其中尝试了混合现实画面搭载传统音视讯技术。这次实践的意义,代表着通过本地团队的2次开发,已可以基本到达目前国际上先进的HoloLens展现播出能力。这次的技术突破,解决了以往面对大量观众没法佩戴HoloLens时,如何通太高质量的画面将全息影象、人和物的交互完善展现的挑战。

再谈第3方视角 Spectator View

雷速比分手机其实,HoloLens在国内并非首次与传媒业结合,这次的合作与之前的最大不同,就是首次加入了具有高画质输出的Spectator View-第3方视角方案,并且非常关键的1点是本次录制时HoloLens的拍摄机位可移动!

雷速比分手机那末,甚么是HoloLens第3方视角呢?简单来讲,你看过的所有HoloLens官方视频案例或广告,都是通过第3方视角拍摄展现的。这项技术的优点在于,即使观众没有佩戴HoloLens,也能看到佩戴HoloLens的操作者及其交互操作的全息画面内容。针对本次拍摄,我们将混合现实画面信号接入专业的拍摄系统,展现出广播级画质,可让现场观众感遭到全息影响与真实物理空间交互融会带来的真实感。 

录制进程

大型节目录制通常是1项复杂的系统工程,需要多个部门紧密配合才能保证节目顺利播出。此次节目加入全息影象的信号输入,技术难度进1步加深。能否让全息影象画面带给观众身临其境的效果,对现场技术人员是1个高难度挑战。

雷速比分手机在录制现场,我们需要将摄像机所拍摄的画面和HoloLens辨认的空间坐标,传回主机,与全息影象实时结合,再通过视频输出,最后将混合现实画面投射到屏幕之上。为了保证不同距离且多角度显现混合现实画面与舞台空间的融会效果,Spectator View在节目现场的站位极其关键。

我们在节目现场设置了3台搭载Spectator View的摄像机,用于捕捉HoloLens的全息影象画面。它们分别是:

  • 1台固定机位在舞台中央用于现场全景画面拍摄;
  • 两台移动机位(游机位)1台轨道半径90度的轨道摄像机位,负责舞台部份画面的拍摄;1台搭载斯坦尼康的移动摄像机,负责近景及特写画面拍摄;

3台摄像机的视频信号通过专用SDI线缆接入导播系统,再由导播系统分出3路信号连入用于合成混合现实画面的图形工作站,合成后的视频信号继续通过SDI线缆反馈回导播系统。这样,导播系统即可随时切换3个机位的混合现实画面了。

技术难点

雷速比分手机经过现场前期测试,我们发现混合现实画面对接数字信号系统时,有可能遇到以下3方面挑战,因此需要提早公道计划。

1. 空间辨认精确度

为了播出效果,节目舞台的设计有可能出现大面积黑色空间或反光镜面,并且录制现场的灯光色采,明亮度也会随时剧烈切换。我们知道HoloLens的空间定位精度对环境和光线有1定的要求,当需要辨认的空间较大时,边界辨认会变得模糊,从而可能导致空间锚抖动。为了解决这些潜伏的干扰因素,我们从3个不同角度,各设置了1套Spectator View对现场混合现实画面进行拍摄。同时,在舞台上做好相应标记,以此帮助3个角度的HoloLens进行精确的空间辨认。

2. 输出画面质量

节目录制的全进程大概需要7小时,除设备本身续航能力需要有充分预案外,如何保证Spectator View图形工作站的稳定运行相当重要。为了解决这个问题,在接入SpectatorView时,我们需要进行后端软件防抖参数设置,及实时物体校准功能设置,从而结合现场实景,保证节目现场混合现实画面能够稳定输出。

3. 多台设备协同

雷速比分手机多台设备调和是确保现场拍摄画面与导播系统无缝衔接的关键。由于每1套Spectator View都有自己独立的同步系统,为了保证现场3台SpectatorView和多名佳宾佩戴的HoloLens中的空间锚进行实时同步及对应的画面输出,我们另外配置了1台服务器进行信号调配。从下图显示屏幕,可以监控现场每台HoloLens中的全息影象,调解它们在真实空间中的位置,并查看对应操作后触发的效果。

另外,为了保证录制现场的无线网络信号质量,技术团队还在舞台周边安装了3个无线路由器进行信号桥接,确保现场任意1台HoloLens都能轻松接入无线网络。