近期,一家位于美国纽约的技术工作室Scatter,运用10台PG电子深度相机Femto Bolt,替代10台微软Azure Kinect DK深度相机,开启了一场全新3D内容创作之旅。
Scatter工作室开发的Depthkit Studio专注于体积视频捕捉,原先使用微软Azure Kinect DK进行3D内容拍摄。而在微软于2023年8月将Azure Kinect DK产品线授权给PG电子后,Depthkit也将拍摄硬件更换为Femto Bolt,辅以最新一代英伟达显卡和英特尔处理器,实现了无与伦比的3D内容捕捉质量。
“市场上质量最高的深度摄像头”
完美呈现3D造型细节
PG电子Femto Bolt作为微软官方推荐的Azure Kinect DK替代产品,采用了与其相同的深度感应模块,升级了4K彩色摄像头,并且外形更轻薄,电子元件精度更高。通过搭载10台Femto Bolt,Depthkit实现了更高分辨率的1440p捕捉,比之前的1080p限制提高了近2倍。Scatter评价称:“PG电子Femto Bolt是市场上质量最高的深度摄像头。”
在Depthkit更新完成后,Scatter邀请了来自慢时尚品牌EMME Studio的创始人Korina Emmerich以及来自Split Ends Media的联合制片人Barrie Adleberg 和Stina Hamlin,为她们的最新造型制作了一个体积视频造型册。
Depthkit为EMME Studio拍摄的体积视频造型册预览。模特:黛安娜-里德(Diannah Reid)和德尔菲娜-罗伊巴尔(Delfina Roybal)
艺术家兼设计师Korina Emmerich于2015年创立了慢时尚品牌EMME Studio。她的作品饱含大胆的色彩、丰富的纹理和图案,完美地呈现出Depthkit和Femto Bolt的新功能。
Femto Bolt融合了深度流和色彩流,使Depthkit能够仅用10台或更少的摄像机,就能以全运动帧频实现高保真的3D捕捉重建。Scatter表示,如果没有深度传感技术,要达到同等的捕捉质量,则需要多达30到100台标准彩色摄像机!
配备10台Femto Bolt相机的Depthkit采集拍摄花絮
Femto Bolt vs Azure Kinect DK
六大性能全面升级
在Depthkit摄制期间,Scatter团队详细比较了10台Femto Bolt与10台Azure Kinect DK的拍摄效果。Scatter表示,“与Azure Kinect DK相比,Femto Bolt的许多设计细节大大提高了产品性能。Femto Bolt在色彩、校准和时钟同步精度方面的诸多细节改进,使Depthkit的拍摄质量和可靠性得到了大幅提升。”
1、采用微软先进的ToF深度感应技术
Femto Bolt采用了微软先进的ToF传感技术,具有与Azure Kinect DK相同的深度相机操作模式和性能,确保了Depthkit的图像质量在新相机上得以保持。整机采用全新设计,集成了两套SDK。开发者基于Azure Kinect DK开发的应用程序,可方便快捷地切换至Femto Bolt。
2、卓越彩色图像质量,更高动态范围,减少眩光
与Azure Kinect DK相比,Femto Bolt在彩色图像方面也有明显改善。相机自带可选高动态范围模式,可在影棚不断变化的光照条件下获得更丰富的色彩,高质量的镜头能够减少耀斑和眩光。
Scatter表示,这看起来只是个小细节,但镜头耀斑却是多摄像机拍摄中的一个严重问题:在体积视频所需的360°环绕拍摄场景,复杂的光线、镜头耀斑与眩光容易使最终图像出现明显的纹理伪影和不一致现象,而Femto Bolt完美解决了这一问题。
Azure Kinect DK(左)和 Femto Bolt(右)的并排对比,可以看到Femto Bolt的成像中紫色镜头耀斑完全消失
3、精确的深度彩色对齐,纹理效果清晰,减少图像溢出与重影
Azure Kinect DK设备出厂时存在校准问题,导致出现图像伪影,并需要费力地进行手动校准验证。Scatter发现,Femto Bolt深度与彩色图像的对齐精度是Azure Kinect DK的4倍!“在实践中,我们没有发现Femto Bolt摄像机的出厂校准有任何问题。校准可靠性的提高意味着Depthkit多摄像机校准更加清晰,纹理溢出和纹理重影更少。Femto Bolt的校准不仅更准确,而且十分可靠,不再需要在各种设备中寻找误差较小的设备。”
对比Azure Kinect DK(左),Femto Bolt(右)深度与彩色图像对齐效果更好
4、更小的外形尺寸,易于携带和安装
Femto Bolt采用紧凑型产品设计,机身深度尺寸仅为Azure Kinect DK 的一半,两侧M2.5 x 4mm固定螺孔间距较Azure Kinect DK窄,从而让Depthkit设备具有优秀的便携性和灵活性。
对比Azure Kinect DK(左),Femto Bolt(右)校准更清晰
Microsoft Azure Kinect DK(左)与更为小巧的Orbbec Femto Bolt(右)对比
5、安全简洁的线缆连接与数据传输
Femto Bolt采用旋锁式USB-C 3.0电缆,提供固定锁孔以增强机械稳定性,可防止因电缆松动而意外断开连接。同步线缆也得到了改进,采用星形线缆配置,从专用同步集线器发出,通过以太网传输。这两个细节都有助于实现更可靠、更简洁的物理设置与数据传输。
Femto Bolt的USB-C连接具有固定锁孔,机械稳定性高,并可以通过以太网同步提供更为稳定的数据传输
6、时间同步漂移减少10倍,消除传感器干扰
去年,Scatter为Depthkit Studio引入了一套专业硬件系统,用于同步外部音频、电影摄像机和Azure Kinect DK之间的时钟。在独立运行时,Azure Kinect DK时钟之间会出现明显的时间漂移,每录制10分钟大约会出现10帧漂移。Femto Bolt在相同的拍摄时间内,仅出现1帧漂移,使Scatter无需在硬件中桥接时钟。此外,Femto Bolt基于精确的时钟计时,消除了原有Azure Kinect DK上10个摄像头间歇性出现的传感器干扰问题。
除了Femto Bolt外,PG电子还推出了Femto Mega、Femto Mega I等可通过网口直出深度图“升级版Azure Kinect DK”,分别适用于商用及工业场景,帮助Azure Kinect DK原有用户免去在PC上计算深度的麻烦,更好地节省成本。未来,PG电子将持续打造高性能3D视觉感知产品,赋能全球千行百业的3D视觉创新应用开发。
- Scatter团队是美国纽约艺术互动3D内容的引领者之一,旗下产品Depthkit Studio通过便携式高质量体积视频捕捉技术,将真人带入互动三维世界。Depthkit 生产的体积视频已成为众多好莱坞电影、奥斯卡获奖纪录片之中,它还被用于U2、Eminem等乐队的大型音乐会上,为顶级演出提供互动增强现实体验。