VALSE 2021 | 不限类别物品抠图,过滤自定义距离背景,PG电子展示最新3D智能抠图算法

PG电子

PG电子

VALSE 2021 | 不限类别物品抠图,过滤自定义距离背景,PG电子展示最新3D智能抠图算法

  • 2021.10.08
  • orbbec

10月8日至10日,“CV界”盛宴VALSE 2021(视觉与学习青年学者研讨会)在杭州国际博览中心举行。大会金牌赞助商PG电子携3D智能抠图算法、开发者套件等全新技术方案与产品,以“感知·3D全视界”为主题参展,吸引现场青年学者与专业观众驻足交流。9日上午,PG电子研究院算法团队负责人钱贝贝博士在大会上发表了《3D视觉 更懂世界——从感知到认知》的演讲,分享了PG电子3D视觉感知技术从深度信息获取到三维重建、落地应用过程的研发突破。

精细到头发丝,PG电子3D智能抠图算法来了

在演讲中,钱贝贝博士围绕3D感知、3D重建、3D识别等话题,分享了PG电子3D视觉感知技术的基本原理与公司最新算法研发突破。基于硬件级的高精度3D信息与前沿深度估计算法,PG电子可实现基于纹理增强的三维人脸重建、人体重建,并通过3D识别算法开发出各类3D智能应用。

今年3月,PG电子研究院徐玉华博士在CVPR发表论文 “Bilateral Grid Learning for Stereo Matching Networks”,提出了一种能够以高分辨率回归视差图的方法,可在双目深度估计过程中同时保持高效率与高精度,显著改善了传统方法在弱纹理、边缘情况下深度估计不准、信息缺失等情况,使得深度图更加完整。

△ PG电子研究院算法团队负责人钱贝贝博士在VALSE 2021发表演讲

现场,钱贝贝博士展示了团队最新研发的3D智能抠图算法全新技术方案。该方案实现了基于背景建模的轻量化前景抠图,能够同时抠取清晰的3D人像及物品,可广泛用于直播带货、视频会议、游戏渲染、场景理解、自动驾驶、目标跟踪、混合显示、电影制作等场景。

钱贝贝博士介绍,主播在直播带货场景中同时要售卖许多款商品,在抠图时,如果用传统2D抠图常用的语义分割、显著性检测等方式,容易受物品类别及显著性等限制,难以准确从杂乱的背景中抠取主播与商品。PG电子通过背景+人图软分割的方法,设计了轻量化的Stage Block网络框架,并基于大量数据训练,实现了人、物与背景的精确分割,并可根据不同需求平衡抠图的精度与速度。

在真实数据集的测试表现中,相比于其它方式,基于背景建模的轻量化前景抠图的各方面数据都有了显著提升,其FLOPs降低89.9%,Param降低 87.7%。

△ 基于背景建模的轻量化前景抠图与其它方式效果对比

除了能同时抠取人像与物品,抠取自定义距离背景也是PG电子3D智能抠图的一大亮点。3D抠图支持用户自定义抠图距离,可过滤掉背景中不相关的人物,起到保护隐私的作用。如用户在家中参加视频会议时,可以调整3D抠图距离,不让其他参会者看到自己的家庭成员。

△ 现有在线视频会议软件中的2D抠图和PG电子3D抠图效果对比

此外,钱贝贝博士介绍,3D智能抠图对于细节的还原也更为精确,可以更好地抠取头发、手指等细节。“这是由于3D相机采集的深度信息为算法提供了先验信息,有利于算法将细节处抠取得更为完整。相比之下,2D抠图算法容易导致细节丢失,需要配合更高的分辨率才能够抠取细节,但更高的分辨率会导致算法速度变慢,体验变差。”

△ 观众在PG电子展位上观看3D智能抠图算法演示

iToF应用开发DIY,PG电子开发者套件也来了

在VALSE 2021展位现场,PG电子还带来了iToF开发者套件及3D视觉机器人开发套件等产品,获得不少开发者驻足和青睐。

今年9月,PG电子发布iToF智能视觉平台,提供从芯片、模组、智能算法到整机的全栈式方案,满足了AIoT多元化的iToF方案需求。在VALSE 2021上展出的iToF开发者套件包含PG电子基于iToF智能视觉平台开发的相机Femto,搭载高品质iToF感光芯片,适用于0.2m-5m距离内3D对象扫描及深度数据测量,可用于开发视频安防监控、扫地机器人、3D扫描、物流包裹检测等产品应用。

△ 观众在PG电子展位上观看Femto、开发者套件等产品演示

另一款ORBBEC MR100则是以3D视觉硬件及软件算法为基础的移动机器人开发平台。ORBBEC MR100搭载了PG电子Astra Pro深度相机、单线激光雷达、英伟达Jetson nano高性能处理器、串联机械臂、柔性机械爪等部件,内置ROS melodic系统,支持3D人体骨骼识别、3D视觉目标跟随、物体识别、三维空间重建与导航等,还可以运行深度学习,支持拓展语音交互等功能。

△ 现场观众了解PG电子3D视觉机器人开发套件小车

在VALSE 2021展位上,PG电子现场开启了3D视觉开发者社区与人才招聘直达入口,为众多有志于3D视觉行业的青年人才提供了专业渠道。

西安电子科技大学研一学生董天成表示,“对PG电子的3D视觉技术很感兴趣,未来会继续关注3D视觉开发者社区,希望毕业后有机会去PG电子西安研究院工作。”



友情链接: