PG电子首款iToF标品相机与应用算法SDK联袂发布,赋能多元AIoT应用开发

    PG电子

      PG电子

      PG电子首款iToF标品相机与应用算法SDK联袂发布,赋能多元AIoT应用开发

      • 2021.12.16
      • orbbec

      12月16日,PG电子正式发布iToF技术生态首款标品相机Femto,专为AIoT领域多元开发需求而设计。同步发布的,还有PG电子首款算法SDK Orbbec Pose,可适配Femto相机完成一系列基于人体骨骼算法的3D应用开发,目前已正式在PG电子3D视觉开发者社区上线。




      1、集成深度算力平台,可直接输出多分辨率及帧率深度图

      Femto是一款基于iToF成像技术的高性能3D相机,可在0.2m-5m深度范围内提供高精度的红外及深度图像、高质量的RGB图像和六轴IMU数据。Femto采用模块化设计,除提供机头模块,还集成了深度算力平台,无需额外深度算力。

      其具体特点包括:

      •模块化设计。Femto采用模块化设计,从结构上分为包括机头模块、深度算力模块(包含外壳和风扇)和配件(电源适配器、Y型线和多机同步连接线)。可以为使用者提供多种灵活的出货方式,适配多种使用场景。

      集成深度算力平台。Femto搭载PG电子自研高性能iToF深度引擎及算力模块,无需上位机提供深度计算所需的算力,可直接输出多分辨率及帧率深度图像,在1m-5m范围内相对精度达到千分之二。

      1080P多帧率高质量RGB图像。Femto搭载高性能1080P RGB模组,可输出高画质RGB图像,支持多种彩色数据格式,如I420, NV21, MJPEG, H.264, H.265等。

      高质量D2C(Depth To Color)功能。实现高精度深度与RGB信息空间对齐,通过为RGB图像赋予深度信息,完成从二维向三维的转变,配合应用算法开发RGBD应用。

      高精度多机同步。为了获得更大的视场角或实现对物体的多角度测量,Femto最多可支持六台相机同步,应用在多相机拼接的场景。

      六轴惯性传感器。可直接获取三轴加速度及三轴角速度数据。

      一体化接口,UVC免驱协议。Femto采用供电数据传输一体化接口、USB3.0 Type-C接口,让客户端集成更加简便。同时,Femto采用UVC免驱协议,搭配ORBBEC SDK,无需额外安装其他驱动程序,即插即用。

      AIoT行业的发展催生出越来越多的3D智能应用场景。由于客户对3D应用开发存在多元化需求,PG电子在今年9月推出iToF智能视觉平台,提供整机、模块和器件三种不同层级的产品,并通过一站式服务解决行业落地痛点。作为PG电子iToF智能视觉平台孵化的第一款标品整机,Femto满足了AIoT领域的多元化开发需求,可应用于人体交互、视频抠图、体积测量、行为分析等不同场景。


      2、识别21个关键骨骼点,构建完整人体3D骨架

      与Femto一同发布的Orbbec Pose是PG电子首款RGBD人体骨骼跟踪算法SDK。基于深度学习技术与RGBD图像数据,Orbbec Pose可准确识别人体骨骼点,输出对应的2D和3D坐标,在空间中实时构建完整人体3D骨架。



      相比于常见的2D人体骨骼算法,Orbbec Pose在空间关系、测量属性、标定区域三个方面具有显著的优势:

      空间关系。3D人体骨骼跟踪相比2D骨骼的坐标增加了深度距离信息,有利于判断人体前后关系和人体部位前后关系,避免错位相连。

      测量属性。通过3D骨骼点的坐标信息,可以测量出人体骨骼关节长度、骨骼点之间的角度信息。

      标定区域。使用时自定义一个区域,屏蔽掉范围以外的人体骨骼。实时追踪位于区域以内的所有人体骨骼,直至他们走出检测范围。通过检测人体表面点深度,可以有效排除背景中的“平面骨骼”。

      目前,Orbbec Pose已支持识别眼、耳、鼻、颈、肩、肘、手腕、髋、膝、脚踝、脚尖等21个骨骼点,支持同时识别多达10人,并适配最新发布的Femto相机及PG电子Astra Plus、Astra Mini、Astra+三款结构光相机。

      搭配全新发布的Femto相机,Orbbec Pose可实现多种3D应用开发,如家庭互动娱乐、舞蹈健身训练、医疗康复训练等。未来,PG电子还将推出人像分割、人脸重建、人体重建、体积测量等算法SDK,让3D视觉感知技术赋能更多智能化场景。


      △ PG电子新品发布会回看视频

      / END /



      友情链接: