一种整合光学和视觉智能技术的三维物体检测装置和方法制造方法及图纸

本发明专利技术公开了一种整合光学和视觉智能技术的三维物体检测装置和方法，该装置包括：光场摄像模块；和视觉智能处理模块。通过该检测装置和方法，提高了三维物体检测的精确度和速度，提升了检测的实时性。同时降低了装置保有和维护成本。

【技术实现步骤摘要】
一种整合光学和视觉智能技术的三维物体检测装置和方法
本专利技术涉及三维物体检测方法，尤其是涉及一种整合了光学和视觉智能技术的三维物体检测方法。
技术介绍
三维物体检测作为智能机器人,无人车,无人机和增强现实等技术的基础，越来越受到关注，逐渐成为当前技术研究的热点。随着部署在智能机器人、移动设备和自动驾驶车辆等设备上的3D传感器的普及，越来越多的3D数据被捕获和处理。3D搜索的计算复杂度在分辨率方面也成倍地增长，对于大型场景诸如自动驾驶的实时应用而言变得非常昂贵。2018年，斯坦福大学CharledRQi等在IEEE国际计算机视觉与模式识别会议上发表题为FrustumPointNetsfor3DObjectDetectionfromRGB-DData论文，提出了一种三维物体检测方法。图1示出了现有技术中的三维物体检测方法的示意图。参见图1，以相机和激光雷达分别采集光学图像(RGB)和目标深度(D),然后把两个设备所获得的数据输入到CNN及点云架构中，通过视锥体建议、三维实例分割和三维边界框估计等模块进行处理，得到三维物体检测结果。本文档来自技高网...

【技术保护点】
1.一种整合光学和视觉智能技术的三维物体检测装置，包括：/n光场摄像模块；和/n视觉智能处理模块。/n

【技术特征摘要】
1.一种整合光学和视觉智能技术的三维物体检测装置，包括：
光场摄像模块；和
视觉智能处理模块。


2.根据权利要求1所述的三维物体检测装置，其特征在于，所述光场摄像模块具有微透镜阵列，通过该光场摄像模块获得三维图像信息。


3.根据权利要求1所述的三维物体检测装置，其特征在于，所述视觉智能处理模块包括解码模块、再聚焦模块、RGB-D数据处理模块。


4.根据权利要求3所述的三维物体检测装置，其特征在于，所述解码模块将所获得三维光场图像进行解码，获得图像重建。


5.根据权利要求3所述的三维物体检测装置，其特征在于，所述再聚焦模块将重建的光场图像结合进行再聚焦以获得高分辨率图像及其所对应的深度图(RGB-D)。


6.根据权利要求3所述的三维物体检测装置，其特征在于，所述微RGB-D数据处理模块先通过MaskR-CNN在RGB图像上找到2D候选区域；结合该区域的深度后得到视锥体建议；在该视锥体中使用PointNet++进行3D实例分割；利用T-Net对坐标归一，并再次使用PointNet++，回归出物体3D边界框的相关参数。


7.根据权利要求6所述的三维物体检测装置，其特征在于，在使用PointNet++进行3D实例分割之前，先采用2D语义分割。

...

【专利技术属性】
技术研发人员：李应樵，马志雄，
申请(专利权)人：万维数码智能有限公司，
类型：发明
国别省市：中国香港;81