一种获取点云图的方法技术

一种获取点云图的方法，其特征在于，所述方法包括：通过2D摄像头拍摄获得2D图像；通过3D TOF摄像图获得3D点云图；根据所述2D图像确定目标像素位置；将所述目标像素位置对应到所述3D点云图中，得到非理想点云图；对所述非理想点云图进行补全，得到理想点云图；通过如此的方法可以解决现有的点云物体目标检测中点云图不理想的问题。云图不理想的问题。云图不理想的问题。

【技术实现步骤摘要】
一种获取点云图的方法


[0001]本申请涉及探测
，特别涉及一种获取点云图的方法。

技术介绍

[0002]与传统摄像头相比，深度摄像头(又可称为深度相机或者3D摄像头)可检测出图像中每个点离摄像头的距离，即可检测出拍摄空间的景深距离，如此可更便于还原真实场景，实现场景建模等应用。典型的，深度摄像头可采用结构光、双目视觉或者光飞行时间法(Time Of Flight，TOF)三种方案。
[0003]利用TOF技术成像的设备被称为TOF相机(或TOF摄像头)，TOF相机与普通机器视觉成像过程也有类似之处，都是由光源、光学部件、传感器(TOF芯片)、控制电路以及处理电路等几部单元组成。这种技术跟3D激光传感器原理基本类似，只不过3D激光传感器是逐点扫描，而TOF相机则是同时得到整幅图像的深度信息。
[0004]TOF技术采用主动光探测方式，与一般光照需求不一样的是，TOF照射单元的目的不是照明，而是利用入射光信号与反射光信号的变化来进行距离测量，因此，TOF相机的测量结果受被测物体性质的影响很大，即受被测物体的反射率影响很大，因此在实际使用中，TOF镜头得到的点云质量往往不是很好，尤其是一些低反射率的面，往往得不到实际反映物体特征的点云，鉴于这种情况，亟需一种方法实现较好的点云物体目标检测。

技术实现思路

[0005]本申请的目的在于，针对上述现有技术中的不足，提供一种获取点云图的方法，以解决现有的点云物体目标检测中点云图不理想的问题。
[0006]为实现上述目的，本申请实施例采用的技术方案如下：
[0007]第一方面，本申请实施例提供了一种获取点云图的方法，其特征在于，所述方法包括：
[0008]通过2D摄像头拍摄获得2D图像；
[0009]通过3D TOF摄像图获得3D点云图；
[0010]根据所述2D图像确定目标像素位置；
[0011]将所述目标像素位置对应到所述3D点云图中，得到非理想点云图；
[0012]对所述非理想点云图进行补全，得到理想点云图。
[0013]可选的，所述2D摄像头与所述3D摄像头视场角一样；
[0014]可选的，所述2D摄像头与所述3D摄像头平行放置，间距为L；
[0015]可选的，将所述3D点云图尺寸变换到与所述2D图像尺寸大小相同；
[0016]可选的，所述3D点云图的划分网格与所述2D图像的划分网络大小相同；
[0017]可选的，通过对所述2D图像进行图像检测和分割确定所述目标像素的位置；
[0018]可选的，通过变分关联点云补全网络对所述非理想点云图进行补全；
[0019]可选的，所述2D摄像头获得的2D图像与所述3D摄像头拍摄的图像之间的水平偏差
为L。
[0020]本申请的有益效果是：
[0021]一种获取点云图的方法，其特征在于，所述方法包括：
[0022]通过2D摄像头拍摄获得2D图像；
[0023]通过3D TOF摄像图获得3D点云图；
[0024]根据所述2D图像确定目标像素位置；
[0025]将所述目标像素位置对应到所述3D点云图中，得到非理想点云图；
[0026]对所述非理想点云图进行补全，得到理想点云图；通过如此的方法可以解决现有的点云物体目标检测中点云图不理想的问题。
附图说明
[0027]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0028]图1为现有技术提供的一种基于2D图像的检测和分割对应出的点云图；
[0029]图2a为本申请实施列提供的一种所示为不理想的点云图；
[0030]图2b为本申请实施列提供的一种经过变分关联点云补全网络的方法补全后的点云图；
[0031]图3a所示为本申请实施例提供的一种2D图像的示意图；
[0032]图3b为本申请实施例提供的图3a所示图像对应的3D点云图；
[0033]图4为本申请实施例提供的一种在探测过程中获得理想点云图的方法。
具体实施方式
[0034]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
[0035]因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0036]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0037]图1为现有技术提供的一种基于2D图像的检测和分割对应出的点云图；现有技术基于2D图像去做目标物体的检测和实例分割，目前普遍使用的2D图像检测和分割的方式是基于注意力机制的神经网络方法。通过现有技术在2D图像中标注的像素位置，标注过程中的位置变换关系，将2D图像的像素位置对应到点云图中，以实现目标物体的点云呈现，如图1所示为基于2D图像的检测和分割对应出的点云图。从图1所示的点云图可以明显的看出，
由于点云的缺失，椅子的部分并没有密集的点云呈现，所呈现的三维效果并不理想。
[0038]所以亟需一种方法来解决基于2D图像的检测和分割对应出的点云图不理想的问题。在本申请中使用变分关联点云补全网络的方法来对点云进行补全。该方法基于深度学习的方式，暴力的对缺失点云的目标物体进行密集点云恢复，具体步骤如下：
[0039]1)变分关联点云补全网络的方法由概率模型网络和关系增强网络两个子网络级联构成；
[0040]2)概率模型网络基于残缺点云生成一个粗略的点云形状框架，然后再由关系增强网络结合前阶段生成的粗略框架和残缺点云观测，推测具有相关性的结构，以实现最后生成点云细节特征的增强；
[0041]3)概率模型网络是一个双通道的网络结构，包含一个重建通道和一个补全通道，重建通道对完整的点云形状做自编码和解码以回复完整形状，而补全通道通过相似的网络做编码和解码以补全完整形状。两个通道间有多个共享模块，在训练时候，重建通道在网络梯度和形状分布两个层面上引导补全通道的学习和收敛，在测试时，重建通道不再使用，网络只输入残缺点云，
[0042]4)通过概率模型网络，就编码生成了粗略的点云形状框架，但是缺少了很多细节信息。理想的点云补全不仅应当能保留观测到的点云细节信息，还应当根据关联性的结构(比本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种获取点云图的方法，其特征在于，所述方法包括：通过2D摄像头拍摄获得2D图像；通过3D TOF摄像图获得3D点云图；根据所述2D图像确定目标像素位置；将所述目标像素位置对应到所述3D点云图中，得到非理想点云图；对所述非理想点云图进行补全，得到理想点云图。2.如权利要求1所述的获取点云图的方法，其特征在于，所述2D摄像头与所述3D摄像头视场角一样。3.如权利要求1所述的获取点云图的方法，其特征在于，所述2D摄像头与所述3D摄像头平行放置，间距为L。4.如权利要求1所述的获取点云图的方法，其特征在于，将所述...

【专利技术属性】
技术研发人员：雷述宇，
申请(专利权)人：宁波飞芯电子科技有限公司，
类型：发明
国别省市：