一种基于深度类残差网络的三维物体识别和定位方法技术

本发明专利技术公开了一种基于深度类残差网络的三维物体识别和定位方法，所述方法采用三维模型构建模块、模拟数据集制作模块、网络训练模块以及网络运用模块。该方法可自行建立所需目标物体的三维模型，在不限制物体种类和单角度采集点云数据的前提下，快捷、批量地制作需要的目标物体的模拟数据集用于训练，避免了人工处理和标注的繁杂过程。经过单位球归一化等数据处理后，引入深度类残差网络，在学习好目标物体全局特征的同时更好地捕获局部特征信息，在真实环境中实现目标物体的类别和位置返回且能有效地满足实际应用的需求。这种接近原始数据的点云与深度类残差网络结合的三维物体识别和定位方法，具有精度高、速度快、鲁棒性强等特点。

A method of 3D object recognition and location based on depth residual network

【技术实现步骤摘要】
一种基于深度类残差网络的三维物体识别和定位方法
本专利技术属于计算机视觉领域，具体涉及一种基于深度类残差网络的三维物体识别和定位方法。
技术介绍
随着科技的发展和人们对三维世界感知能力的需求，三维物体识别技术在很多现实应用中发挥着至关重要的作用，如机器人抓取与操控、自动导航、增强现实等。事实上，三维数据所包含的信息要比二维图像更丰富，加上廉价RGB-D传感器的出现便捷了三维数据的获取，这些都推动了三维识别技术的进一步发展。传统的方法依赖于手动的特征提取、繁杂的步骤、固定的匹配程序或较高的计算复杂度等，限制了它们的识别种类、识别精确度、推理的快速性及光照变化环境下的表现等。目前，深度神经网络与视觉识别相结合，有利推动了一系列端对端的三维点云处理方法的发展。这些方法都是在公开数据集进行验证，数据集基本是对物体的整个三维模型进行采样的，然而，现实中深度相机只能获取单个角度下的点云数据，因此，在不限制在物体种类和单角度采集点云数据的前提下，如何快捷、批量地制作需要的目标物体数据集并进行相应的数据空间预处理和较好的局部特征提取的网络训练，最终实现真实环境下目标物体的类别和位置返回且能有效地满足实际应用的需求，是一个比较麻烦的问题。
技术实现思路
为了解决上述
技术介绍
中提出的问题，本专利技术的目的在于提供一种基于原始点云的表达形式且具有操作便捷、速度快、精度高、鲁棒性强等特点的三维物体识别和定位方法。本专利技术为实现上述目的，所采取的技术方案是：一种深度类残差网络的三维物体识别和定位方法，该方法可自行建立目标物体的三维模型，采用虚拟环境对目标物体的虚拟点云数进行采集和预处理用于类残差网络模型的训练，最终在真实环境中实现物体的类别和位置的返回。所述的方法中采用三维模型构建模块、虚拟数据集制作模块、网络训练模块以及网络运用模块；其中，三维模型构建模块自行建立所需目标物体的三维模型；虚拟数据集制作模块对目标物体的点云数据进行批量采集和预处理，操作方式简便快捷；网络训练模块引入深度类残差网络，更好地捕获局部特征信息；最终，采集来的虚拟数据训练神经网络模型，在真实环境中使用并最终返回目标物体的类别和位置。一种基于深度类残差网络的三维物体识别和定位方法，其具体的步骤如下：步骤1：确定目标物体的类别和数量，通过软件或设备建立目标物体的三维模型。进一步地，上述步骤1中，所述的目标物体为常见的小物体，长宽高均在30cm以内；构建三维模型的设备是三维立体扫描仪，此外，软件使用三维设计软件，也可在公开资源的三维模型中寻找所需的模型；所述目标物体的三维模型为CAD模型，可保存为需要的文件格式。步骤2：将步骤1中建立的目标物体的三维模型导入到虚拟环境中，通过调整虚拟深度相机的位置，采集目标物体在不同角度下的表面点云数据，并保存到带有目标物体所对应的标签命名文件中，每个角度对应一个点云文件，即一个样本。进一步地，步骤2具体包括以下步骤：步骤2.1：将步骤1中保存的目标物体的三维模型导入到虚拟环境中，通过平移和旋转将三维模型放置虚拟环境中的原点位置；步骤2.2：调用虚拟环境下虚拟深度相机的API接口，设置虚拟环境的坐标原点O与虚拟深度相机S之间的距离OS，同时将采用的虚拟深度相机的初始位置放置在目标物体的正上方；步骤2.3：通过控制方位角θ(OS与z轴正向的夹角)、仰角(从正z轴看自x轴按逆时针方向转到OP所转过的角度，其中P为点S在xoy平面上的投影)来控制虚拟深度相机的位置，从而采集不同角度下的点云图像，并以带有目标物体所对应的标签命名文件，每个角度对应一个点云文件，即一个样本；上述的虚拟深度相机的位置的表达方式要从球坐标系向直角坐标系(x,y,z)转换，转换关系如下：其中，r为虚拟环境下虚拟深度相机S与坐标原点O之间的距离OS，θ代表方位角，代表仰角，x、y、z为转换后虚拟深度相机在虚拟环境下的直角坐标系中的位置。步骤3：设置要采样的点云数，针对每个样本数据进行批量处理，在去除不符合要求的样本的同时，求出每个样本的质心并对样本数据做特定的归一化处理。进一步地，步骤3具体包括以下步骤：步骤3.1：设置每个样本需要采样的点云数目N，删除包含的点云数少于N/2的样本文件；步骤3.2：当单个样本中的点云数与所需采样的点云数不一致时，采用FPS技术对该样本中的点云上采样或下采样至设置的数目；步骤3.3：针对每个样本文件，就其采样完的数据做归一化处理，让每个样本中采样后的点云数据归一化到一个单位球体中；步骤3.3.1：计算每个样本文件中的N个点云的质心，其坐标为N个点云x、y、z各个坐标的平均值，具体公式如下：其中，xi、yi、zi代表某个样本中第i个点云的位置信息，xCentroid、yCentroid、zCentroid代表该样本中N个点云的质心的位置信息；步骤3.3.2：求出每个样本中的每个点云与其质心之间的距离，并取最大的距离作为单位球体的半径，具体公式如下：r＝max(li)(4)其中，li代表该样本中第i个点云与质心的距离，r代表该样本数据单位归一化后的球的半径，取值为该样本中N个点云中相对质心的距离的最大值；步骤3.3.3：对每个样本中的点云进行归一化至单位球中，计算每个点云的坐标信息在各个轴方向所占的半径的尺寸，具体公式如下：其中，xi_new、yi_new、zi_new代表归一化后该样本中第i个点云分别在x、y、z各个轴方向占单位球半径的比例值，该值有正负方向的区别，其数值区间为[-1,1]；xCentroid、yCentroid、zCentroid为该样本在步骤3.3.1中求得的质心坐标，r为其在步骤3.3.2中求得的单位球的半径。步骤4：对样本进行批量处理，使其对应的标签信息，连同三维数据信息一起保存，至此训练集的制作完成；按照确定的训练集和验证集的比例，重复之前的步骤，再制作验证集。进一步地，步骤4中包括以下具体步骤：步骤4.1：读取每个样本文件中的数据及其在步骤2中置于文件名中的标签信息，再通过相应的数据类型的转换，最终一起保存成统一的数据格式，作为训练集，便于读取；步骤4.2：根据设置的训练集和验证集的比例，设置制作训练时虚拟深度相机的方位角和仰角的区间和每次旋转的角度，按照步骤1-4.1制作最终的验证集；且训练集和验证集之间无交叉样本的情况。步骤5：采用深度类残差网络，将虚拟的训练集和验证集的点云数据喂入网络中，通过网络的迭代优化获得到较好的网络模型；进一步地，步骤5包括以下具体步骤：步骤5.1：引入深度类残差网络，加强邻近点之间的相互学习，提高网络模型局部特征的提取能力，用于训练目标物体；步骤5.2：将步骤1-4中制作的模拟数据集(训练集和验证集)喂入网络中，设置和微调网络参数，如批量样本数batch，整体迭代的轮数epoch本文档来自技高网...

【技术保护点】
1.一种基于深度类残差网络的三维物体识别和定位方法，其特征在于，所述的方法中采用三维模型构建模块、虚拟数据集制作模块、网络训练模块以及网络运用模块；其中，所述的三维模型构建模块自行建立所需目标物体的三维模型；所述的虚拟数据集制作模块对目标物体的点云数据进行批量采集和预处理；所述的网络训练模块中包含深度类残差网络，用于捕获局部特征信息；采集来的虚拟数据训练神经网络模型，并且在所述的网络运用模块中将在真实环境中使用并最终返回目标物体的类别和位置；/n所述的方法包括如下步骤：/n步骤1：确定目标物体的类别和数量，建立目标物体的三维模型；/n步骤2：将目标物体的三维模型导入到虚拟环境中，通过控制方位角θ、仰角

【技术特征摘要】
1.一种基于深度类残差网络的三维物体识别和定位方法，其特征在于，所述的方法中采用三维模型构建模块、虚拟数据集制作模块、网络训练模块以及网络运用模块；其中，所述的三维模型构建模块自行建立所需目标物体的三维模型；所述的虚拟数据集制作模块对目标物体的点云数据进行批量采集和预处理；所述的网络训练模块中包含深度类残差网络，用于捕获局部特征信息；采集来的虚拟数据训练神经网络模型，并且在所述的网络运用模块中将在真实环境中使用并最终返回目标物体的类别和位置；
所述的方法包括如下步骤：
步骤1：确定目标物体的类别和数量，建立目标物体的三维模型；
步骤2：将目标物体的三维模型导入到虚拟环境中，通过控制方位角θ、仰角来调整虚拟深度相机的位置，以实现不同角度下的虚拟点云数据的采集，并保存到对应标签命名的文件中，每个角度对应一个点云文件，即一个样本；
步骤3：设置要采样的点云数，针对每个样本数据进行批量处理，在去除不符合要求的样本的同时进行FPS采样，求出每个样本的质心并对样本数据做特定的归一化处理；
步骤3包括以下步骤：
步骤3.1：设置每个样本需要采样的点云数目N，删除包含的点云数少于N/2的样本文件；
步骤3.2：当单个样本中的点云数与所需采样的点云数不一致时，采用FPS方法对该样本中的点云上采样或下采样至设置的数目；
步骤3.3：针对每个样本文件，对其采样完的数据做归一化处理，让每个样本中采样后的点云数据归一化到一个单位球体中；
步骤3.3.1：计算每个样本文件中的N个点云的质心，其坐标为N个点云x、y、z各个坐标的平均值，公式如下：



其中，xi、yi、zi代表某个样本中第i个点云的位置信息，xCentroid、yCentroid、zCentroid代表该样本中N个点云的质心的位置信息；
步骤3.3.2：求出每个样本中的每个点云与其质心之间的距离，并取最大的距离作为单位球体的半径，公式如下：



r＝max(li)(4)
其中，li代表该样本中第i个点云与质心的距离，r代表该样本数据单位归一化后的球的半径，取值为该样本中N个点云中相对质心的距离的最大值；
步骤3.3.3：对每个样本中的点云进行归一化至单位球中，计算每个点云的坐标信息在各个轴方向所占的半径的尺寸，公式如下：



其中，xi_new、yi_new、zi_new代表归一化后该样本中第i个点云分别在x、y、z各个轴方向占单位球半径的比例值，该值有正负方向的区别，其数值区间为[-1,1]；xCentroid、yCentroid、zCentroid为该样本在步骤3.3.1中求得的质心坐标，r为其在步骤3.3.2中求得的单位球的半径；
步骤4：对样本进行批量处理，使其对应的标签信息，连同三维数据信息一起保存，训练集的制作完成；按照确定的训练集和验证集的比例，重复之前的步骤，进行验证集制作；
步骤5：采用深度类残差网络，将训练集和验证集的点云数据喂入网络中，通过网络的迭代优化获得到较好的网络模型；
步骤6：在真实场景中，采用真实深度相机采集目标物体的点云数据，放入训练好的网络模型中，最终返回该物体的类别和位置信息。


2.根据权利要求1所述的基于深度类残差网络的三维物体识别和定位方法，其特征在于，步骤2包括以下步骤：
步骤2.1：将步骤1中保存的目标物体的三维模型导入到虚拟环境中，通过平移和旋转将三维模型放置虚拟环境中的原点位置；
步骤2.2：调用虚拟环境下虚拟深度相机的API接口，设置虚拟环境的坐标原点O与虚拟深度相机S之间的距离OS，同时将采用的虚拟深度相机的初始位置放置在目标物体的正上方；
步骤2.3：通过控制方位角θ、仰角来控制虚拟深度相机的位置，采集不同角度下的点云图像，并以带有目标物体所对应的标签命名文件，每个角度对应一个点云文件，即一个样本；将上述的虚拟深度相机的位置的表达方式从球坐标系向直角坐标系(x,y,z)转换，转换关系如下：



其中，r为虚拟环境下虚拟深度相机S与坐标原点O之间的距离OS，θ代表方位角，代表仰角，x、y、z为转换后虚拟深度相机在虚拟环境下的直角坐标系中的位置。


3.根据权利要求1或2所述的基于深度类残差网络的三维物体识别和定位方法，其特征在于，步骤4中训练集和验证集之间不存在交叉样本。


4.根据权利要求1或2所述的基于深度类残差网络的三维物体识别和定位方法，其特征在于，步骤6包括：
步骤6.1：在真实场景中，通过真实深度相机采集某个目标物体在某个角度下的点云数据；对采集来的点云数据进行滤波、去背景处理，并...

【专利技术属性】
技术研发人员：王斐，孔荔，张兴，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁;21