一种三维目标识别方法及系统技术方案

本发明专利技术实施例提供一种三维目标识别方法及系统，包括：对于初始反射激光图中的像素点，若判断得知像素点对应的红外相机投射射线与目标样本存在第一空间交点，则根据第一空间交点与散斑投影仪的中心点，获取投影仪射线；基于第一空间交点、第二空间交点、投影仪射线、虚拟平面和参考散斑图，获取像素点的强度值；根据像素点的强度值，获取最终物体散斑图，并根据最终物体散斑图，获取合成数据集；利用神经网络对待识别物体进行识别，获取识别结果。本发明专利技术实施例在训练数据比较少的情况下，通过生成合成数据集，使得能满足深度学习网络大规模数据量的要求，从而通过神经网络对目标进行识别。

【技术实现步骤摘要】
一种三维目标识别方法及系统
本专利技术涉及计算机视觉
，尤其涉及一种三维目标识别方法及系统。
技术介绍
随着深度感知技术和人工智能技术的不断发展，基于深度学习网络的单目结构光深度成像方法，凭借其强大的学习能力和泛化能力，具有很强的竞争力表现。针对单目结构光成像系统，研究和实践证明，深度学习网络的性能依赖于训练数据的质量和规模，因此基于深度学习网络的单目结构光深度成像方法需要大规模且质量很好的数据。深度学习网络训练需要的每组数据包含：物体散斑图、参考散斑图、物体散斑图与参考散斑图之间的视差真值(GroundTruth，简称GT)数据。此时，由于视差GT数据直接反应了物体散班图和参考散班图上像素坐标关系，所以视差GT数据很难获取。一般会利用公开数据集，但目前的公开数据集都是针对被动式双目相机，且数据量很少，场景固定。现有技术中主要有两类方法来构造单目结构光数据集：一种是使用激光扫描仪来获得，但这些数据集通常昂贵、缓慢且无法扩展至更大的数据集；另一种是通过性能良好的传统深度恢复方法，比如半全局匹配(Semi-GlobalMatching，简称SGM)、盲均衡算法等，来匹配物体散班图和参考散斑图，获得较好的视差数据，但由于算法的鲁棒性和适用性，只能生成较好的伪GT数据。针对主动式双目成像系统，研究和实践证明，深度学习网络的性能依赖于训练数据的质量和规模，因此基于深度学习有监督网络的主动式双目深度成像方法需要大规模且质量很好的数据。深度学习有监督网络训练需要的每组数据包含：左相机物体散斑图、右相机物体散斑图、左相机物体散斑图与右相机物体散斑图之间的GT数据。此时，由于视差GT数据直接反应了左相机物体散斑图和右相机物体散斑图上像素坐标关系，所以视差GT数据很难获取。一般会利用公开数据集，但目前的公开数据集都是针对被动式双目成像系统，且数据量很少，场景固定。目前主要是通过性能良好的传统深度恢复方法，比如SGM算法、盲均衡算法等，来匹配左相机物体散斑图和右相机物体散斑图，获得较好的视差数据，但由于算法的鲁棒性和适用性，只能生成较好的视差伪GT数据。综上，无论是针对单目结构光成像系统还是主动式双目成像系统，目前只能采用数据量较少的激光扫描仪数据或者深度恢复方法得到伪GT数据集，以此来进行基于深度学习网络方法的研究，但是不能满足大规模且质量好的数据需求，从而无法对神经网络进行训练，从而无法利用神经网络对目标进行识别。
技术实现思路
本专利技术实施例提供一种三维目标识别方法及系统，用以解决现有技术中训练数据较少时无法利用神经网络对目标进行识别缺陷，实现合成数据集的生成，通过合成数据集对神经网络进行训练，从而通过训练后的神经网络对待识别物体进行识别。本专利技术实施例提供一种三维目标识别方法，包括：对于初始反射激光图中的任一像素点，若判断得知所述任一像素点对应的红外相机投射射线与目标样本存在第一空间交点，则根据所述第一空间交点与散斑投影仪的中心点，获取投影仪射线；基于所述第一空间交点、第二空间交点、所述投影仪射线、虚拟平面和参考散斑图，获取所述任一像素点的强度值，所述第二空间交点为所述投影仪射线与所述目标样本的交点；根据每一像素点的强度值，获取最终物体散斑图，并根据所述最终物体散斑图，获取合成数据集；利用神经网络对待识别物体进行识别，获取识别结果，所述神经网络基于所述合成数据集训练得到。根据本专利技术一个实施例的三维目标识别方法，还包括：若判断得知所述任一像素点对应的红外相机投射射线与所述目标样本不存在第一空间交点，则将所述任一像素点的强度值设置为0。根据本专利技术一个实施例的三维目标识别方法，所述基于所述第一空间交点、第二空间交点、所述投影仪射线、虚拟平面和参考散斑图，获取所述任一像素点的强度值，具体包括：若判断得知所述第一空间交点和所述第二空间交点之间的位置关系满足第一预设条件，且所述投影仪射线与虚拟平面之间的位置关系满足第二预设条件，则基于所述目标样本的参考散斑图和双线性插值算法，获取所述任一像素点的强度值，所述第一预设条件和所述第二预设条件使得所述任一像素点不是遮挡点；否则，将所述任一像素点的强度值设置为0。根据本专利技术一个实施例的三维目标识别方法，所述第一预设条件为：||x2-x1||2＜1e-5，其中，x2表示所述第二空间交点的坐标，x1表示所述第一空间交点的坐标。根据本专利技术一个实施例的三维目标识别方法，所述第二预设条件为：所述投影仪射线与所述虚拟平面存在第三空间交点，且所述第三空间交点位于所述虚拟平面内。根据本专利技术一个实施例的三维目标识别方法，所述根据每一像素点的强度值，获取最终物体散斑图，具体包括：根据每一像素点的强度值，获取最终反射激光图；基于所述最终反射激光图，获取所述最终物体散斑图。根据本专利技术一个实施例的三维目标识别方法，所述数据合成集通过单目结构光成像系统获取，所述并根据所述最终物体散斑图，获取合成数据集，具体包括：将所述第一空间交点的深度值作为所述任一像素点对应的GT深度值；根据所述任一像素点对应的GT深度值、红外相机的焦距、所述红外相机与所述散斑投影仪之间的基线长度，获取所述任一像素点对应的视差值；根据所述最终物体散斑图、所述参考散斑图以及每一像素点对应的视差值，获取所述合成数据集。根据本专利技术一个实施例的三维目标识别方法，所述合成数据集通过主动式双目成像系统获取，所述主动式双目成像系统包括第一相机和第二相机，相应地，所述最终物体散斑图与所述第一相机对应，所述最终物体散斑图为所述第一相机对应的物体散斑图，所述并根据所述最终物体散斑图，获取合成数据集，具体包括：根据所述第一相机对应的物体散斑图中每个像素点的深度值，获取每个像素点对应的GT视差值；根据所述第一相机对应的物体散斑图、所述第二相机对应的物体散斑图和所述GT视差值，获取合成数据集。根据本专利技术一个实施例的三维目标识别方法，所述第二相机对应的物体散斑图具体通过如下方式获得：对于所述第二相机对应的初始反射激光图中的任一像素点，若判断得知所述任一像素点对应的红外相机投射射线与目标样本存在第四空间交点，则根据所述第四空间交点与散斑投影仪的中心点，获取投影仪射线；基于所述第四空间交点、第五空间交点、所述投影仪射线、虚拟平面和所述参考散斑图，获取所述任一像素点的强度值，所述第五空间交点为所述投影仪射线与所述目标样本的交点；根据每一像素点的强度值，获取所述第二相机对应的最终反射激光图，以进一步获取所述第二相机对应的物体散斑图。根据本专利技术一个实施例的三维目标识别方法，所述根据所述第一相机对应的物体散斑图、所述第二相机对应的物体散斑图和所述GT视差值，获取合成数据集，之前还包括：对于所述第一相机对应的物体散斑图中的任一像素点，获取所述任一像素点对应的投射射线与所述目标样本的第六空间交点；根据所述第二相机的中心点和所述本文档来自技高网...

【技术保护点】
1.一种三维目标识别方法，其特征在于，包括：/n对于初始反射激光图中的任一像素点，若判断得知所述任一像素点对应的红外相机投射射线与目标样本存在第一空间交点，则根据所述第一空间交点与散斑投影仪的中心点，获取投影仪射线；/n基于所述第一空间交点、第二空间交点、所述投影仪射线、虚拟平面和参考散斑图，获取所述任一像素点的强度值，所述第二空间交点为所述投影仪射线与所述目标样本的交点；/n根据每一像素点的强度值，获取最终物体散斑图，并根据所述最终物体散斑图，获取合成数据集；/n利用神经网络对待识别物体进行识别，获取识别结果，所述神经网络基于所述合成数据集训练得到。/n

【技术特征摘要】
1.一种三维目标识别方法，其特征在于，包括：
对于初始反射激光图中的任一像素点，若判断得知所述任一像素点对应的红外相机投射射线与目标样本存在第一空间交点，则根据所述第一空间交点与散斑投影仪的中心点，获取投影仪射线；
基于所述第一空间交点、第二空间交点、所述投影仪射线、虚拟平面和参考散斑图，获取所述任一像素点的强度值，所述第二空间交点为所述投影仪射线与所述目标样本的交点；
根据每一像素点的强度值，获取最终物体散斑图，并根据所述最终物体散斑图，获取合成数据集；
利用神经网络对待识别物体进行识别，获取识别结果，所述神经网络基于所述合成数据集训练得到。


2.根据权利要求1所述的三维目标识别方法，其特征在于，还包括：
若判断得知所述任一像素点对应的红外相机投射射线与所述目标样本不存在第一空间交点，则将所述任一像素点的强度值设置为0。


3.根据权利要求1所述的三维目标识别方法，其特征在于，所述基于所述第一空间交点、第二空间交点、所述投影仪射线、虚拟平面和参考散斑图，获取所述任一像素点的强度值，具体包括：
若判断得知所述第一空间交点和所述第二空间交点之间的位置关系满足第一预设条件，且所述投影仪射线与虚拟平面之间的位置关系满足第二预设条件，则基于所述目标样本的参考散斑图和双线性插值算法，获取所述任一像素点的强度值，所述第一预设条件和所述第二预设条件使得所述任一像素点不是遮挡点；
否则，将所述任一像素点的强度值设置为0。


4.根据权利要求3所述的三维目标识别方法，其特征在于，所述第一预设条件为：
||x2-x1||2＜1e-5，
其中，x2表示所述第二空间交点的坐标，x1表示所述第一空间交点的坐标。


5.根据权利要求3所述的三维目标识别方法，其特征在于，所述第二预设条件为：
所述投影仪射线与所述虚拟平面存在第三空间交点，且所述第三空间交点位于所述虚拟平面内。


6.根据权利要求1所述的三维目标识别方法，其特征在于，所述根据每一像素点的强度值，获取最终物体散斑图，具体包括：
根据每一像素点的强度值，获取最终反射激光图；
基于所述最终反射激光图，获取所述最终物体散斑图。


7.根据权利要求1所述的三维目标识别方法，其特征在于，所述数据合成集通过单目结构光成像系统获取，所述并根据所述最终物体散斑图，获取合成数据集，具体包括：
将所述第一空间交点的深度值作为所述任一像素点对应的GT深度值；
根据所述任一像素点对应的GT深度值、红外相机的焦距、所述红外相机与所述散斑投影仪之间的基线长度，获取所述任一像素点对应的视差值；
根据所述最终物体散斑图、所述参考散斑图以及每一像素点对应的视差值，获取所述合成数据集。


8.根据权利要求1至6任一所述的三维目标识别方法，其特征在于，所述合成数据集通过主动式双目成像系统获取，所述主动式双目成像系统包括第一相机和第二相机，相应地，所述最终物体散斑图与所...

【专利技术属性】
技术研发人员：户磊，王海彬，化雪诚，刘祺昌，李东洋，
申请(专利权)人：北京的卢深视科技有限公司，合肥的卢深视科技有限公司，
类型：发明
国别省市：北京;11