一种三维点云与三维传感器的神经网络坐标变换方法技术

一种三维点云与三维传感器的神经网络坐标变换方法，涉及物体位姿三维感知领域，其特征在于，包含如下具体步骤：步骤1：针对已知物体模型点云进行数据增强处理，得到训练数据集；步骤2：使用设计的神经网络对所述训练数据集进行离线训练，得到训练完成的神经网络训练模型；步骤3：对三维传感器拍摄获得的场景点云进行预处理，得到第一场景点云，采用所述训练完成的神经网络训练模型对所述第一场景点云进行预测，获得预测的位置姿态参数和预测的坐标变换矩阵。通过本发明专利技术的实施，能够快速、稳定、高效地基于现有三维传感器扫描的场景点云，得到目标物体的位置和姿态信息。

A Neural Network Coordinate Transform Method for Three-Dimensional Point Cloud and Three-Dimensional Sensor

A method of coordinate transformation between three-dimensional point cloud and three-dimensional sensor based on neural network, which involves the field of three-dimensional perception of object pose, is characterized by the following specific steps: step 1: data enhancement processing for point cloud of known object model to obtain training data set; step 2: off-line training of the training data set with designed neural network to complete the training. Step 3: Pre-process the scene point cloud captured by the three-dimensional sensor and get the first scene point cloud. Predict the first scene point cloud using the neural network training model completed by the training, and obtain the predicted position and attitude parameters and the predicted coordinate transformation matrix. Through the implementation of the present invention, the position and attitude information of the target object can be obtained quickly, stably and efficiently based on the scene point cloud scanned by the existing three-dimensional sensor.

【技术实现步骤摘要】
一种三维点云与三维传感器的神经网络坐标变换方法
本专利技术涉及物体位姿三维感知领域，尤其涉及一种三维点云与三维传感器的神经网络坐标变换方法。
技术介绍
在工业机器人自动化生产线上，工业机器人需要执行物料的上下料，装配，加工等任务。传统的办法是使用二维工业相机等进行物料的定位。但是利用二维工业相机难以对具有复杂三维几何形状的散乱零部件进行精确定位，因此需要引入环境数据的三维信息。随着现代传感器技术的进步发展，近年来涌现出种类型的三维传感器，能够采集环境中的物体三维点云数据，通过提取这类三维点云信息，可以得到三维环境中物体的完整位置信息，可以应用在各种复杂的三维工业自动化场景中。并且随着算法和硬件效率的提升，利用智能化的计算方法对三维环境中的物体进行识别和定位已经取得一定进展，能够应用在工业自动化场景中，得到生产效率的提升。采用三维传感器进行环境物料感知的缺点是，由于三维传感器只能采集到场景物体的前半部分点云，会造成部分点云缺失，还有由于三维传感器采集原理而造成的点云噪声的增加和点云分布不均等问题。为了能够从三维传感器采集获得的点云数据中提取出物体的三维位置姿态信息，往往需要从点云数据中提取出各类复杂的特征。如2010年，德国慕尼黑工业大学提出了一种使用点对特征的三维点云坐标变换方法，可以从该特征中得到三维传感器采集的点云中的物体位置姿态信息。但是，由于手工提取点云数据中的各种特征费时费力，且难以得到最优的特征组合，因此，对于点云含有缺失、噪声、分布不均等缺陷无法进行精确的定位计算，造成最终坐标变换的误差波动较大，对各式三维传感器采集获得的点云数据缺陷的适应性不强。神经网络是人工智能领域的重要研究方向，近年来广泛应用于二维图像、声音、文本等数字信息，进行信息处理，具有适应性强，鲁棒性高等优点。为了从部分缺失的三维点云中获取三维物体的位置和姿态，采用带有分岔支路的神经网络模型对三维传感器采集的点云进行自动特征提取。其中利用分岔支路对有部分缺失、噪声、和分布不均的缺陷场景点云进行坐标变换预测，网络主干路作为点云物体的分类预测。从整个训练过程来看，训练时输入增强后的模型点云数据，输出结果为岔路上的位置和姿态参数，并定义神经网络的训练损失为输出点云与实际点云的位置姿态偏差值与类别偏差值之和。训练完毕后使用场景点云进行输入，并由神经网络分岔支路上输出的位置和姿态参数作为输出的变换坐标，得到三维点云三维传感器间的坐标变换矩阵。因此，本领域的技术人员致力于开发一种三维点云与三维传感器的神经网络坐标变换方法，能够快速、稳定、高效地基于现有三维传感器扫描的场景点云，得到目标物体的位置和姿态信息。
技术实现思路
有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是在三维传感器采集的环境点云具有部分缺失和含有噪声的情况下，如何快速、稳定地提取物体的三维位置和姿态信息。为实现上述目的，本专利技术提供了一种三维点云与三维传感器的神经网络坐标变换方法，包含如下具体步骤：步骤1：针对已知物体模型点云进行数据增强处理，得到训练数据集；步骤2：使用设计的神经网络对所述训练数据集进行离线训练，得到训练完成的神经网络训练模型；步骤3：对三维传感器拍摄获得的场景点云进行预处理，得到第一场景点云，采用所述训练完成的神经网络训练模型对所述第一场景点云进行预测，获得预测的位置姿态参数和预测的坐标变换矩阵。进一步地，所述步骤1包括如下步骤：步骤1.1：采用随机坐标变换法和高斯噪声扰动法，对所述物体模型点云进行变换，得到点云P′；步骤1.2：采用点云网格平面投影法，得到所述点云P′的点云样本；步骤1.3：重复步骤1.1和步骤1.2，得到所述物体模型点云的所述点云P′的点云样本集，通过随机取点降采样的方法，使得所述点云样本集的各个点云样本的点数相同，进而得到所述训练数据集。进一步地，所述步骤1.1包括如下步骤：步骤1.1.1：使用所述随机坐标变换法对所述物体模型点云进行离线数据增强，根据随机数生成器生成一个七维向量N，所述N包括三维平移向量t和四元数向量q，所述q是由正规化方程处理后的标准旋转四元数向量：式中a、b、c为实数；步骤1.1.2：将所述N作为所述物体模型点云与三维传感器之间的坐标变换关系参数；将所述q经过计算，获得旋转矩阵R：步骤1.1.3：根据所述R和所述t获得坐标变换矩阵T：步骤1.1.4：采用高斯噪声扰动法对所述物体模型点云的每个点添加随机高斯噪声扰动，得到原始点云P，使用矩阵乘法将所述原始点云P：变换成经过坐标变换后的点云P′：进一步地，所述步骤1.2包括如下步骤：步骤1.2.1：使用点云网格平面投影法，在三维空间中随机生成一个距离点云中心足够远的第一平面，使点云中的所有点处于所述第一平面的一边，所述第一平面的方程：Ax+By+Cz+D＝0；步骤1.2.2：使用间隔为1mm的栅格对所述第一平面进行均匀划分，得到划分后的网格平面，将所述点云P′的所有点(x,y,z)投影至所述网格平面上，得到所述网格平面上的三维坐标(x',y',z')：计算所述点云P′上的点(x,y,z)到所述网格平面的距离L：步骤1.2.3：取所述点云P′中投影至所述网格平面上同一个网格中的所有点中距离所述网格平面最近的点，作为所述网格的可视前部点，并将投影到所述网格中的其余所述点舍弃；提取所有网格的可视前部点，进而得到所述点云P′的点云样本。进一步地，所述步骤2包括如下步骤：步骤2.1：配置所述神经网络；步骤2.2：设置所述神经网络的损失函数和超参数；步骤2.3：利用所述训练数据集对所述神经网络进行训练，得到所述训练完成后的神经网络训练模型。进一步地，所述步骤2.1中的所述神经网络的包括主干路和分岔支路，所述主干路的输出配置为点云模型的分类信息，所述分岔支路的输出配置为点云模型的位置和姿态信息，所述分岔支路从所述主干路中引出，并在输出信息后汇入所述主干路。进一步地，所述步骤2.2中所述神经网络的所述损失函数设置为输出点云与实际点云的位置姿态偏差值与类别偏差值之和：l＝a[||t'-t||2+βmin(||q'-q2'||q'+q||2)]+lc，式中α为位置姿态损失系数、β为旋转向量损失系数、lc为输出点云的类别和实际点云的类别偏差的交叉熵损失。进一步地，所述步骤3中的预处理方法为通过随机取点降低采样的方法，得到所述第一场景点云，所述第一场景点云的点的数目和所述训练数据集的点云的点的数目相同。进一步地，所述步骤3中所述坐标变换矩阵可以通过预测的所述位置姿态参数与所述场景点云进行矩阵运算获得。进一步地，所述步骤2.2中所述超参数包括学习率、学习率衰减参数、学习率下降步数。与现有技术相比，通过本专利技术的实施，可以达到以下明显的技术效果：1)本专利技术提供的一种三维点云与三维传感器的神经网络坐标变换方法，具有适应三维传感器采集的环境点云部分缺失和含有噪声的工作环境，可以快速地进行三维目标物体的位置和姿态计算。2)本专利技术提供的一种三维点云与三维传感器的神经网络坐标变换方法，可以用于三维物体的位置姿态校正后的分类识别，对三维物体的分类识别具有较高精度。3)本专利技术提供的一种三维点云与三维传感器的神经网络坐标变换方法，引入了神经网络的方法，克服了现有方法手工提取点云数据中的各种特征费时本文档来自技高网...

【技术保护点】
1.一种三维点云与三维传感器的神经网络坐标变换方法，其特征在于，包含如下具体步骤：步骤1：针对已知物体模型点云进行数据增强处理，得到训练数据集；步骤2：使用设计的神经网络对所述训练数据集进行离线训练，得到训练完成的神经网络训练模型；步骤3：对三维传感器拍摄获得的场景点云进行预处理，得到第一场景点云，采用所述训练完成的神经网络训练模型对所述第一场景点云进行预测，获得预测的位置姿态参数和预测的坐标变换矩阵。

【技术特征摘要】
1.一种三维点云与三维传感器的神经网络坐标变换方法，其特征在于，包含如下具体步骤：步骤1：针对已知物体模型点云进行数据增强处理，得到训练数据集；步骤2：使用设计的神经网络对所述训练数据集进行离线训练，得到训练完成的神经网络训练模型；步骤3：对三维传感器拍摄获得的场景点云进行预处理，得到第一场景点云，采用所述训练完成的神经网络训练模型对所述第一场景点云进行预测，获得预测的位置姿态参数和预测的坐标变换矩阵。2.如权利要求1所述的一种三维点云与三维传感器的神经网络坐标变换方法，其特征在于，所述步骤1包括如下步骤：步骤1.1：采用随机坐标变换法和高斯噪声扰动法，对所述物体模型点云进行变换，得到点云P′；步骤1.2：采用点云网格平面投影法，得到所述点云P′的点云样本；步骤1.3：重复步骤1.1和步骤1.2，得到所述物体模型点云的所述点云P′的点云样本集，通过随机取点降采样的方法，使得所述点云样本集的各个点云样本的点数相同，进而得到所述训练数据集。3.如权利要求2所述的一种三维点云与三维传感器的神经网络坐标变换方法，其特征在于，所述步骤1.1包括如下步骤：步骤1.1.1：使用所述随机坐标变换法对所述物体模型点云进行离线数据增强，根据随机数生成器生成一个七维向量N，所述N包括三维平移向量t和四元数向量q，所述q是由正规化方程处理后的标准旋转四元数向量：式中a、b、c为实数；步骤1.1.2：将所述N作为所述物体模型点云与三维传感器之间的坐标变换关系参数；将所述q经过计算，获得旋转矩阵R：步骤1.1.3：根据所述R和所述t获得坐标变换矩阵T：步骤1.1.4：采用高斯噪声扰动法对所述物体模型点云的每个点添加随机高斯噪声扰动，得到原始点云P，使用矩阵乘法将所述原始点云P：变换成经过坐标变换后的点云P′：4.如权利要求2所述的一种三维点云与三维传感器的神经网络坐标变换方法，其特征在于，所述步骤1.2包括如下步骤：步骤1.2.1：使用点云网格平面投影法，在三维空间中随机生成一个距离点云中心足够远的第一平面，使点云中的所有点处于所述第一平面的一边，所述第一平面的方程：Ax+By+Cz+D＝0；步骤1.2.2：使用间隔为1mm的栅格对...

【专利技术属性】
技术研发人员：庄春刚，朱向阳，艾尚宥，池子敬，张波，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31