一种基于点云配准的深度图像匹配方法组成比例

本发明专利技术提出了一种基于点云配准的深度图像匹配方法。本发明专利技术在传统两阶段点云配准过程中加入校正配准，解决了粗配准失效使得精配准无法收敛并导致最终配准失败问题。在粗配准过程中，使用了深度神经网络提取出的特征，相较于传统点云特征描述，提高了特征描述的准确性。具体包括以下步骤：接收模板深度图像和目标深度图像并转为点云形式数据；使用深度神经网络提取两幅的关键点与特征点信息；使用计算出特征信息，对模板点云和目标点云依次进行粗配准处理，校正配准和精配准，获得两幅点云间的姿态变换矩阵并计算出模板图像相对于目标图像在X轴，Y轴，Z轴上的平移和旋转。利用本发明专利技术公开的方法，可以有效地实现对不同分辨率下的深度图像匹配。

【技术实现步骤摘要】
一种基于点云配准的深度图像匹配方法
本专利技术涉及计算机技术及图像处理领域，尤其涉及一种基于点云配准的深度图像匹配方法。
技术介绍
在如今的现代化、自动化工业生产中，机器视觉起到了关键性的作用。工件的自动检测，分类识别，产品质量的自动检测，编码的自动识别，目标跟踪，无序抓取等主要的机器视觉应用广泛应用于工业生产中。在这些应用中，匹配作为高层机器视觉中的流程第一步，往往决定了整套解决方案的稳定性，准确性，可用性。近些年三维深度相机的使用越发广泛，使用三维深度相机可以得到比普通相机更多的工件信息，如工件尺寸，摆放角度，样品斜率等数据。然而在样品匹配这一关键步骤中，往往还对深度图采用传统图像处理中基于二维图像边缘信息或局部特征点信息的匹配方法，没有充分利用三维数据带来的高准确性和更大的适用场景。当工件出现较大倾翻转斜，需要得到样品具体的六个自由度的运动情况，或需要准确定位在三维空间中的位置时，传统的基于二维图像的方法往往无能为力。现有的点云配准方法通常包括粗配准和精配准两个过程，一般期望粗配准能为精配准提供较为粗略但准确的配准初值，精配准常使用迭代最近点方法实现配准。但对于复杂和带有噪声的真实生产场景的深度图像转换的点云数据，简单的粗配准计算特征时间复杂度高，也常常出现始终无法迭代出较好初值的情况，使得整套点云配准解决方法的准确度和效率无法保证。
技术实现思路
本专利技术的目的是提供一种将深度图像转为点云数据，使用深度神经网络提取特征信息并通过三阶段级联配准实现深度图像匹配的方法，以解决现有工业生产中，使用二维图像匹配方法无法处理较大倾斜，也无法得到三维空间内六个自由度的运动情况和在三维空间内准确定位物体问题，并提高了传统点云配准方法在此生产场景下的稳定性和效率。实现本专利技术目的的具体技术方案是：一种基于点云配准的深度图像匹配方法，特点是该方法包括以下具体步骤：步骤1：采集目标物体的无倾斜无旋转的深度图像作为模板图像，采集生产流程中的任意姿态目标物体的深度图像为目标图像；步骤2：对步骤1中采集得到的模板图像和目标图像进行图像预处理，得到预处理后的模板图像和预处理后的的目标图像；步骤3：根据相机标定参数，将步骤2中得到的预处理后的模板图像生成模板点云，将步骤2中得到的预处理后的目标图像生成目标点云；步骤4：对步骤3中得到的模板点云和目标点云进行滤波处理，得到滤波后模板点云和滤波后目标点云；步骤5：使用基于点云卷积的深度神经网络提取步骤4中得到的滤波后模板点云和滤波后目标点云各自的特征点和每个特征点的特征信息；步骤6：使用步骤5得到的滤波后模板点云的特征点、特征点的特征信息与滤波后目标点云的特征点、特征点的特征信息一起作为配准依据，对步骤4得到的滤波后模板点云和滤波后目标点云进行粗配准处理，获得粗配准变换矩阵；步骤7：将步骤6中的粗配准变换矩阵作为配准初始参数，对步骤4得到的滤波后模板点云和滤波后目标点云进行校正配准处理，获得校正配准变换矩阵；步骤8：将步骤7中的校正配准变换矩阵作为初始参数，对步骤4得到的滤波后模板点云和滤波后目标点云进行精配准处理，获得精配准变换矩阵，使用该精配准变换矩阵将步骤1中的模板图像变换至步骤1中的目标图像，完成深度图像匹配。步骤2所述进行图像预处理，采用卷积的方法，使用卷积模板对深度图像进行卷积计算，得到各点在其邻域内的高度断差响应值；将各点的高度断差响应值作为筛选依据，筛选响应值大于设定阈值的点作为边缘特征点。步骤3所述相机标定参数是指对深度相机标定时得到的图像X向分辨率，X向初始位置，Y向分辨率，Y向初始位置能确定各点在真实三维空间内位置的参数。所述步骤5具体为：网络输入数据包括原始的各点坐标位置信息及各点邻域内的局部特征直方图；局部特征直方图通过计算各点与其邻域内的点的法线信息和两点间的局部坐标系信息作为统计依据，统计各邻域内的特征生成特征描述直方图；深度神经网络各层间通过短连接，将不同分辨率和尺度下的特征信息和输入的原始特征进行拼接，并使用多层全连接网络进行融合；各卷积层中加入注意力机制，根据学习出的权重，调整特征信息；根据最终输出层的特征信息，选择每个点响应最大的通道作为其代表通道，并在该通道上检查是否为局部最大值，确定特征点。步骤7所述进行校正配准处理是将整体点云空间分割成为若干个小格子，统计每个格子内的点并计算格子内的正态分布参数；将目标点云中的点按照转移矩阵进行变化，并计算每个格子内的响应概率分布函数，最终优化使得概率分布响应和最大。本专利技术使用加入注意力机制和多尺度采样的点云卷积特征提取网络提取点云特征，相较于手工设计的传统点云特征描述方法，在多个公共数据集如3DMATCH上显示出具有更强的鲁棒性，区分性，并通过多尺度采样结构，实现了对不同分辨率图像的处理。在配准过程中，使用提取到的关键点作为第一阶段粗配准的配准点，避免了传统方法随机采样配准点时的随机性，并降低了数据量。本专利技术还在传统二阶段配准方法中，加入了校正配准，解决了粗配准结果不准确时，精配准无法正确完成配准的问题。本专利技术方法基于点云数据格式和多种点云配准方法，涉及图像边缘提取、点云滤波处理，点云法线估计与特征提取，点云配准等内容，应用范围很广，可以用于各分辨率下的深度图像的匹配问题。附图说明图1为本专利技术的流程图；图2为本专利技术特征提取网络中的注意力机制结构示意图；图3为本专利技术特征提取网络中的多尺度采样结构示意图；图4为本专利技术待测图像和样本图像的粗配准结果图；图5为本专利技术待测图像和样本图像的校正配准结果图；图6为本专利技术待测图像和样本图像的精配准结果图。具体实施方式结合以下具体实施例和附图，对本专利技术作进一步的详细说明。实施本专利技术的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本专利技术没有特别限制内容。本专利技术提出的基于点云配准的深度图像匹配方法，包括以下步骤：步骤一，预先采集目标物体的无倾斜无旋转的深度图像作为模板图像，采集生产流程中的任意姿态目标物体的深度图像为目标图像；步骤二，对步骤一中采集得到的模板图像和目标图像进行图像预处理，得到预处理后的模板图像和预处理后的的目标图像；步骤三，根据相机标定参数，将步骤二中得到的预处理后的模板图像生成模板点云，将步骤二中得到的预处理后的目标图像生成目标点云；步骤四，对步骤三中得到的模板点云和目标点云进行滤波处理，得到滤波后模板点云和滤波后目标点云；步骤五，使用基于点云卷积的深度神经网络提取步骤四中得到的滤波后模板点云的特征点和各特征点的特征信息；步骤六，使用基于点云卷积的深度神经网络提取步骤四中得到的滤波后目标点云的特征点和各特征点的特征信息；步骤七，使用步骤五得到的滤波后模板点云特征点和各特征点的特征信息和步骤六得到的滤波后目标点云的特征点和各特征点的特征信息作为配准依据，对步骤四得到本文档来自技高网...

【技术保护点】
1.一种基于点云配准的深度图像匹配方法，其特征在于，该方法包括以下具体步骤：/n步骤1：采集目标物体的无倾斜无旋转的深度图像作为模板图像，采集生产流程中的任意姿态目标物体的深度图像为目标图像；/n步骤2：对步骤1中采集得到的模板图像和目标图像进行图像预处理，得到预处理后的模板图像和预处理后的的目标图像；/n步骤3：根据相机标定参数，将步骤2中得到的预处理后的模板图像生成模板点云，将步骤2中得到的预处理后的目标图像生成目标点云；/n步骤4：对步骤3中得到的模板点云和目标点云进行滤波处理，得到滤波后模板点云和滤波后目标点云；/n步骤5：使用基于点云卷积的深度神经网络提取步骤4中得到的滤波后模板点云和滤波后目标点云各自的特征点和每个特征点的特征信息；/n步骤6：使用步骤5得到的滤波后模板点云的特征点、特征点的特征信息与滤波后目标点云的特征点、特征点的特征信息一起作为配准依据，对步骤4得到的滤波后模板点云和滤波后目标点云进行粗配准处理，获得粗配准变换矩阵；/n步骤7：将步骤6中的粗配准变换矩阵作为配准初始参数，对步骤4得到的滤波后模板点云和滤波后目标点云进行校正配准处理，获得校正配准变换矩阵；/n步骤8：将步骤7中的校正配准变换矩阵作为初始参数，对步骤4得到的滤波后模板点云和滤波后目标点云进行精配准处理，获得精配准变换矩阵，使用该精配准变换矩阵将步骤1中的模板图像变换至步骤1中的目标图像，完成深度图像匹配。/n...

【技术特征摘要】
1.一种基于点云配准的深度图像匹配方法，其特征在于，该方法包括以下具体步骤：
步骤1：采集目标物体的无倾斜无旋转的深度图像作为模板图像，采集生产流程中的任意姿态目标物体的深度图像为目标图像；
步骤2：对步骤1中采集得到的模板图像和目标图像进行图像预处理，得到预处理后的模板图像和预处理后的的目标图像；
步骤3：根据相机标定参数，将步骤2中得到的预处理后的模板图像生成模板点云，将步骤2中得到的预处理后的目标图像生成目标点云；
步骤4：对步骤3中得到的模板点云和目标点云进行滤波处理，得到滤波后模板点云和滤波后目标点云；
步骤5：使用基于点云卷积的深度神经网络提取步骤4中得到的滤波后模板点云和滤波后目标点云各自的特征点和每个特征点的特征信息；
步骤6：使用步骤5得到的滤波后模板点云的特征点、特征点的特征信息与滤波后目标点云的特征点、特征点的特征信息一起作为配准依据，对步骤4得到的滤波后模板点云和滤波后目标点云进行粗配准处理，获得粗配准变换矩阵；
步骤7：将步骤6中的粗配准变换矩阵作为配准初始参数，对步骤4得到的滤波后模板点云和滤波后目标点云进行校正配准处理，获得校正配准变换矩阵；
步骤8：将步骤7中的校正配准变换矩阵作为初始参数，对步骤4得到的滤波后模板点云和滤波后目标点云进行精配准处理，获得精配准变换矩阵，使用该精配准变换矩阵将步骤1中的模板图像变换至步骤1中的目标图像，完成深度图像匹配。


2.如权利要求1所述的基于点云配准的深度图像匹配方法，其特征在于，步骤2所述进行图像预处理，采用卷积的方法，使...

【专利技术属性】
技术研发人员：吕岳，刘鑫，吕淑静，屠晓，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：上海;31