一种结合图像语义与坐标关系的特征误匹配检测方法技术

本发明专利技术公开了一种结合图像语义与坐标关系的特征误匹配检测方法，该方法由三个特定功能模块构成的深度学习检测网络对图像误匹配点进行检测，三个功能模块包括语义向量生成模块、坐标位置关系向量生成模块、以及匹配点对判别模块；其中语义向量生成模块输入需先进行旋转方向和尺度的对齐操作，通过在大量包含正确匹配点对和误匹配点对的已标注训练数据集上进行深度学习网络训练，训练后网络可以对待检测的匹配图像点对的匹配关系的正确性进行有效判别；本发明专利技术采用新的深度学习方法显著提升了对匹配点对正确性判别的准确率与鲁棒性，此外本发明专利技术还可为人脸识别，三维重建，图像检索，自动驾驶等领域应用提供高质量的特征点匹配关系校验方法。配关系校验方法。配关系校验方法。

【技术实现步骤摘要】
一种结合图像语义与坐标关系的特征误匹配检测方法


[0001]本专利技术属于人工智能领域，具体涉及一种结合图像语义与坐标关系的特征误匹配检测方法。

技术介绍

[0002]图像的特征点匹配技术在计算机视觉任务中有着广泛的应用，例如人脸识别，三维重建，图像检索，自动驾驶等。目前，在特征点匹配领域已有较多经典算法，包括SIFT，SURF，FAST，HoG，CONTEXTDESC等。此类经典算法虽已考虑到待匹配图像之间的旋转，尺度，光照变化等差异，但在处理复杂场景时，上述方法仍无法避免错误匹配问题，下文简称误匹配。因此，误匹配检测的研究工作旨在通过剔除匹配结果中的误匹配特征点对，以提高匹配的准确率。现有误匹配检测方法主要包括两类：利用匹配关系统计与机器视觉成像建模理论的误匹配检测方法，例如RANSAC算法。该方法采用迭代优化方式，计算符合特征点匹配的基础矩阵，从而剔除不符合基础矩阵的外点，即误匹配点。采用深度学习方法的误匹配检测方法，例如NM
‑
NET算法，其将待匹配两幅图像的所有匹配点对的坐标作为网络输入，采用神经网络学习误匹配点对的特征，从而对匹配结果点对的正确与否做出判别，其本质仍是对匹配点对坐标关系的离群点进行检测。近年来，对于误匹配点对的高精度检测仍是计算机视觉及图像处理领域的热点问题，相关算法对于视角、尺度以及光照条件变化较大的数据集，仍存在误匹配检测准确率低、算法鲁棒性不高的瓶颈。与上述方法不同，本专利提出一种新的特征误匹配检测方法，该方法不仅依赖待检测匹配特征点对的坐标关系，还结合匹配特征点对的图像语义信息，并构建了不同于现有方法的深度学习网络结构以实现更高精度的误匹配特征点检测。

技术实现思路

[0003]本专利技术的目的是提供一种结合图像语义与坐标关系的特征误匹配检测方法，与现有特征误匹配检测方法相比，该方法可显著提高误匹配特征点的检测精度。
[0004]为了实现上述目的，本专利技术采用的技术方案是：
[0005]一种结合图像语义与坐标关系的特征误匹配检测方法，包括以下步骤：
[0006]步骤1，选取大量待匹配图像，采用自动化匹配计算方法加人工交互式标注方法，获得大量正确匹配点对和误匹配点对，从所有的匹配点对中选出2000个匹配点对作为一个样本，样本数据构成训练数据集；
[0007]步骤2，搭建可处理邻域图像块与图像坐标的多模态神经网络结构，该神经网络结构主要包括3个模块，分别是语义向量生成模块、坐标位置关系向量生成模块、匹配点对判别模块；
[0008]步骤3，对于训练数据集中的每个匹配点对，采用尺度归一化与图像旋转操作对匹配点对的邻域图像块进行对齐预处理，将对齐后的匹配点对邻域图像块输入到步骤2搭建的语义向量生成模块，得到所有匹配点对的语义向量；
[0009]步骤4，获取训练数据集中每个样本所有匹配点对的位置坐标，并将每个样本所有匹配点对的位置坐标输入到步骤2搭建的坐标位置关系向量生成模块，得到每个样本所有匹配点对的位置信息特征向量，并对每个样本的所有匹配点对的邻域图像语义向量和位置信息特征向量进行特征融合；
[0010]步骤5，构造参数化神经网络模型，把训练数据集中每个样本所有匹配点对的邻域图像块和位置坐标输入到参数化神经网络模型中，得到输出结果；
[0011]步骤6，分别用全连接层和交叉熵损失函数对步骤4的融合特征向量及步骤5的输出结果进行二分类判别，并反向传播更新步骤2所搭建的多模态神经网络以及步骤5所搭建的参数化神经网络的权重参数，用训练数据集数据分别训练这两个网络，并保存出2套不同的权重偏置参数；
[0012]步骤7，获取待测样本的邻域图像块以及位置坐标，分别输入到步骤6训练好的多模态神经网络以及参数化神经网络中，并得到待测样本的预测结果。
[0013]进一步地，所述步骤1的具体做法为：
[0014]步骤1.1，选取两幅待匹配原始图像，使用自动匹配算法对这两幅原始图像进行匹配，得到图像的数个匹配点对，每个匹配点对由原始图像上两个特征点组成；
[0015]步骤1.2，根据步骤1.1的结果，若每个匹配点对所对应的两个特征点在真实场景中代表的是同一个位置，则这个匹配点对的标签是正确匹配，如果不是同一个位置，则这个匹配点对的标签是错误匹配，以此类推，得到所有匹配点对的标签，并从所有的匹配点对中选出2000个匹配点对作为一个样本；
[0016]步骤1.3，重复步骤1.1到1.2，制作出1500个样本作为训练数据集，其中每个样本对应两幅原始图像，2000个匹配点对，每个匹配点对对应两个特征点。
[0017]进一步地，所述步骤2的具体做法为：
[0018]步骤2.1，搭建共包含14层的语义向量生成模块，依次为卷积层1、BN层1、卷积层2、BN层2、卷积层3、BN层3、卷积层4、BN层4、卷积层5、BN层5、卷积层6、BN层6、卷积层7、BN层7，其中每一层的输出即为下一层的输入；
[0019]步骤2.2，搭建共包含18层的坐标位置关系向量生成模块，依次为卷积层1、IN层1、BN层1、卷积层2、IN层2、BN层2、卷积层3、IN层3、BN层3、卷积层4、IN层4、BN层4、卷积层5、IN层5、BN层5、卷积层6、IN层6、BN层6，其中每一层的输出即为下一层的输入；
[0020]步骤2.3，搭建共包含5层的匹配点对判别模块，依次为全连接层1、全连接层2、全连接层3、全连接层4、全连接层5，其中每一层的输出即为下一层的输入。
[0021]进一步地，所述步骤3的具体做法为：
[0022]步骤3.1，在训练数据集中选取一个样本，每个样本有2000个匹配点对，选取其中的一个匹配点对，每个匹配点对对应左右两个特征点，找到这两个特征点在步骤1.1中原始图像上的位置坐标，以该位置坐标为中心，在该点的主方向上，选取长为32像素，宽为32像素范围内，对原始图像进行分割，分割后的图像作为该特征点的邻域图像块，重复上述操作可得到另一个特征点的邻域图像块；
[0023]步骤3.2，根据步骤3.1的结果，对该匹配点对的两张邻域图像块进行尺度归一化处理，并把这两张邻域图像块分别输入到步骤2.1所搭建的语义向量生成模块，可得到特征向量，对这两个特征向量进行归一化操作并相加在一起作为该匹配点对的语义向量；
[0024]步骤3.3，重复步骤3.1到步骤3.2，可得到训练集中所有匹配点对的语义向量。
[0025]进一步地，所述步骤4的具体做法为：
[0026]步骤4.1，在训练数据集中选取一个样本，在该样本中选取一个匹配点对，获取该匹配点对所对应的两个特征点在步骤1.1中原始图像上的位置坐标，并对这两个位置坐标进行水平拼接以及归一化操作，重复上述操作，可获得该样本所有匹配点对的位置坐标，将该样本所有匹配点对的位置坐标垂直拼接在一起形成2000*4一个整体；
[0027]步骤4.2，根据步骤4.1的结果，将该样本所有匹配点对的位置坐标输入到步骤2.2所构造的坐标位置关系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合图像语义与坐标关系的特征误匹配检测方法，其特征在于，包括以下步骤：步骤1，选取大量待匹配图像，采用自动化匹配计算方法加人工交互式标注方法，获得大量正确匹配点对和误匹配点对，从所有的匹配点对中选出2000个匹配点对作为一个样本，样本数据构成训练数据集；步骤2，搭建可处理邻域图像块与图像坐标的多模态神经网络结构，该神经网络结构主要包括3个模块，分别是语义向量生成模块、坐标位置关系向量生成模块、匹配点对判别模块；步骤3，对于训练数据集中的每个匹配点对，采用尺度归一化与图像旋转操作对匹配点对的邻域图像块进行对齐预处理，将对齐后的匹配点对邻域图像块输入到步骤2搭建的语义向量生成模块，得到所有匹配点对的语义向量；步骤4，获取训练数据集中每个样本所有匹配点对的位置坐标，并将每个样本所有匹配点对的位置坐标输入到步骤2搭建的坐标位置关系向量生成模块，得到每个样本所有匹配点对的位置信息特征向量，并对每个样本的所有匹配点对的邻域图像语义向量和位置信息特征向量进行特征融合；步骤5，构造参数化神经网络模型，把训练数据集中每个样本所有匹配点对的邻域图像块和位置坐标输入到参数化神经网络模型中，得到输出结果；步骤6，分别用全连接层和交叉熵损失函数对步骤4的融合特征向量及步骤5的输出结果进行二分类判别，并反向传播更新步骤2所搭建的多模态神经网络以及步骤5所搭建的参数化神经网络的权重参数，用训练数据集数据分别训练这两个网络，并保存出2套不同的权重偏置参数；步骤7，获取待测样本的邻域图像块以及位置坐标，分别输入到步骤6训练好的多模态神经网络以及参数化神经网络中，并得到待测样本的预测结果。2.根据权利要求1所述的一种结合图像语义与坐标关系的特征误匹配检测方法，其特征在于，所述步骤1的具体做法为：步骤1.1，选取两幅待匹配原始图像，使用自动匹配算法对这两幅原始图像进行匹配，得到图像的数个匹配点对，每个匹配点对由原始图像上两个特征点组成；步骤1.2，根据步骤1.1的结果，若每个匹配点对所对应的两个特征点在真实场景中代表的是同一个位置，则这个匹配点对的标签是正确匹配，如果不是同一个位置，则这个匹配点对的标签是错误匹配，以此类推，得到所有匹配点对的标签，并从所有的匹配点对中选出2000个匹配点对作为一个样本；步骤1.3，重复步骤1.1到1.2，制作出1500个样本作为训练数据集，其中每个样本对应两幅原始图像，2000个匹配点对，每个匹配点对对应两个特征点。3.根据权利要求2所述的一种结合图像语义与坐标关系的特征误匹配检测方法，其特征在于，所述步骤2的具体做法为：步骤2.1，搭建共包含14层的语义向量生成模块，依次为卷积层1、BN层1、卷积层2、BN层2、卷积层3、BN层3、卷积层4、BN层4、卷积层5、BN层5、卷积层6、BN层6、卷积层7、BN层7，其中每一层的输出即为下一层的输入；步骤2.2，搭建共包含18层的坐标位置关系向量生成模块，依次为卷积层1、IN层1、BN层1、卷积层2、IN层2、BN层2、卷积层3、IN层3、BN层3、卷积层4、IN层4、BN层4、卷积层5、IN层5、
BN层5、卷积层6、IN层6、BN层6，其中每一层的输出即为下一层的输入；步骤2.3，搭建共包含5层的匹配点对判别模块，依次为全连接层1、全连接层2、全连接层3、全连接层4、全连接层5，其中每一层的输出即为下一层的输入。4.根据权利要求1所述的一种结合图像语义与坐标关系的特征误匹配检测方法，其特征在于，所述步骤3的具体做法为：步骤3.1，在训练数据集中选取一个样本，每个样本有2000个匹配点对，选取其中的一个匹配点对，每个匹配点对对应左右两个特征点，找到这两个特征点在步骤1.1中原始图像上的位置坐标，以该位置坐标为中心，在该点的主方向上，选取长为32像素，宽为32像素范围内，对原始图像进行分割，分割后的图像作为该特征点的邻域图像块，重复上述操作可得到另一个特征点的邻域图像块；步骤3.2，根据步骤3.1的结果，对该匹配点对的两张邻域图像块进行尺度归一化处理，并把这两张邻域图像块分别输入到步骤2.1所搭建的语义向量生成模块，可得到特征向量，对这两个特征向量进行归一化操作并相加在一起作为该匹配点对的语义向量；步骤3.3，重复步骤3.1到步骤3.2，可得到训练集中所有匹配点对的语义向量。5.根据权利要求4所述的一种结合图像语义与坐标关系的特征误匹配检测方法，其特征在于，所述步骤4的具体做法为：步骤4.1，在训练数据集中选取一个样本，在该样本中选取一个匹配点对，获取该匹配点对所对应的两个特征点在步骤1.1中原始图像上的位置坐标，并对这两个位置坐标进行水平拼接以及归一化操作，重复上述操作，可获得该样本所有匹配点对的位置坐标，将该样本所有匹配点对的位置坐标垂直拼接在一起形成2000*4一个整体；步骤4.2，根据步骤4.1的结果，将该样本所有匹配点对的位置坐标输入到步骤2.2所构造的坐标位置关系向量生成模块，可得到所有匹配点对的坐标位置关系向量；步骤4.3，根据步骤4.2和步骤3.2的结果，将该样本所有匹配点对的坐标位置关系向量进行归一化并与语义向量相加在一起，可得到该样本所...

【专利技术属性】
技术研发人员：肖照林，李锐源，金海燕，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：