一种图像处理方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了一种图像处理方法、装置、电子设备及存储介质，可应用于地图领域，该方法包括：获取待处理图像，对待处理图像进行特征点检测得到第一特征点信息；所述第一特征点信息包括第一特征点的位置信息和描述子；根据第一特征点的位置信息确定第一邻接矩阵和第一度矩阵；将所述第一特征点的描述子、所述第一邻接矩阵和第一度矩阵输入至图卷积神经网络中，得到所述第一特征点的特征向量；根据所述第一特征点的特征向量，确定所述第一特征点与第二特征点的匹配关系；所述第二特征点为所述待处理图像对应的标准图像中的特征点。本发明专利技术降低了特征点匹配的误差，提高了匹配关系的准确性和匹配精度。确性和匹配精度。确性和匹配精度。

【技术实现步骤摘要】
一种图像处理方法、装置、电子设备及存储介质


[0001]本专利技术涉及计算机
，特别涉及一种图像处理方法、装置、电子设备及存储介质。

技术介绍

[0002]图像配准是对两幅不同条件下(例如不同时间、不同成像设备、不同角度、不同光照等条件)获取的图像进行匹配的过程，其中涉及到特征点匹配，即根据特征点检测结果得到两幅图像中特征点的匹配关系。
[0003]相关技术中，在进行特征点匹配时主要是根据特征点描述子的距离(如夹角余弦值等)来确定特征点的匹配关系，这种方式仅仅考虑了特征点描述子，在特征点描述子不够准确(例如图像畸变或者特征点描述子维度较低)时会产生较大的匹配误差，导致特征点匹配关系的准确性差。

技术实现思路

[0004]为了解决现有技术的问题，本专利技术实施例提供了一种图像处理方法、装置、电子设备及存储介质。所述技术方案如下：
[0005]一方面，提供了一种图像处理方法，所述方法包括：
[0006]获取待处理图像，对所述待处理图像进行特征点检测得到第一特征点信息；所述第一特征点信息包括第一特征点的位置信息和描述子；
[0007]根据所述第一特征点的位置信息，确定第一邻接矩阵和第一度矩阵；所述第一邻接矩阵表征所述第一特征点之间的关联关系，所述第一度矩阵表征每个所述第一特征点所关联的特征点的数量；
[0008]将所述第一特征点的描述子、所述第一邻接矩阵和第一度矩阵输入至图卷积神经网络中，得到所述第一特征点的特征向量；
[0009]根据所述第一特征点的特征向量，确定所述第一特征点与第二特征点的匹配关系；所述第二特征点为所述待处理图像对应的标准图像中的特征点。
[0010]另一方面，提供了一种图像处理装置，所述装置包括：
[0011]第一特征点检测模块，用于获取待处理图像，对所述待处理图像进行特征点检测得到第一特征点信息；所述第一特征点信息包括第一特征点的位置信息和描述子；
[0012]第一确定模块，用于根据所述第一特征点的位置信息，确定第一邻接矩阵和第一度矩阵；所述第一邻接矩阵表征所述第一特征点之间的关联关系，所述第一度矩阵表征每个所述第一特征点所关联的特征点的数量；
[0013]图卷积处理模块，用于将所述第一特征点的描述子、所述第一邻接矩阵和第一度矩阵输入至图卷积神经网络中，得到所述第一特征点的特征向量；
[0014]匹配关系确定模块，用于根据所述第一特征点的特征向量，确定所述第一特征点与第二特征点的匹配关系；所述第二特征点为所述待处理图像对应的标准图像中的特征
点。
[0015]在一个示例性的实施方式中，所述第一确定模块，包括：
[0016]距离确定模块，用于根据所述第一特征点的位置信息，确定所述第一特征点之间的距离；
[0017]第一邻接矩阵确定模块，用于根据第一预设超参数与所述第一特征点之间的距离的比值，确定所述第一邻接矩阵；
[0018]第一度矩阵确定模块，用于根据所述第一邻接矩阵中每行的非对角元素的和值，确定所述第一度矩阵。
[0019]在一个示例性的实施方式中，所述第一特征点检测模块，还用于对所述标准图像进行特征点检测，得到第二特征点信息；所述第二特征点信息包括所述第二特征点的位置信息和描述子；
[0020]所述第一确定模块，还用于根据所述第二特征点的位置信息，确定第二邻接矩阵和第二度矩阵；所述第二邻接矩阵表征所述第二特征点之间的关联关系，所述第二度矩阵表征每个所述第二特征点所关联的特征点的数量；
[0021]所述图卷积处理模块，还用于将所述第二特征点的描述子、所述第二邻接矩阵和第二度矩阵输入至所述图卷积神经网络中，得到所述第二特征点的特征向量；
[0022]相应的，所述匹配关系确定模块，具体用于根据所述第一特征点的特征向量和所述第二特征点的特征向量的乘积，确定所述第一特征点与第二特征点的匹配关系。
[0023]在一个示例性的实施方式中，所述装置还包括：
[0024]第一匹配点对确定模块，用于根据所述第一特征点与第二特征点的匹配关系，确定多个匹配点对；
[0025]变换矩阵确定模块，用于根据所述多个匹配点对，确定目标单应性变换矩阵；
[0026]第一变换模块，用于根据所述目标单应性变换矩阵对所述待处理图像进行变换，得到所述标准图像对应的配准图像。
[0027]在一个示例性的实施方式中，所述装置还包括：
[0028]样本获取模块，用于获取样本图像和变换图像；所述变换图像是基于预设单应性变换矩阵对所述样本图像进行变换得到的；
[0029]第二特征点检测模块，用于分别对所述样本图像和变换图像进行特征点检测，得到第一样本特征点信息和第二样本特征点信息；所述第一样本特征点信息包括所述样本图像中第一样本特征点的位置信息和描述子，所述第二样本特征点信息包括所述变换图像中第二样本特征点的位置信息和描述子；
[0030]特征向量确定模块，用于根据所述第一样本特征点信息、所述第二样本特征点信息和初始图卷积神经网络，分别得到所述第一样本特征点的特征向量和所述第二样本特征点的特征向量；
[0031]预测匹配关系确定模块，用于根据所述第一样本特征点的特征向量和所述第二样本特征点的特征向量，得到所述第一样本特征点与所述第二样本特征点的预测匹配关系；
[0032]第二变换模块，用于基于所述预设单应性变换矩阵对所述第一样本特征点进行变换，得到变换后的第一样本特征点；
[0033]参考匹配关系确定模块，用于基于第二预设超参数和所述变换后的第一样本特征
点，确定所述第一样本特征点与所述第二样本特征点的参考匹配关系；
[0034]训练模块，用于根据所述预测匹配关系与所述参考匹配关系的差异确定损失值，并基于所述损失值调整所述初始图卷积神经网络的网络参数直至满足训练结束条件，得到所述图卷积神经网络。
[0035]在一个示例性的实施方式中，所述特征向量确定模块，包括：
[0036]第二确定模块，用于根据所述第一样本特征点的位置信息，确定第一样本邻接矩阵和第一样本度矩阵；
[0037]第三确定模块，用于根据所述第二样本特征点的位置信息，确定第二样本邻接矩阵和第二样本度矩阵；
[0038]第一特征向量确定模块，用于将所述第一样本特征点的描述子、所述第一样本邻接矩阵和第一样本度矩阵输入至初始图卷积神经网络中，得到所述第一样本特征点的特征向量；
[0039]第二特征向量确定模块，用于将所述第二样本特征点的描述子、所述第二样本邻接矩阵和第二样本度矩阵输入至所述初始图卷积神经网络中，得到所述第二样本特征点的特征向量。
[0040]在一个示例性的实施方式中，所述参考匹配关系确定模块，包括：
[0041]选取模块，用于从所述变换后的第一样本特征点中选取目标第一样本特征点；所述目标第一样本特征点为所述变换后的第一样本特征点中的任意一个；
[0042]第四确定模块，用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取待处理图像，对所述待处理图像进行特征点检测得到第一特征点信息；所述第一特征点信息包括第一特征点的位置信息和描述子；根据所述第一特征点的位置信息，确定第一邻接矩阵和第一度矩阵；所述第一邻接矩阵表征所述第一特征点之间的关联关系，所述第一度矩阵表征每个所述第一特征点所关联的特征点的数量；将所述第一特征点的描述子、所述第一邻接矩阵和第一度矩阵输入至图卷积神经网络中，得到所述第一特征点的特征向量；根据所述第一特征点的特征向量，确定所述第一特征点与第二特征点的匹配关系；所述第二特征点为所述待处理图像对应的标准图像中的特征点。2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述第一特征点的位置信息，确定第一邻接矩阵和第一度矩阵，包括：根据所述第一特征点的位置信息，确定所述第一特征点之间的距离；根据第一预设超参数与所述第一特征点之间的距离的比值，确定所述第一邻接矩阵；根据所述第一邻接矩阵中每行的非对角元素的和值，确定所述第一度矩阵。3.根据权利要求1或2所述的图像处理方法，其特征在于，所述方法还包括：对所述标准图像进行特征点检测，得到第二特征点信息；所述第二特征点信息包括所述第二特征点的位置信息和描述子；根据所述第二特征点的位置信息，确定第二邻接矩阵和第二度矩阵；所述第二邻接矩阵表征所述第二特征点之间的关联关系，所述第二度矩阵表征每个所述第二特征点所关联的特征点的数量；将所述第二特征点的描述子、所述第二邻接矩阵和第二度矩阵输入至所述图卷积神经网络中，得到所述第二特征点的特征向量；相应的，所述根据所述第一特征点的特征向量，确定所述第一特征点与第二特征点的匹配关系，包括：根据所述第一特征点的特征向量和所述第二特征点的特征向量的乘积，确定所述第一特征点与第二特征点的匹配关系。4.根据权利要求3所述的图像处理方法，其特征在于，在确定所述第一特征点与第二特征点的匹配关系之后，所述方法还包括：根据所述第一特征点与第二特征点的匹配关系，确定多个匹配点对；根据所述多个匹配点对，确定目标单应性变换矩阵；根据所述目标单应性变换矩阵对所述待处理图像进行变换，得到所述标准图像对应的配准图像。5.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括：获取样本图像和变换图像；所述变换图像是基于预设单应性变换矩阵对所述样本图像进行变换得到的；分别对所述样本图像和变换图像进行特征点检测，得到第一样本特征点信息和第二样本特征点信息；所述第一样本特征点信息包括所述样本图像中第一样本特征点的位置信息和描述子，所述第二样本特征点信息包括所述变换图像中第二样本特征点的位置信息和描
述子；根据所述第一样本特征点信息、所述第二样本特征点信息和初始图卷积神经网络，分别得到所述第一样本特征点的特征向量和所述第二样本特征点的特征向量；根据所述第一样本特征点的特征向量和所述第二样本特征点的特征向量，得到所述第一样本特征点与所述第二样本特征点的预测匹配关系；基于所述预设单应性变换矩阵对所述第一样本特征点进行变换，得到变换后的第一样本特征点；基于第二预设超参数和所述变换后的第一样本特征点，确定所述第一样本特征点与所述第二样本特征点的参考...

【专利技术属性】
技术研发人员：吴文龙，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：