一种基于图形基元的双模深度学习描述子构造方法技术

本发明专利技术适用于图像配准技术领域，提供了一种基于图形基元的双模深度学习描述子构造方法，该方法别通过标注样本学习补丁图像的属性类别，利用图形基元学习补丁图像的几何特征，将属性类别与几何特征融合进而得到局部补丁图像的特征向量，也即：基于图形基元的描述子。通过描述子向量的相似完成补丁之间的配准，实现了基于机器学习描述子的分类刻画，本发明专利技术提出的基于图形基元的双模深度学习描述子构造方法，针对经典图像配准方法CPU计算量较大的弊端，探索GPU(图像处理器)计算的描述子分类方法。主要建立描述子训练集，构建多模卷积网络，在GPU上训练类别与几何模式，实现局部补丁图像的分类配准。解决描述子的分类描述方法，以及GPU上的实现问题。

【技术实现步骤摘要】
一种基于图形基元的双模深度学习描述子构造方法
本专利技术属于图像配准
，提供了一种基于图像基元的双模深度学习描述子构造方法。
技术介绍
特征匹配是图像配准的主流方法，经典图像配准方法采用局部特征描述子，它以关键点为中心的图像局部区域为对象，根据其内部像素点的灰阶信息，对该区域特征进行描述，而得到的一个表达图像关键点周围局部信息的特征向量。但是经典描述子计算量大，很难应用于实时系统，对移动设备也不适用。
技术实现思路
本专利技术实施例提供一种基于图像基元的双模深度学习描述子构造方法，旨在解决经典描述子计算量大，难以应用于实时系统的问题。为了实现上述目的，本专利技术提供了一种基于图像基元的双模深度学习描述子构造方法，所述方法包括如下步骤：S1、提取图像I1和图像I2的关键点p1i及p2i，分别构成关键点集合P1及关键点集合P2；S2、截取关键点集合P1及关键点集合P2中所有关键点的补丁图像，基于补丁图像来构成关键点局部区域的尺度空间，所述补丁图像是指以某一关键点为中心，截取的N个不同尺寸图像；S3、将各关键点对应的补丁图像分别缩放成设定尺寸，得到规范化尺度补丁图像，并同时执行步骤S4及步骤S5；S4、将关键点的规范化尺度补丁图像分别输入类别检测模型，输出规范化尺寸补丁图像的类别；S5、边缘化规范化尺度补丁图像，得到补丁边缘化图像，并输入几何检测模型，得到补丁边缘化图像的几何特征向量；S6、将同一关键点在不同尺寸补丁图像上的类别和几何特征向量联合，组合成各关键点在不同尺度补丁图像上的描述子向量。进一步的，在步骤S6之后还包括：S7、进行图像I1与图像I2中的关键点配准，图像I1和图像I2中的任一一对关键点p1i及p2i的配准方法具体如下：若存在j1与j2，使得则图像I1关键点p1i与图像I2关键点p2i匹配；其中，T为设定的距离阈值，为图像I1中第i个关键点在第j1个尺寸上的描述子向量，为图像I2中第i个关键点在第j2个尺寸上的描述子向量。进一步的，步骤S3中的类别检测模型构建方法具体如下：S31、构造类别检测训练集及类别检测验证集，所述类别检测训练集及类别检测验证集是基于分类标注数据来构成的；S32、构建类别分类器；S33、通过类别训练集对类别分类器进行训练；S34、若训练次数达到设定的次数阈值，则通过分类验证集对训练后的类别分类器进行验证，若训练后的类别分类器在类别验证集上的误差位于误差允许范围或者是训练次数达到上限阈值，则停止训练，即形成类别检测模型。进一步的，步骤S4中的集合检测模型构建方法具体如下：S41、构造图像基元训练集及图像基元验证集，图像基元训练集及图像基元验证集是基于随机生成的含有直线和圆的组合图像构成；S42、针对图像基元训练集构建多维基元分类器；S43、通过图像基元训练集对多维基元分类器进行训练；S44、若训练次数达到设定的次数阈值，则通过图像基元验证集对训练后的多维基元分类器进行验证，若训练后的多维基元分类器在图像基元验证集上的误差位于误差允许范围或者是训练次数达到上限阈值，则停止训练，即形成几何检测模型。进一步的，所述类别检测训练集及类别检测验证集的构建方法具体如下：S311、在目标数据库上下载图像；S312、根据分割分类标注，在图像的目标区域内选择设定尺寸的补丁图像，选择的补丁图像数量为目标区域尺寸行列相乘的四分之一，补丁图形中心坐标的频率服从中心在区域中心的二维高斯分布；S314、按设定的比例将带有分类标注的补丁图形分别放入类别检测训练集及类别检测验证集。进一步的，图像基元训练集及图像基元验证集构造方法具体包括如下步骤：S411、以直线和圆为基元随机组成设定尺寸的组合图像，并记录直线的数量n1、圆的数量n2、直线与圆的交点数量n3、直线间的交点数量n4、以及直线间交点处的锐角以此为基础构造分类器向量S412、在所述组合图像上随机添加噪声，形成基元样本；S413、基于设定的比例将基元样本分别划分至图像基元训练集及图像基元验证集。进一步的，通过最邻近点插值方法将不同尺寸的补丁图像放大至设定尺寸。进一步的，通过Sobel边缘检测方法对规范化尺度补丁图像边缘化，得到补丁边缘化图像。进一步的，以双ResNet构建并行网络，将规范化尺度补丁图像输入类别检测模型的同时，将补丁边缘化图像输入几何检测模型，在全连接层将类别检测模型与几何检测模型相乘，构建乘性检测模型输出。本专利技术提出的基于图形基元的双模深度学习描述子构造方法，针对经典图像配准方法CPU计算量较大的弊端，探索GPU计算的描述子分类方法。主要建立描述子训练集，构建多模卷积网络，在GPU上训练类别与几何模式，实现局部补丁图像的分类配准。解决描述子的分类描述方法，以及GPU上的实现问题。附图说明图1为本专利技术实施例提供的基于图形基元的双模深度学习描述子构造方法的流程示意图；图2为本专利技术实施例提供的双模构建方法的流程简图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术分别通过标注样本学习补丁图像的属性类别，利用图形基元学习补丁图像的几何特征，将属性类别与几何特征融合进而得到局部补丁图像的特征向量，也即：基于图形基元的描述子。通过描述子向量的相似完成补丁之间的配准，实现了基于机器学习描述子的分类刻画。图1为本专利技术实施例提供的基于图像基元的双模深度学习描述子构造方法的流程示意图，从图1中可知，该方法包括如下步骤：S1、提取图像I1和图像I2的关键点，分别构成关键点集合P1及关键点集合P2；采用OD-SIFT方法提取图像I1和图像I2的关键点，假定图像I1上有n1个关键点，则关键点集合P1表示为：P1＝{p1i|p1i＝(x1i,y1i),i＝1,2,…,n1}，(x1i,y1i)表示关键点集合P1中第i个关键点p1i的坐标，假定图像I2上有n2个关键点，则关键点集合P2表示为:P2＝{p2i|p2i＝(x2i,y2i),i＝1,2,…,n2},(x2i,y2i)表示关键点集合P2中第i个关键点p2i的坐标；S2、截取关键点集合P1及关键点集合P2中所有关键点的补丁图像，基于关键点的补丁图像来构成关键点局部区域的尺度空间；补丁图像是以某一关键点为中心，截取N个不同尺度的图像，N个不同尺度的图像即构成该关键点的补丁图像；本专利技术实施例以N取值7为例进行说明关键点p1i的补丁图像及局部区域的尺寸空间，以关键点p1i为中心，依次截取32*32、28*28、24*24像素、20*20、16*16、12*12、8*8的矩形区域，构成7个不同尺寸的补丁图像，该7个补丁图像一起构成关键点p11局部区域的尺度空间，p1i∈I1，其对应的尺度补丁图像为其中为32*32矩形补丁区域，其它依此依此类推，为8*8矩形补丁区域，基于上述方法可以构建关键点集合P1及关键点集合P2所有关键点的补丁图像及局部区域的尺寸空间。S3、将补丁图像缩放成设定尺寸，得到规范化尺度补丁图像，并同时执行步骤S4及步骤S5；S4、将规范化尺度补丁图像输入类别检测模型，输出规范化尺寸补丁图像的类别；通过最邻近点插值方法将不同尺寸的补丁图像缩放至设定尺寸，本文档来自技高网...

【技术保护点】
1.一种基于图形基元的双模深度学习描述子构造方法，其特征在于，所述方法包括如下步骤：S1、提取图像I1和图像I2的关键点p1i及p2i，分别构成关键点集合P1及关键点集合P2；S2、截取关键点集合P1及关键点集合P2中所有关键点的补丁图像，基于补丁图像来构成关键点局部区域的尺度空间，所述补丁图像是指以某一关键点为中心，截取的N个不同尺寸图像；S3、将各关键点对应的补丁图像分别缩放成设定尺寸，得到规范化尺度补丁图像，并同时执行步骤S4及步骤S5；S4、将关键点的规范化尺度补丁图像分别输入类别检测模型，输出规范化尺寸补丁图像的类别；S5、边缘化规范化尺度补丁图像，得到补丁边缘化图像，并输入几何检测模型，得到补丁边缘化图像的几何特征向量；S6、将同一关键点在不同尺寸补丁图像上的类别和几何特征向量联合，组合成各关键点在不同尺度补丁图像上的描述子向量。

【技术特征摘要】
1.一种基于图形基元的双模深度学习描述子构造方法，其特征在于，所述方法包括如下步骤：S1、提取图像I1和图像I2的关键点p1i及p2i，分别构成关键点集合P1及关键点集合P2；S2、截取关键点集合P1及关键点集合P2中所有关键点的补丁图像，基于补丁图像来构成关键点局部区域的尺度空间，所述补丁图像是指以某一关键点为中心，截取的N个不同尺寸图像；S3、将各关键点对应的补丁图像分别缩放成设定尺寸，得到规范化尺度补丁图像，并同时执行步骤S4及步骤S5；S4、将关键点的规范化尺度补丁图像分别输入类别检测模型，输出规范化尺寸补丁图像的类别；S5、边缘化规范化尺度补丁图像，得到补丁边缘化图像，并输入几何检测模型，得到补丁边缘化图像的几何特征向量；S6、将同一关键点在不同尺寸补丁图像上的类别和几何特征向量联合，组合成各关键点在不同尺度补丁图像上的描述子向量。2.如权利要求1所述基于图形基元的双模深度学习描述子构造方法，其特征在于，在步骤S6之后还包括：S7、进行图像I1与图像I2中的关键点配准，图像I1和图像I2中的任一一对关键点p1i及p2i的配准方法具体如下：若存在j1与j2，使得则图像I1关键点p1i与图像I2关键点p2i匹配；其中，T为设定的距离阈值，为图像I1中第i个关键点在第j1个尺寸上的描述子向量，为图像I2中第i个关键点在第j2个尺寸上的描述子向量。3.如权利要求1所述基于图形基元的双模深度学习描述子构造方法，其特征在于，步骤S3中的类别检测模型构建方法具体如下：S31、构造类别检测训练集及类别检测验证集，所述类别检测训练集及类别检测验证集是基于分类标注数据来构成的；S32、构建类别分类器；S33、通过类别训练集对类别分类器进行训练；S34、若训练次数达到设定的次数阈值，则通过分类验证集对训练后的类别分类器进行验证，若训练后的类别分类器在类别验证集上的误差位于误差允许范围或者是训练次数达到上限阈值，则停止训练，即形成类别检测模型。4.如权利要求1所述基于图形基元的双模深度学习描述子构造方法，其特征在于，步骤S4中的集合检测模型构建方法具体如下：S41、构造图...

【专利技术属性】
技术研发人员：丁新涛，左开中，汪金宝，接标，俞庆英，
申请(专利权)人：安徽师范大学，
类型：发明
国别省市：安徽,34