一种基于全卷积网络的图像匹配方法组成比例

技术编号:21454791 阅读:18 留言:0更新日期:2019-06-26 05:02
本发明专利技术提供一种基于全卷积网络的图像匹配方法,属于计算机视觉领域。其具体步骤为:第一步,构建用于图像匹配的全卷积图像匹配网络模型,设定模型初始化参数和损失函数,整个全卷积匹配网络模型由8部分组成;第二步,根据全卷积图像匹配网络模型得到训练模型的图像数据;第三步,在GPU设备上,采用图像数据对全卷积图像匹配网络模型进行训练;第四步,用训练好的全卷积图像匹配网络模型对图像进行匹配。本发明专利技术具有较好的匹配精度和匹配效率,解决了图配准确率与匹配效率不能兼得的问题,与传统方法相比具有较多优势。

【技术实现步骤摘要】
一种基于全卷积网络的图像匹配方法
本专利技术属于计算机视觉领域,涉及一种基于全卷积网络的图像匹配算法。
技术介绍
特征匹配是计算机视觉中的一项基础任务,在计算机机视觉中扮演重要角色,它主要应用于SFM(StructureFromMotion)、双目视觉中的基线配准、全景图构建、目标识别、等高水平视觉任务。在数据驱动的特征学习方法流行前,该领域研究主要致力于研究局部描述子设计和描述子的匹配算法。Lowe设计了一种具有较好鲁棒性的特征点即SIFT特征点[LoweDG.Distinctiveimagefeaturesfromscale-invariantkeypoints[J].Internationaljournalofcomputervision,2004,60(2):91-110.]。以此为开端,紧接着各种手工的特征点接踵而至,至今还在使用的有SIFT、ORB、SURF等。SIFT具有最好的鲁棒性但其算法效率不高,不能满足具有实时性要求的应用场景;SURF是SIFT的一种近似方法,其在算法效率上相比SIFT有所提升,但鲁棒性稍弱于SIFT;ORB特征点具有较高的算法效率,但其鲁棒性较差,以该特征进行特征匹配存在较多误匹配。描述子的匹配是通过距离函数对待匹配特征的相似度进行度量(汉明距离、欧拉距离等),选取出合适匹配点的过程。特征点匹配采用强力搜索的方法对特征进行匹配,当特征点数量较大时,强力搜索方法运算量较大,采用快速近似最近邻ANN(ApproximateNearestNeighbors)算法,对特征匹配进行加速。人工设计的特征描述子具有局限性,不能同时保证描述子的鲁棒性及算法效率。近几年卷积网络在目标检测、图像分类和图像分割等高水平任务中取得了优异的表现,并且高性能并行计算硬件GPU、FPGA等及其配套的软件技术已趋于成熟,为了解决图像匹配准确性及匹配效率不能兼得的问题,本专利技术提出一种基于全卷积网络匹配方法,提高特征匹配准确率及匹配速度。
技术实现思路
为解决传统特征匹配算法的匹配准确率与匹配效率不能共存的问题,本专利技术提出一种基于全卷积网络的图像匹配方法,提高图像的匹配准确率及匹配效率。为了实现上述目标,本专利技术采用的技术方案是:一种基于全卷积网络的图像匹配方法,包括以下步骤:步骤一,构建用于图像匹配的全卷积图像匹配网络模型,设定模型初始化参数和损失函数,整个全卷积匹配网络模型由8部分组成,包括以下子步骤:1)第一部分由卷积层和池化层组成,输入为2通道图像块堆叠而成的图像,图像大小为64x64,其卷积层参数为3x3x2,卷积个数为64,卷积后的输出数据经过RELU激活函数处理后,输出大小为64x64x64的特征图;该特征图经过步长参数为2的最大池化层处理,输出大小为32x32x64的特征图;2)第二部分结构由卷积层和池化层组成,步骤1)得到的特征图作为第二部分卷积层的输入,其卷积层参数为3x3x64x128,卷积后的输出数据经过RELU激活函数处理,输出大小为32x32x12的特征图;该特征图经过步长为2的最大池化层,输出大小为16x16x128的特征图;3)第三部分结构仅包括卷积层,该部分不存在池化层;步骤2)得到的特征图作为第二部分卷积层的输入,其卷积层参数为3x3x128x128,卷积后的输出数据经过RELU激活函数处理,输出大小为16x16x128的特征图;4)第四部分结构仅包括卷积层,该部分不存在池化层;步骤3)得到的特征图作为第二部分卷积层的输入,其卷积层参数为3x3x128x64,卷积后的输出数据经过RELU激活函数处理,输出大小为16x16x64的特征图;5)第五部分结构仅包括卷积层,该部分不存在池化层;步骤4)得到的特征图作为第二部分卷积层的输入,其卷积层参数为3x3x64x64,卷积后的输出数据经过RELU激活函数处理,再经过步长为2的最大池化层处理,输出大小为8x8x64的特征图;6)第六部分结构仅包括卷积层,该部分不存在池化层;步骤5)得到的特征图作为第二部分卷积层的输入,其卷积层参数为3x3x64x64,卷积后的输出数据经过RELU激活函数处理,输出大小为8x8x64的特征图;7)第七部分结构为一个平化层,该层的作用是将大小为8x8x64的特征图平滑为一个4096x1维的一个向量;8)第八部分结构为一个卷积层参数为1x1x4096x2的卷积层和softmax激活函数组成的输出层,该部分为真个全卷积匹配网络的输出层,用于输出图像匹配的概率;上述步骤1)-步骤6)、步骤8)中卷积层参数采用Xavier初始化方式,模型训练采用最小化交叉熵损失函数E作为优化目标,其定义如下:其中,xi为模型输出向量的第i个值,N为模型输出向量的维度数,i,j∈[0,N],e表示自然数,表示第i维输出向量对应类别的概率值,yi表示第i维输出向量的标签值。步骤二,根据第一步构建的全卷积图像匹配网络模型,得到训练模型的图像数据;包括以下子步骤:1)检测图像的sift等特征点,以sift特征点所在像素位置为中心,取大小为64x64的图像块作为训练数据。为获得不同图像的图像块的匹配信息,需要预先使用传统图像匹配方法对特征进行预匹配,获得正确的标签。这个过程需要进行人工验证,确保标签的正确性。2)在获得训练数据及对应的标签后,为增强算法的鲁棒性,需要对训练数据进行增强处理得到最终图像数据。所述的增强处理具体为:交换两幅图像的通道顺序,对其中一幅图像进行旋转90°、180°,在图像中增加随机噪声。步骤三,在GPU设备上,采用第二步图像数据训练第一步的全卷积图像匹配网络模型,得到训练好的模型。步骤四,采用训练好的模型对待匹配图像中的图像块对进行匹配;包括以下子步骤:1)对带匹配图像检测sift特征点,并以特征点为中心截取大小为64x64的图像块;2)分别在两张待匹配图像中选取多个大小为64x64的图像块,将图像块进行两两堆叠,得到待预测图像块对,将待预测图像块对输入到训练好的全卷积图像匹配网络中,得到两张待匹配图像的匹配结果。若第一幅图片总共得到n幅图像块,第二张图片总共得到m张图像块,那么需要预测的堆叠图像数为n*m。本专利技术的有益效果为:所提方法有效解决了图配准确率与匹配效率不能兼得的问题,与传统方法相比,更有优势。附图说明图1为本专利技术算法流程图;图2为本专利技术中全卷积匹配网络结构图;表1为本专利技术中全卷积匹配网络参数表。具体实施方式下面结合附图和具体实施方式对本专利技术作进一步详细的说明:基于全卷积网络的图像匹配方法包括以下步骤:步骤一:设计全卷积图像匹配网络,设定模型初始化参数和损失函数;构建全卷积图像匹配网络模型,模型包括8个部分:第一部分由卷积层和池化层组成,输入为2通道图像块堆叠而成的图像,图像大小为64x64,卷积层参数为3x3x2,卷积个数为64,卷积后的数据经过RELU激活函数处理,输出特征图大小为64x64x64,紧接着特征图经过步长参数为2的最大池化层处理,得到32x32x64的特征图;全卷积匹配网络模型的第二部分结构与第一部分相似,卷积参数为3x3x64x128,卷积后紧接着RELU激活函数对卷积输出进行处理,输出特征图为32x32x128,紧接着特征图经过步长为2的最大池化层,得到16x1本文档来自技高网
...

【技术保护点】
1.一种基于全卷积网络的图像匹配方法,其特征在于包括以下步骤:步骤一,构建用于图像匹配的全卷积图像匹配网络模型,设定模型初始化参数和损失函数,整个全卷积匹配网络模型由8部分组成,包括以下子步骤:1)第一部分由卷积层和池化层组成,输入为2通道图像块堆叠而成的图像,图像大小为64x64,其卷积层参数为3x3x2,卷积个数为64,卷积后的输出数据经过RELU激活函数处理后,输出大小为64x64x64的特征图;该特征图经过步长参数为2的最大池化层处理,输出大小为32x32x64的特征图;2)第二部分结构由卷积层和池化层组成,步骤1)得到的特征图作为第二部分卷积层的输入,其卷积层参数为3x3x64x128,卷积后的输出数据经过RELU激活函数处理,输出大小为32x32x12的特征图;该特征图经过步长为2的最大池化层,输出大小为16x16x128的特征图;3)第三部分结构仅包括卷积层,该部分不存在池化层;步骤2)得到的特征图作为第二部分卷积层的输入,其卷积层参数为3x3x128x128,卷积后的输出数据经过RELU激活函数处理,输出大小为16x16x128的特征图;4)第四部分结构仅包括卷积层,该部分不存在池化层;步骤3)得到的特征图作为第二部分卷积层的输入,其卷积层参数为3x3x128x64,卷积后的输出数据经过RELU激活函数处理,输出大小为16x16x64的特征图;5)第五部分结构仅包括卷积层,该部分不存在池化层;步骤4)得到的特征图作为第二部分卷积层的输入,其卷积层参数为3x3x64x64,卷积后的输出数据经过RELU激活函数处理,再经过步长为2的最大池化层处理,输出大小为8x8x64的特征图;6)第六部分结构仅包括卷积层,该部分不存在池化层;步骤5)得到的特征图作为第二部分卷积层的输入,其卷积层参数为3x3x64x64,卷积后的输出数据经过RELU激活函数处理,输出大小为8x8x64的特征图;7)第七部分结构为一个平化层,该层的作用是将大小为8x8x64的特征图平滑为一个4096x1维的一个向量;8)第八部分结构为一个卷积层参数为1x1x4096x2的卷积层和softmax激活函数组成的输出层,该部分为真个全卷积匹配网络的输出层,用于输出图像匹配的概率;步骤二,根据第一步构建的全卷积图像匹配网络模型,得到训练模型的图像数据;包括以下子步骤:1)检测图像的sift等特征点,以sift特征点所在像素位置为中心,取大小为64x64的图像块作为训练数据;为获得不同图像的图像块的匹配信息,需要预先使用传统图像匹配方法对特征进行预匹配,获得正确的标签;这个过程需要进行人工验证,确保标签的正确性;2)在获得训练数据及对应的标签后,为增强算法的鲁棒性,需要对训练数据进行增强处理得到最终图像数据;所述的增强处理具体为:交换两幅图像的通道顺序,对其中一幅图像进行旋转90°、180°,在图像中增加随机噪声;步骤三,在GPU设备上,采用第二步图像数据训练第一步的全卷积图像匹配网络模型,得到训练好的模型;步骤四,采用训练好的模型对待匹配图像中的图像块对进行匹配;包括以下子步骤:1)对带匹配图像检测sift特征点,并以特征点为中心截取大小为64x64的图像块;2)分别在两张待匹配图像中选取多个大小为64x64的图像块,将图像块进行两两堆叠,得到待预测图像块对,将待预测图像块对输入到训练好的全卷积图像匹配网络中,得到两张待匹配图像的匹配结果。...

【技术特征摘要】
1.一种基于全卷积网络的图像匹配方法,其特征在于包括以下步骤:步骤一,构建用于图像匹配的全卷积图像匹配网络模型,设定模型初始化参数和损失函数,整个全卷积匹配网络模型由8部分组成,包括以下子步骤:1)第一部分由卷积层和池化层组成,输入为2通道图像块堆叠而成的图像,图像大小为64x64,其卷积层参数为3x3x2,卷积个数为64,卷积后的输出数据经过RELU激活函数处理后,输出大小为64x64x64的特征图;该特征图经过步长参数为2的最大池化层处理,输出大小为32x32x64的特征图;2)第二部分结构由卷积层和池化层组成,步骤1)得到的特征图作为第二部分卷积层的输入,其卷积层参数为3x3x64x128,卷积后的输出数据经过RELU激活函数处理,输出大小为32x32x12的特征图;该特征图经过步长为2的最大池化层,输出大小为16x16x128的特征图;3)第三部分结构仅包括卷积层,该部分不存在池化层;步骤2)得到的特征图作为第二部分卷积层的输入,其卷积层参数为3x3x128x128,卷积后的输出数据经过RELU激活函数处理,输出大小为16x16x128的特征图;4)第四部分结构仅包括卷积层,该部分不存在池化层;步骤3)得到的特征图作为第二部分卷积层的输入,其卷积层参数为3x3x128x64,卷积后的输出数据经过RELU激活函数处理,输出大小为16x16x64的特征图;5)第五部分结构仅包括卷积层,该部分不存在池化层;步骤4)得到的特征图作为第二部分卷积层的输入,其卷积层参数为3x3x64x64,卷积后的输出数据经过RELU激活函数处理,再经过步长为2的最大池化层处理,输出大小为8x8x64的特征图;6)第六部分结构仅包括卷积层,该部分不存在池化层;步骤5)得到的特征图作为第二部分卷积层的输入,其卷积层参数为3x3x64x64,卷积后的输出数据经过RELU激活函数处理,输出大小为8x8x64的特征图;...

【专利技术属性】
技术研发人员:桑勇李庆赵健龙段富海
申请(专利权)人:大连理工大学
类型:发明
国别省市:辽宁,21

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1