鼓风机图像配准算法制造技术

本申请涉及一种鼓风机图像配准算法及系统，通过对鼓风机可见光图像和红外图像进行预处理，建立鼓风机数据集。然后，通过改进的DeepLabv3+分割网络对目标轮廓区域进行提取。接着，使用Harris角点检测算法进行鼓风机图像特征点的定位。然后，使用W

【技术实现步骤摘要】
鼓风机图像配准算法


[0001]本申请涉及图像配准
，特别是涉及一种鼓风机图像配准算法。

技术介绍

[0002]图像配准是将两个或多个图像进行对齐和匹配，使它们在像素级别上对应。通常情况下，需要将不同视角、不同时间或不同传感器获取的图像进行配准，以便于之后的图像处理与分析。图像配准是图像处理、计算机视觉、遥感等领域中的一项基础技术，其应用范围非常广泛。随着时间的推移，相关理论技术的进步，图像配准领域发展出了许多不同原理的配准方法。
[0003]近几十年来，国内外学者提出了很多传统的图像配准算法，但由于它们各有优缺点和应用领域，不存在一种适用于所有场景的万能算法。尤其是在处理异源传感器图像、成像质量差异较大的图像及不同应用场景下的配准问题时，传统算法表现不一。配准的问题还受到成像设备品质、参数设置和应用场景的影响。尺度不变特征变换(Scale
‑
Invariant Feature Transform，SIFT)算法是使用最为广泛的一种配准算法，该方法利用差分金字塔提取特征点，该特征具备优异的鲁棒性，广泛应用在多类配准场景。
[0004]在鼓风机红外图像和可见光图像的配准中，SIFT算法表现不佳，主要原因是SIFT特征描述符依赖于梯度直方图，而多模图像中由于明暗不一致以及灰度分布和变化特征的不同造成其对配准质量有非常大的影响，因此在鼓风机红外和可见光图像的配准中，达不到预期效果。

技术实现思路

[0005]基于此，有必要针对在鼓风机红外图像和可见光图像的配准中，传统SIFT算法使用的SIFT特征描述符依赖于梯度直方图，而多模图像中由于明暗不一致以及灰度分布和变化特征的不同造成其对配准质量有非常大的影响，因此在鼓风机红外和可见光图像的配准中，达不到预期效果的问题，提供一种鼓风机图像配准算法及系统。
[0006]本申请提供一种鼓风机图像配准算法，所述鼓风机图像配准算法包括：
[0007]采集鼓风机红外图像和可见光图像，建立数据集，对分割后的数据集中的每一张图像中的目标轮廓区域进行标注，通过数据增广将数据集扩展为测试集和训练集；
[0008]引入MobileViT模块和Boundary Loss损失函数对DeepLabv3+网络进行改进，利用改进后的DeepLabv3+网络，以训练集为训练数据训练分割模型；
[0009]对红外图像利用Harris角点检测算法提取红外特征点，对可见光图像中利用Harris角点检测算法提取可见光特征点；
[0010]利用直方图统计方法对每一个红外特征点和每一个可见光特征点建立W
‑
GSCD特征描述符，基于W
‑
GSCD特征描述符通过双向配准策略对红外特征点和可见光特征点进行匹配，建立多个特征点对；每一个特征点对包括相互匹配的一个见光特征点和一个红外特征点；
[0011]从所有特征点对中筛选出匹配有效的特征点对。
[0012]本申请涉及一种鼓风机图像配准算法，通过对鼓风机可见光图像和红外图像进行预处理，建立鼓风机数据集。然后，通过改进的DeepLabv3+分割网络对目标轮廓区域进行提取。接着，使用Harris角点检测算法进行鼓风机图像特征点的定位。然后，使用W
‑
GSCD算法对提取的特征点进行描述，并使用双向配准策略完成初始匹配。接着，使用KSC算法筛选特征点对，剔除不稳定特征点，控制有效特征点对的空间分布足够均匀的同时控制有效特征点数量。此时，已经得到了足够多的高质量匹配对。最终，完成了鼓风机红外和可见光图像的高质量配准。本申请提出的算法有助于解决异源图像信息不同导致配准精度不高的问题，在鼓风机数据集上取得了较好的配准效果。
附图说明
[0013]图1为鼓风机图像配准算法的流程图。
[0014]图2为鼓风机图像配准算法的操作流程图。
[0015]图3为鼓风机图像配准算法的使用改进的DeepLab3+标注图像。
[0016]图4为鼓风机图像配准算法的使用Harris角点检测结果图。
[0017]图5为鼓风机图像配准算法的配准效果图。
具体实施方式
[0018]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0019]本申请提供一种鼓风机图像配准算法。需要说明的是，本申请提供的鼓风机图像配准算法应用于任何种类的直驱鼓风机。
[0020]本申请提供一种鼓风机图像配准算法,包括：
[0021]S100，采集鼓风机红外图像和可见光图像，建立数据集，对分割后的数据集中的每一张图像中的目标轮廓区域进行标注，通过数据增广将数据集扩展为测试集和训练集。
[0022]S200，引入MobileViT模块和Boundary Loss损失函数对DeepLabv3+网络进行改进，利用改进后的DeepLabv3+网络，以训练集为训练数据训练分割模型。
[0023]S300，对红外图像利用Harris角点检测算法提取红外特征点，对可见光图像中利用Harris角点检测算法提取可见光特征点。
[0024]S400，利用直方图统计方法对每一个红外特征点和每一个可见光特征点建立W
‑
GSCD特征描述符，基于W
‑
GSCD特征描述符通过双向配准策略对红外特征点和可见光特征点进行匹配，建立多个特征点对。每一个特征点对包括相互匹配的一个见光特征点和一个红外特征点。
[0025]S500，从所有特征点对中筛选出匹配有效的特征点对。
[0026]具体地，S500中包含双向配准和使用K
‑
means++算法筛选特征点两个步骤。
[0027]Harris角点检测的基本原理是结合了自适应窗口函数的协方差计算每个像素周围的区域随着窗口的变化而发生的灰度变化情况的一致性来衡量角点的存在。如果在各个方向上移动特征的窗口，窗库数据进行实时分析处理口内区域的灰度发生了较大的变化，
就认为在窗口内遇到了角点。使用Harris算法，可以通过泰勒级数展开来获得窗口沿任意方向移动而导致的灰度变化情况，以计算在所有方向上像素值的变化。Harris算法检测时，以像素点为中心，随着窗口的移动，在方向和方向上分别会产生大小为和的灰度变化。
[0028]本实施例中，通过对鼓风机可见光图像和红外图像进行预处理，建立鼓风机数据集。然后，通过改进的DeepLabv3+分割网络对目标轮廓区域进行提取。接着，使用Harris角点检测算法进行鼓风机图像特征点的定位。然后，使用W
‑
GSCD算法对提取的特征点进行描述，并使用双向配准策略完成初始匹配。接着，使用KSC算法筛选特征点对，剔除不稳定特征点，控制有效特征点对的空间分布足够均匀的同时控制有效特征点数量。此时，已经得到了足够多的高质量匹配对。最终，完成了鼓风机红本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种鼓风机图像配准算法，其特征在于，所述鼓风机图像配准算法包括：采集鼓风机红外图像和可见光图像，建立数据集，对分割后的数据集中的每一张图像中的目标轮廓区域进行标注，通过数据增广将数据集扩展为测试集和训练集；引入MobileViT模块和Boundary Loss损失函数对DeepLabv3+网络进行改进，利用改进后的DeepLabv3+网络，以训练集为训练数据训练分割模型；对红外图像利用Harris角点检测算法提取红外特征点，对可见光图像中利用Harris角点检测算法提取可见光特征点；利用直方图统计方法对每一个红外特征点和每一个可见光特征点建立W
‑
GSCD特征描述符，基于W
‑
GSCD特征描述符通过双向配准策略对红外特征点和可见光特征点进行匹配，建立多个特征点对；每一个特征点对包括相互匹配的一个见光特征点和一个红外特征点；从所有特征点对中筛选出匹配有效的特征点对。2.根据权利要求1所述的鼓风机图像配准算法，其特征在于，所述采集鼓风机红外图像和可见光图像，建立数据集，对分割后的数据集中的每一张图像中的目标轮廓区域进行标注，通过数据增广将数据集扩展为测试集和训练集，包括：对同一鼓风机，采集多张不同拍摄角度、不同拍摄距离的红外图像和可见光图像；创建数据集；将位于一个拍摄角度和一个拍摄距离拍摄的红外图像和可见光图像作为一个图像数据对，生成多个图像数据对，并将所有的图像数据对纳入数据集；所述拍摄距离为摄像头与鼓风机之间的直线距离；从数据集中随机挑选N张作为测试集，对剩余图像进行增广操作，获得多张红外图像和可见光图像，作为训练集。3.根据权利要求2所述的鼓风机图像配准算法，其特征在于，所述引入MobileViT模块和Boundary Loss损失函数对DeepLabv3+网络进行改进，利用改进后的DeepLabv3+网络，以训练集为训练数据训练分割模型，包括：将MobileViT模块嵌入DeepLabv3+网络；在DeepLabv3+网络加入BoundaryLoss；利用改进后的DeepLabv3+网络提取目标轮廓区。4.根据权利要求3所述的鼓风机图像配准算法，其特征在于，所述将MobileViT模块嵌入DeepLabv3+网络，包括：输入任务数据；若任务类型为二分类任务，则利用公式1计算CE LOSS损失函数；L
ce
＝
‑
[y log(p)+(1
‑
y)log(1
‑
p)]
ꢀꢀꢀꢀ
公式1；其中，L
ce
为CE损失函数，y为样本的标签，当样本归属于正类时y为1，当样本归属于负类时y为0，p为样本被预测为正类的概率；若任务类型为多分类任务，则利用公式2计算CE LOSS损失函数；其中，M为类别总数，y
c
为符号函数，当该类别和样本类别相同时y
c
的值为1，当该类别和样本类别不同时y
c
的值为0，p
c
为预测类别属于c类别的概率；
利用公式3计算Dice Loss，其中，L
dice
为Dice损失函数，X为红外图像集合，|X|为X中元素的个数，Y为可见光图像集合，|Y|为Y中元素的个数，∈为常数。5.根据权利要求4所述的鼓风机图像配准算法，其特征在于，所述在DeepLabv3+网络加入BoundaryLoss和利用改进后的DeepLabv3+网络提取目标轮廓区，包括：利用公式4计算利用公式4计算其中，是轮廓上所有点中与点t最近的点之间的距离，表示空间域Ω中的一张图片,t是Ω上的任意点，表示GT区域g边界，表示t与轮廓的最近点，||
·
||表示L2范数；利用公式5计算利用公式5计算利用公式6计算Boundary Loss损失函数，其中，是g边界的水平集表示，qφ是网络softmax的输出；利用公式7计算总损失函数L
sum
，L
sum
＝L
ce
+L
dice
+αL
boundary
ꢀꢀꢀꢀ
公式7其中，α表示边缘损失的平衡系数；将训练集导入改进后的DeepLabv3+网络，利用改进后的DeepLabv3+网络提取训练集中图像的目标轮廓区，得到网络参数；导出网络参数，将网络参数用于测试集进行预测。6.根据权利要求5所述的鼓风机图像配准算法，其特征在于，所述对红外图像利用Harris角点检测算法提取红外特征点，对可见光图像中利用Harris角点检测算法提取可见光特征点，包括：遍历红外图像和可见光图像中的每一个像素点，对于局部的微小移动变化量[u,v]，利用公式8计算产生的灰度变化，E(u,v)＝∑
x,y
w(x,y)[I(x+u,y+v)
‑
I(x,y)]2ꢀꢀꢀꢀꢀꢀ
公式8其中，u为图像在x方向上的移动变化量，v为图像在y方向上的移动变化量，I为输入图像，w(x,y)为加权函数，I(x,y)为图像移动前的像素灰度值，I(x+u,y+v)为图像移动后的像素灰度值；
利用泰勒公式展开公式8并简化后，得到自相关矩阵9，自相关矩阵9其中，I
x
为图像在x方向的偏导函数，I
y
为图像在y方向的偏导函数；通过公式10、公式11、公式12计算角点响应函数det(M)＝λ1λ2ꢀꢀꢀꢀꢀ
公式10tr(M)＝λ1+λ2ꢀꢀꢀꢀꢀꢀ
公式11其中，λ1和λ2为矩阵M的两个特征值，det(M)为矩阵M的两个特征值的乘积，tr(M)为两个特征值的相加值，k为经验常数；判断角点响应函数的值是否大于响应阈值；当角点响应函数的值大于响应阈值时，该点就是角点，即为特征点；当角点响应函数的值小于或等于响应阈值时，返回遍历红外图像和可见光图像中的每一个像素点，对于局部的微小移动变化量[u,v]，利用公式8计算产生的灰度变化。7.根据权利要求6所述的鼓风机图像配准算法，其特征在于，所述利用直方图统计方法对每一个红外特征点和每一个可见光特征点建立W
‑
GSCD特征描述符，基于W
‑
GSCD特征描述符通过双向配准策略对红外特征点和可见光特征点进行匹配，建立多个特征点对；每一个特征点对包括相互匹配的一个见光特征点和一个红外特征点，包括：建立特征点集合，将提取出的特征点放...

【专利技术属性】
技术研发人员：初宁，李晓明，徐建锋，涂克克，
申请(专利权)人：浙江上风高科专风实业股份有限公司，
类型：发明
国别省市：