一种基于粒子群算法的图像配准方法及图像拼接方法技术

本发明专利技术涉及图像拼接技术领域，公开一种基于粒子群算法的图像配准算法及图像拼接方法。本发明专利技术采用粒子群算法，在图像配准应用中对两张图像进行局部配准，配准精度及配准效率更高，提升现有图像拼接方法的拼接速度同时降低计算资源消耗。本发明专利技术提出的一种基于粒子群算法的图像拼接方法，其包括图像配准、图像拼接和图像优化步骤，其中，图像配准应用了基于粒子群算法的图像局部配准算法，可以显著提升大规模图像的拼接速度、降低计算资源消耗，可广泛应用于环拍摄像、3D视觉、遥感勘测、电子地图、高分辨率成像等领域。高分辨率成像等领域。高分辨率成像等领域。

【技术实现步骤摘要】
一种基于粒子群算法的图像配准方法及图像拼接方法


[0001]本专利技术涉及图像拼接
，尤其涉及一种基于粒子群算法的图像配准方法及图像拼接方法。

技术介绍

[0002]现有的图像拼接方法主要可分为四类。第一类是基于数理几何法的拼接方法，如张赟的基于边界约束的图像拼接方法
[1]和李靖等人的基于空间三角面片拟合的图像拼接方法
[2]。由于这类方法依赖特定的数理几何关系，存在步骤复杂、实现困难、适应性差的弱点。第二类方法是基于特征提取拼接方法，如使用ORB算法
[3]、灰度直方图
[4]进行特征匹配。这类方法较第一类方法具有更好的适应性，但也存在流程复杂、计算量大的缺点。近年来，神经网络
[5
‑
6]、深度学习
[7
‑
8]等多种机器学习算法也广泛应用到图像拼接中；基于机器学习的图像拼接方法尽管可以达到较高精度、较好的拼接效果、且具备较强的适应性，但构建训练集增加了实现的工作量、也增加了这类方法实现的困难，且机器学习的训练过程也耗费巨大的计算量。最后，还有一类依赖其他传感数据的图像拼接方法，如Pos数据
[9
‑
10]、声源信息
[11]、光电经纬仪数据
[12]等信息都用于提取空间信息辅助图像融合，进而提高图像拼接的精度和速度。这类方法虽然具有较高的拼接精度和速度，但也是一类设备依赖型方法，也降低了该类方法的适应性。因此，在图像拼接领域还缺乏一种通用性好、计算量小的快速图像拼接方法。
>[0003]西北工业大学的向征等人提出一种基于互信息的图像配准算法，并使用遗传算法优化了其图像配准过程
[13]，显著提升了图像配准的时间和空间效率，然后将该算法应用到铁路列车监控图像的拼接应用中。该方法两幅图像的拼接过程如下。
[0004]Step1:读取两张拼接图像A、B。
[0005]Step2:初始化图像A的刚体变换参数。
[0006]Step3：图像A刚体变换得到A
’
。
[0007]Step4：计算A
’
与B的互信息。
[0008]Step5:判断互信息是否达到要求，若达到则跳转至Step7，否则跳转至Step6。
[0009]Step6:使用遗传算法优化A的刚体变换参数，然后跳转至Step3。
[0010]Step7:A
’
与B拼接得到拼接图像C。
[0011]上述方法不仅省略了上述第二类图像拼接方法的特征提取过程，还使用遗传算法优化了其图像配准过程，大大提升了图像拼接效率。但深入分析也还存在两点不足之处：1）上述方法图像变换使用的是刚体变换，但刚体变换在视觉差较大的情况下配准精度较低；2）在配准过程优化中使用的遗传算法的收敛速度并不突出，尚有用其他进化算法提升配准速度的改进空间。
[0012]综上所述，使用遗传算法优化的基于互信息的图像拼接方法具有较高的配准效率和良好的适用性，具有较好的研究潜力，但在精度和效率上都还存在改进和提升空间。
[0013]参考文献。
[0014][1]专利技术专利申请，公开号：CN109087250A，公开日：2018.12.25，专利技术名称：基于规则边界约束的图像拼接方法。
[0015][2]专利技术专利申请，公开号：CN108898550A，公开日：2018.11.27，专利技术名称：基于空间三角面片拟合的图像拼接方法。
[0016][3]专利技术专利申请，公开号：CN114463170A，公开日：2022.05.10，专利技术名称：一种针对AGV应用的大场景图像拼接方法。
[0017][4]专利技术专利申请，公开号：CN114331843A，公开日：2022.04.12，专利技术名称：一种基于灰度直方图的图像拼接方法。
[0018][5]专利技术专利申请，公开号：CN114418840A，公开日：2022.04.29，专利技术名称：一种基于注意力机制的图像拼接定位检测方法。
[0019][6]专利技术专利申请，公开号：CN114418861A，公开日：2022.04.29，专利技术名称：一种摄像头图像拼接处理方法和系统。
[0020][7]专利技术专利申请，公开号：CN113436070A，公开日：2021.09.24，专利技术名称：一种基于深度神经网络的眼底图像拼接方法。
[0021][8]专利技术专利申请，公开号：CN114359052A，公开日：2021.04.15，专利技术名称：一种无人机多光谱遥感图像拼接分析方法。
[0022][9]专利技术专利申请，公开号：CN114519671A，公开日：2021.05.20，专利技术名称：无人机遥感影像动态快速拼接方法。
[0023][10]专利技术专利申请，公开号：CN110223233A，公开日：2019.09.10，专利技术名称：一种基于图像拼接的无人机航拍建图方法。
[0024][11]专利技术专利申请，公开号：CN114463179A，公开日：2022.05.10，专利技术名称：一种用于声源定位判定的封闭空间多摄像头图像拼接方法。
[0025][12]专利技术专利申请，公开号：CN114331834A，公开日：2022.04.12，专利技术名称：一种光学模拟训练系统中的全景图像拼接方法。
[0026][13]向征、赵歆波、曹师好等；基于遗传算法的铁路列车图像配准研究[J]； 中国体视学与图像分析，2021，26(3):8。

技术实现思路

[0027]本专利技术的一个目的在于提出一种配准精度及配准效率更高的图像配准方法，为解决现有技术中存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
[0028]本专利技术的另一个目的在于提出一种基于上述配准方法的图像序列拼接方法，提升现有图像拼接方法的拼接速度同时降低计算资源消耗。
[0029]为达到以上目的，本专利技术采用如下技术方案。
[0030]一种基于粒子群算法的图像配准方法，其采用互信息作为序列图像配准的依据，定义两张图像的互信息大于阈值H0则称两张图像配准成功。
[0031]设有序列图像集合Pset={P1,P2,
…
,P
n
}，P
n
代表第n张序列图像，图像成功配准信息为Reg_info={R1,R2,
…
, R
i
,
…
,R
n
}，其中R
i
表示第i张图像的成功配准信息。
[0032]序列图像的整体配准流程如下。
[0033]第一步Step1：所有相邻序号的图像两两配准，并将成功配准信息保存到图像成功
配准信息Reg_info中。
[0034]第二步Step2：对于序列图像集合P
set
中的每个图像，将其按顺序分别与其他序号不相邻的图像进行配准，并将成功配准信息保存到图像成功配准信息Reg_in本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于粒子群算法的图像配准方法，其特征在于，采用互信息作为序列图像配准的依据，定义两张图像的互信息大于阈值H0则称两张图像配准成功；设有序列图像集合P
set
={P1,P2,
…
,P
n
}，Pn代表第n张序列图像，图像成功配准信息为Reg_info={R1,R2,
…
, R
i
,
…
,R
n
}，其中R
i
表示第
i
张图像的成功配准信息；序列图像的整体配准流程如下：第一步Step1：所有相邻序号的图像两两配准，并将成功配准信息保存到图像成功配准信息Reg_info中；第二步Step2：对于序列图像集合P
set
中的每个图像，将其按顺序分别与其他序号不相邻的图像进行配准，并将成功配准信息保存到图像成功配准信息Reg_info中，若该图像的成功配准信息中的元素达到最大数则将该图像从P
set
中移除，否则按顺序一直匹配直到P
set
中的最后一个图像匹配完成；在两张图像的配准过程中，用粒子群算法优化，优化步骤如下：11）确定目标函数，采用两幅图像的互信息作为图像配准的目标函数，互信息的定义为：MI(A,B)=H(A)+H(B)
‑
H(A,B)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)式（1）中，H(A)和H(B)分别表示图像A、B的香浓熵，H(A,B)为两个图像的联合熵；香浓熵和联合熵的定义分别为公式（2）和公式（3）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)式（2）和式（3）中，x、y分别是图像A和图像B的像素值， P(x)为该选择分类事务的概率， P(x,y)是这些值一起出现的联合概率。H(A)就是A图像的香浓熵，H(A, B)就是图像A和图像B的联合熵；12）确定个体编码方案，采用局部配准方案，种群个体的编码信息包括图像的分割参数和仿射变换参数；分割参数包括两幅图像的分割方向和分割比例，仿射变换包括平移、旋转和相似变换；13）粒子群优化，种群个体编码完成后，使用粒子群算法优化图像的配准过程；系统先读取两张图像作为配准图像和基准图像，再按照步骤2）中的编码规则初始化粒子群算法种群，然后开始粒子群算法优化的循环迭代；对于种群的每个个体按照其编码参数对配准图像进行分割和仿射变换，之后按照公式（1）的定义计算变换图像与基准图像的互信息并将互信息作为个体的适应值，再按照适应值的大小选择适应值最大的解作为种群的最优解。2.根据权利要求1所示的一种基于粒子群算法的图像配准方法，其特征在于，在步骤13）中，设定循环迭代次数最大阈值为Np，若未达到循环终止条件则种群按照式（6）和式（7）进行速度和位置更新：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)其中，和分别为第k代和k
‑
1代种群的第i个个体在决策空间的位置，和分别为和的速度，w为惯性权值，c1、c2为加速度常数，r1、r2为是两个在[0,1]范围内的随机数，为当前种群的最优解，为种群的历史最优解；若达到循环终止条件则输出种群的最优解，然后依据编码规则解码出最优解的配准参数，为下一步图像拼接做准备。3.根据权利要求1所示的一种基于粒子群算法的图像配准方法，其特征在于，所述仿射变换参数包括：水平和垂直方向的位移t
x

【专利技术属性】
技术研发人员：井福荣，冯欣悦，刘辉，臧艳辉，
申请(专利权)人：佛山职业技术学院，
类型：发明
国别省市：