一种基于余弦相似度图像协同拼接的多波段推扫成像方法技术

本发明专利技术提供一种基于余弦相似度图像协同拼接的多波段推扫成像方法，包括以下步骤：步骤一，数据预处理，将红外探测器推扫成像系统得到的图像按时间序列排列形成数据立方体，将选取的图像进行一维展开，形成可进行余弦相似度计算的形式；步骤二，余弦相似度计算，用于选择最佳拼接点，并记录帧间移位信息，以此方法计算所有相邻帧间移位距离，将数据按照时间序列存入空数组中；步骤三，光谱图像拼接，通过利用全通道计算得到的帧间移位信息，完成多波段光谱图像拼接。本发明专利技术提供的一种基于余弦相似度图像协同拼接的多波段推扫成像方法，实现相邻两帧之间的最佳匹配方法。邻两帧之间的最佳匹配方法。邻两帧之间的最佳匹配方法。

【技术实现步骤摘要】
一种基于余弦相似度图像协同拼接的多波段推扫成像方法


[0001]本专利技术涉及红外成像
，具体涉及一种基于余弦相似度图像协同拼接的多波段推扫成像方法。

技术介绍

[0002]红外是一种波长范围为760nm
‑
1mm的电磁波，也叫做红外线。由普朗克黑体辐射定律知，凡是绝对温度高于绝对零度的物体都能辐射电磁波，辐射电磁波的波长与能量与发射源的温度有密切的关系。针对这一特性，红外探测器在大气监测、森林防火监测、地质勘探、兽类迁徙观测等领域有巨大的应用潜力。
[0003]在红外高光谱遥感领域，红外探测器主要分为制冷型红外探测器和非制冷型红外探测器。相较于非制冷型红外探测器，制冷型红外探测器工作时需要制冷剂工作降温，故其成像灵敏度高、精度高、误差小，对应的其功耗大、体积大、寿命短、成本高。基于上述问题的影响，制冷型红外探测器在商业红外遥感领域应用较少。而非制冷红外探测器由于其工作环境无需制冷，结构相对简单，已经成为了红外高光谱遥感领域的重要发展方向之一。
[0004]星载推扫式非制冷红外相机在对地拍摄的过程中，其记录的多光谱图像数据是沿着轨道方向的条幅，最终要得到拼接后连续的沿轨道方向的二维图像。但是由于卫星在实际飞行过程中速高比失配以及工作温度所引发的采样帧率不稳定等问题导致通过直接将后一帧拼接到前一帧的尾部逐帧拼接得到的图像是不连续的。
[0005]图像配准是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程，它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。首先对两幅图像进行特征提取得到特征点；通过进行相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数；最后由坐标变换参数进行图像配准。而特征提取是配准技术中的关键，准确的特征提取为特征匹配的成功进行提供了保障。因此，寻求具有良好不变性和准确性的特征提取方法，对于匹配精度至关重要。
[0006]现有技术中，基于底层特征的拼接分为四种：基于Harris角点检测器的拼接、基于FAST角点检测器的拼接、基于SIFT特征检测器的拼接、以及基于SURF特征检测器的拼接。对于特征点较少的拍摄环境，可能会导致相邻两帧之间没有匹配的角点以实现图像的拼接，且在小重叠区域的情况下容易误匹配，而基于余弦相似度的图像拼接适合的场景更加丰富灵活。
[0007]相比基于底层特征的传统图像特征匹配算法，基于深度学习的特征匹配算法能产生更大规模和更高质量的匹配。例如，基于深度学习LoFTR算法实现图像拼接，虽然能够实现更佳的拼接结果，但其拼接时间仍然较长，运算成本较大。
[0008]因此，如何在较低运算成本的条件下高效地实现多通道图像的相邻两帧之间的最佳匹配是本领域技术人员亟待解决的技术问题。

技术实现思路

[0009]本专利技术的目的在于，针对现有技术中的问题，提供一种基于余弦相似度图像协同拼接的多波段推扫成像方法。
[0010]为此，本专利技术的上述目的通过以下技术方案实现：
[0011]一种基于余弦相似度图像协同拼接的多波段推扫成像方法，包括以下步骤：
[0012]步骤一，数据预处理，将非制冷红外探测器推扫成像系统得到的图像按时间序列排列形成数据立方体，初始数据包含了四通道，将其按照通道分为四个时间序列排布相同的数据集，在全通道数据集中选择初始帧，通过对速高比的分析，确定相邻帧重合部分的范围，选择时保留部分图像的冗余后，将选取的图像进行一维展开，形成可进行余弦相似度计算的形式；
[0013]步骤二，余弦相似度计算，用于选择最佳拼接点，并记录帧间移位信息，通过步骤一得到的数据，将后一帧的每相邻n列整合后的一维数组与前一帧最后n列整合的一维数组两两做余弦相似度计算，找到余弦相似度最大值所在的位置，计算得到帧间移位距离，以此方法计算所有相邻帧间移位距离，将数据按照时间序列存入空数组中；
[0014]步骤三，光谱图像拼接，通过利用全通道计算得到的帧间移位信息，完成多波段光谱图像拼接。
[0015]在采用上述技术方案的同时，本专利技术还可以采用或者组合采用如下技术方案：
[0016]作为本专利技术的优选技术方案：所述数据预处理，包括四通道分割、初始帧设定、计算单元整合，首先是四通道分割，通过推扫成像得到的数据是按时间序列排列形成的数据立方体，初始数据包含了四个通道，其中，第一个通道为全通道，其余三个通道为单通道，将其按照通道分为四个时序排列相同的数据立方体；其次是初始帧设定，初始帧是图像拼接的起始点，选定数据立方体中的第一帧为初始帧，在选定初始帧后，按照推扫时间的顺序，选择下一帧作为待拼接帧；最后是计算单元整合，在全通道波段选取连续n列图像作为计算单元，选全通道初始帧的最后n列数据一维展开后形成一维数组，同样再将全通道后续帧的每一个相邻n列图像一维展开为一维数组，得到了全通道初始帧的最后n列图像一维展开得到的一维数组a
p
＝[x1，x2，...，x
m
，...，x
mn
]，以及全通道第二帧的每相邻n列图像一维展开的一维数组{b1＝[y1，y2，...，y
m
，...，y
mn
]，b2，...，b
p
}，其中，n是选取n列数据整合成计算单元的列数，m是每帧数据的行数即一列的像素数，p是全通道每帧相邻n列能取的计算单元的数量，x、y是对应位置的像素灰度值。
[0017]作为本专利技术的优选技术方案：所述余弦相似度计算，具体包括余弦相似度计算和帧间移位距离计算：首先是余弦相似度计算，将下一帧的每一个计算单元与初始帧最后一个计算单元做余弦相似度计算，具体计算公式为：
[0018][0019]两两计算完毕后，找到余弦相似度最大值对应的i，即可以找到与初始帧最后n列最相似的连续n列，则第二帧的第i+n列及以后的部分是待拼接部分，设全通道波段单帧共l列，则初始帧与第二帧的帧间移位信息为(l
‑
i
‑
n+1)，将此数据保存在空数组中；
[0020]同样的，选取第二帧的最后n列图像一维展开的一维数组与第三帧的每相邻n列图像一维展开后的一维数组做余弦相似度计算得到第二帧与第三帧的帧间移位信息，重复上述操作直至得到记录所有相邻帧间移位信息的数组。
[0021]作为本专利技术的优选技术方案：步骤三中，所述光谱图像拼接基于步骤二得到的帧间移位信息(l
‑
i
‑
n+1)，利用帧间移位信息得到后续每一帧拼接到前一帧尾部的部分，各通道从初始帧开始，按照时间序列逐帧拼接，实现多通道光谱图像拼接。
[0022]相对于现有技术本专利技术公开的一种基于余弦相似度图像协同拼接的多波段推扫成像方法，该方法通过余弦相似度原理计算高信噪比光谱通道的帧间移位信息，并将该位移信息共享给其余光谱通道，实现全部波段精确拼接，得到图像的相邻两帧之间的最佳匹配的方法。本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于余弦相似度图像协同拼接的多波段推扫成像方法，包括以下步骤：步骤一，数据预处理，将红外探测器推扫成像系统得到的图像按时间序列排列形成数据立方体，初始数据包含了四通道，将其按照通道分为四个时间序列排布相同的数据集，在全通道数据集中选择初始帧，在生成计算单元时选取所有连续n列图像，将选取的图像进行一维展开，形成可进行余弦相似度计算的形式；步骤二，余弦相似度计算，用于选择最佳拼接点，并记录帧间移位信息，通过步骤一得到的数据，将后一帧的每相邻n列整合后的一维数组与前一帧最后n列整合的一维数组两两做余弦相似度计算，找到余弦相似度最大值所在的位置，计算得到帧间移位距离，以此方法计算所有相邻帧间移位距离，将相邻帧间移位距离按照时间序列存入空数组中；步骤三，光谱图像拼接，通过利用全通道计算得到的帧间移位信息，完成多波段光谱图像拼接。2.如权利要求1所述的一种基于余弦相似度图像协同拼接的多波段推扫成像方法，其特征在于：所述数据预处理，包括四通道分割、初始帧设定、计算单元整合，首先是四通道分割，通过推扫成像得到的数据是按时间序列排列形成的数据立方体，初始数据包含了四个通道，其中，第一个通道为全通道，其余三个通道为单通道，将其按照通道分为四个时序排列相同的数据立方体；其次是初始帧设定，初始帧是图像拼接的起始点，选定数据立方体中的第一帧为初始帧，在选定初始帧后，按照推扫时间的顺序，选择下一帧作为待拼接帧；最后是计算单元整合，在全通道波段选取连续n列图像作为计算单元，选全通道初始帧的最后n列数据一维展开后形成一维数组，同样再将全通道后续帧的每一个相邻n列图像一维展开为一维数组，得到了全通道初始帧的最后n列图像一维展开得到的一维数组a
p
＝[x1，x2，...，x
m
，...，x
mn
]，以及全通道第二帧的每相邻n列图像一维展开的一维数组{b1＝[y1，y2，...，y
m
，...，y
mn
]，b2，...，b
p
}，其中，a
p
是指全通道初始帧最后n列图像一维展开得到的一维数组，x1、x2、x
m
……
x
mn

【专利技术属性】
技术研发人员：李春来，张桐绪，唐国良，茹逸凡，吴雯丽，丁方，王建宇，
申请(专利权)人：国科大杭州高等研究院，
类型：发明
国别省市：