一种图像拼接方法及装置制造方法及图纸

本发明专利技术提供的图像拼接方法及装置，可用于降低拼接累积误差的航空视频图像自适应多级分层拼接，能够根据目标场景特性自适应选择合适的处理层次和配准算法，有效地解决了图像拼接误差随图像帧数增加而传播扩散的问题，同时采用渐入渐出法对配准后的图像进行融合处理，较好地消除了图像变换矩阵累积误差和图像亮度差异引起的拼接缝隙问题，得到一幅宽视场、高分辨率的合成图像，在图像拼接精度和鲁棒性方面有了明显提高；采用“特征堆栈”存储各帧图像特征，与后续图像进行配准拼接，能够有效减小计算量，节省重复提取图像特征的时间，进一步提高图像拼接速度。

【技术实现步骤摘要】

本专利技术涉及机器视觉和图像处理领域，具体涉及一种图像拼接方法及装置。
技术介绍
对于航空视频图像拼接，传统的逐帧(frame-to-frame)配准拼接方法导致相邻图像的配准误差在拼接过程中累积起来，并且这些误差随着图像数量的增加而逐渐变大，直接影响图像拼接的精度和效果。航空视频序列图像拼接中的误差累积问题一直是图像拼接中的一个技术难点问题，国内外研究人员试图提出了一些解决方法，例如采用光束法平差、捆绑调整、直接稀疏Cholesky分解方法、卡尔曼滤波方法等全局最优配准方法来获得最优变换矩阵，可以在一定程度上减小多帧图像的全局拼接误差，但在一些实际应用场合(如航空侦察与应急灾害等)，采用全局配准算法又无法满足实时性要求。
技术实现思路
有鉴于此，本专利技术实施例提供了一种图像拼接方法及装置。本专利技术实施例中提供一种图像拼接方法，包括：获取连续帧图像中的任意帧图像作为第一基准图像；根据所述第一基准图像的场景复杂度值确定一个周期内拼接的图像帧数N，其中，所述N为大于0的自然数；将所述第一基准图像后的N帧图像与相邻的图像进行配准以获取各个图像之间的变换矩阵；将所述各个图像变换到基准图像坐标系中利用渐入渐出法对图像重叠区域进行融合处理得到短周期拼接合成图像；获取第N+1帧图像，根据预设拼接策略，得到所有短周期拼接合成图像，并对所述各短周期拼接图像进行拼接得到一个长周期拼接合成图像；将所述长周期拼接合成图像作为新拼接流程中的第一个短周期拼接合成图像，与后续获取的图像进行拼接以得到完整的拼接合成图像。可选地，所述根据所述第一基准图像的场景复杂度值确定一个周期内拼接的图像帧数N，包括：采用显著性特征作为图像场景复杂度高低的评价依据以确定短周期图像拼接的帧数N。可选地，所述将所述第一基准图像后的N帧图像与相邻的图像进行配准以获取各个图像之间的变换矩阵，包括：将所述第一基准图像后的N帧图像与相邻的图像采用BRISK二进制特征匹配算法或FREAK二进制特征匹配算法进行配准以获取各个图像之间的变换矩阵。可选地，所述将所述长周期拼接合成图像作为新拼接流程中的第一个短周期拼接合成图像，与后续获取的图像进行拼接以得到完整的拼接合成图像，包括：采用SIFT特征匹配算法或SURF特征匹配算法进行配准，得到各短周期拼接图像之间的第二变换矩阵；利用所述第二变换矩阵进行拼接得到完整的拼接合成图像。可选地，所述获取第N+1帧图像之前，还包括：将各图像的特征存储在基准图像特征堆栈或非基准图像特征堆栈。可选地，所述长周期拼接合成图像作为新拼接周期中的第一个短周期拼接合成图像，与所述后续获取的图像进行拼接以得到完整的拼接合成图像之后，还包括：根据图像配准得到图像空间变换模型，将两幅图像变换到同一参考坐标系并采用渐入渐出法对配准后的图像重叠区域进行融合处理，以消除图像亮度差异和配准误差得到无缝拼接图像。本专利技术实施例中提供一种图像拼接装置，包括：获取单元，用于获取连续帧图像中的任意帧图像作为第一基准图像；处理单元，用于根据所述第一基准图像的场景复杂度值确定一个周期内拼接的图像帧数N，其中，所述N为大于0的自然数；所述处理单元还用于将所述第一基准图像后的N帧图像与相邻的图像进行配准以获取各个图像之间的变换矩阵；所述处理单元还用于将所述各个图像变换到基准图像坐标系中利用渐入渐出法对图像重叠区域进行融合处理得到短周期拼接合成图像；所述处理单元还用于获取所述各短周期内的所有拼接合成图像，并根据预设拼接策略，对所述所有短周期拼接合成图像进行拼接得到一个长周期拼接合成图像；所述处理单元还用于将长周期拼接合成图像作为新拼接流程中的第一个短周期拼接合成图像，与后续获取的图像进行拼接以得到完整的拼接合成图像。可选地，所述处理单元具体用于：采用显著性特征作为图像场景复杂度高低的评价依据以确定短周期图像拼接的帧数N。可选地，所述处理单元具体用于：将所述第一基准图像后的N帧图像与相邻的图像采用BRISK二进制特征匹配算法或FREAK二进制特征匹配算法进行配准以获取各个图像之间的变换矩阵。可选地，所述处理单元具体用于：采用SIFT特征匹配算法或SURF特征匹配算法进行配准，得到各短周期拼接图像之间的第二变换矩阵；利用所述第二变换矩阵进行拼接得到完整的拼接合成图像。从以上技术方案可以看出，本专利技术实施例具有以下优点：本专利技术提供的图像拼接方法及装置，可用于降低拼接累积误差的航空视频图像自适应多级分层拼接，能够根据目标场景特性自适应选择合适的处理层次和配准算法，有效地解决了图像拼接误差随图像帧数增加而传播扩散的问题，同时采用渐入渐出法对配准后的图像进行融合处理，较好地消除了图像变换矩阵累积误差和图像亮度差异引起的拼接缝隙问题，得到一幅宽视场、高分辨率的合成图像，在图像拼接精度和鲁棒性方面有了明显提高；采用“特征堆栈”存储各帧图像特征，与后续图像进行配准拼接，能够有效减小计算量，节省重复提取图像特征的时间，进一步提高图像拼接速度。附图说明图1-a是本专利技术实施例中提供的一种图像拼接方法的流程图；图1-b是本专利技术实施例中提供的一种图像拼接方法的流程图；图2是本专利技术实施例中提供的一种图像拼接方法的原理图；图3是本专利技术实施例中提供的一种图像拼接方法的长周期图像多级拼接的原理图；图4是本专利技术实施例中提供的一种图像拼接方法的原理图；图5是本专利技术实施例中提供的一种图像拼接方法中FAST角点检测算法原理图；图6是本专利技术实施例中提供的一种图像拼接方法中BRISK算法采样模式示意图；图7是本专利技术实施例中提供的一种图像拼接装置的结构图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。结合图1-a所示，本专利技术实施例中提供一种图像拼接方法，包括：S1、获取连续帧图像中的任意帧图像作为第一基准图像；S2、根据所述第一基准图像的场景复杂度值确定一个周期内拼接的图像帧数N，其中，所述N为大于0的自然数；S3、将所述第一基准图像后的N帧图像与相邻的图像进行配准以获取各个图像之间的变换矩阵；S4、将所述各个图像变换到基准图像坐标系中利用渐入渐出法对图像重叠区域进行融合处理得到短周期拼接合成图像；S5、获取第N+1帧图像，根据预设拼接策略，得到所有短周期拼接合成图像，并对所述各短周期拼接图像进行拼接得到一个长周期拼接合成图像；S6、将所述长周期拼接本文档来自技高网...

【技术保护点】
一种图像拼接方法，其特征在于，包括：获取连续帧图像中的任意帧图像作为第一基准图像；根据所述第一基准图像的场景复杂度值确定一个周期内拼接的图像帧数N，其中，所述N为大于0的自然数；将所述第一基准图像后的N帧图像与相邻的图像进行配准以获取各个图像之间的变换矩阵；将所述各个图像变换到基准图像坐标系中利用渐入渐出法对图像重叠区域进行融合处理得到短周期拼接合成图像；获取第N+1帧图像，根据预设拼接策略，得到所有短周期拼接合成图像，并对所述各短周期拼接图像进行拼接得到一个长周期拼接合成图像；将长周期拼接合成图像作为新拼接流程中的第一个短周期拼接合成图像，与后续获取的图像进行拼接以得到完整的拼接合成图像。

【技术特征摘要】
1.一种图像拼接方法，其特征在于，包括：获取连续帧图像中的任意帧图像作为第一基准图像；根据所述第一基准图像的场景复杂度值确定一个周期内拼接的图像帧数N，其中，所述N为大于0的自然数；将所述第一基准图像后的N帧图像与相邻的图像进行配准以获取各个图像之间的变换矩阵；将所述各个图像变换到基准图像坐标系中利用渐入渐出法对图像重叠区域进行融合处理得到短周期拼接合成图像；获取第N+1帧图像，根据预设拼接策略，得到所有短周期拼接合成图像，并对所述各短周期拼接图像进行拼接得到一个长周期拼接合成图像；将长周期拼接合成图像作为新拼接流程中的第一个短周期拼接合成图像，与后续获取的图像进行拼接以得到完整的拼接合成图像。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一基准图像的场景复杂度值确定一个周期内拼接的图像帧数N，包括：采用显著性特征作为图像场景复杂度高低的评价依据以确定短周期图像拼接的帧数N。3.根据权利要求1所述的方法，其特征在于，所述将所述第一基准图像后的N帧图像与相邻的图像进行配准以获取各个图像之间的变换矩阵，包括：将所述第一基准图像后的N帧图像与相邻的图像采用BRISK二进制特征匹配算法或FREAK二进制特征匹配算法进行配准以获取各个图像之间的变换矩阵。4.根据权利要求3所述的方法，其特征在于，所述将所述各短周期拼接图像进行拼接得到一个长周期拼接合成图像，包括：采用SIFT特征匹配算法或SURF特征匹配算法进行配准，得到各短周期拼接图像之间的第二变换矩阵；利用所述第二变换矩阵进行拼接得到完整的拼接合成图像。5.根据权利要求4所述的方法，其特征在于，所述获取第N+1帧图像之前，还包括：将各帧图像特征存储在“基准图像特征堆栈”或“非基准图像特征堆栈”中，用于与后续图像的配准拼接中。6.根据权利要求1所述的方法，其特征在于，所述...

【专利技术属性】
技术研发人员：贾平，刘晶红，孙明超，徐芳，
申请(专利权)人：中国科学院长春光学精密机械与物理研究所，
类型：发明
国别省市：吉林;22