一种基于深度学习的图像拼接方法及装置制造方法及图纸

本发明专利技术公开了一种基于深度学习的图像拼接方法及装置，包括以下步骤：S1、利用HomoNet模块将不同视角下的两幅图像输入到单应性矩阵估计网络得到所述两帧图片的单应性矩阵；S2、利用变换模块根据上述单应性矩阵，计算每幅图像的相机旋转矩阵，利用光束平差法进行精细化校正后，将每幅图像变换到同一平面上；S3、利用融合模块计算图像接缝，并对图像进行曝光补偿，对两幅图像进行融合，输出拼接结果。本发明专利技术采用上述的一种基于深度学习的图像拼接方法及装置，不需要提取特征点，而是直接通过深度神经网络来完成单应性矩阵的计算，并获得后续拼接的结果。续拼接的结果。续拼接的结果。

【技术实现步骤摘要】
一种基于深度学习的图像拼接方法及装置


[0001]本专利技术涉及数字图像处理
，尤其是涉及一种基于深度学习的图像拼接方法及装置。

技术介绍

[0002]传统图像拼接技术最关键的步骤是提取两帧图像的特征点(SIFT、SURF等)并选取匹配点，然后使用RANSAC算法对匹配点计算单应性矩阵。这个过程的计算结果非常依赖于匹配点的数量，也就是特征点的提取质量和数量。但是某些条件下的图像，例如户外景色、低光照、低纹理，特征点不宜提取且数量少，从而影响到单应性矩阵的计算以及后续拼接的结果。
[0003]经过图像拼接合成的无缝高分辨率图像利用大屏展示后，随着拼接图像带来的视角拓展，能够让观众产生身临其境的感觉。近些年来这种技术已经在虚拟现实领域(例如博物馆可视化、虚拟演播室、虚拟拍摄)中被广泛使用。因此，本专利技术提供了一种基于深度学习的图像拼接方法及装置，以解决上述问题。

技术实现思路

[0004]本专利技术的目的是提供一种基于深度学习的图像拼接方法及装置，不需要提取特征点，而是直接通过深度神经网络来完成单应性矩阵的计算，并获本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的图像拼接方法及装置，包括以下步骤：S1、利用HomoNet模块将不同视角下的两幅图像输入到单应性矩阵估计网络得到两帧图片的单应性矩阵；S2、利用变换模块根据上述单应性矩阵，计算每幅图像的相机旋转矩阵，利用光束平差法进行精细化校正后，将每幅图像变换到同一平面上；S3、利用融合模块计算图像接缝，并对图像进行曝光补偿，对两幅图像进行融合，输出拼接结果。2.根据权利要求1所述的一种基于深度学习的图像拼接方法及装置，其特征在于：在步骤S1中，HomoNet模块包括FPN特征提取网络与单应性矩阵预测网络，FPN特征提取网络包括特征提取模块和特征融合模块；单应性矩阵预测网络包括2组多层注意力模块与1个多层感知器模块，多层注意力模块包含了1个自注意力子模块...

【专利技术属性】
技术研发人员：裘初，高鹏东，齐全，王博，
申请(专利权)人：中国传媒大学，
类型：发明
国别省市：