【技术实现步骤摘要】
本专利技术涉及视频图像处理，特别涉及一种多源影像拼接方法、设备和存储介质。
技术介绍
1、随着网络技术，计算机处理技术的发展，更高分辨率，更大画面的视频备受欢迎。更高的分辨率能够提供更多的视频内容细节，更大画面给用户身临其境的观赏效果，仿佛身处在整个画面中一样。但是，如果直接采用更大视场的摄像头进行采集，不仅分辨率难以满足要求，而且几何畸变非常严重，摄像头造价高。为避免这些问题，现有技术提出了图像拼接方案。
2、图像拼接，一般是使用两路或以上的摄像头进行图像采集，该两路或以上的摄像头的视野存在重叠部分，然后基于匹配的特征点进行拼接，得到更大视野范围的图像，甚至是全景图像。但是，由于是使用不同摄像头在不同位置和/或角度采集的不同图像，因此拼接图像之间辐射特性、畸变特性都不同，因此会导致拼接图像之间存在辐射差异、几何扭曲、接缝明显等问题。
技术实现思路
1、为了解决现有的采集图像拼接中存在辐射差异、几何扭曲、接缝明显等问题，本专利技术提供了一种多源影像拼接方法、设备和存储介质。
2、为了实现上述专利技术目的，本专利技术提供了以下技术方案：
3、第一方面，本专利技术提供了一种多源影像拼接方法，所述方法包括：
4、根据时序从第一视频的连续多帧图像中获取对应的第一目标图像，以及，从第二视频的连续多帧图像中获取对应的第二目标图像；
5、根据所述第一目标图像前后的连续多帧图像进行运动物体识别与估计，获取运动矢量，将所述运动矢量映射至所述
6、根据所述运动矢量和所述位移差校准所述第一目标图像和所述第二目标图像，获取对应的第三目标图像和第四目标图像；
7、根据所述第三目标图像和所述第四目标图像之间的特征匹配点获取密度信息，根据所述密度信息确定拼接边缘；
8、根据所述拼接边缘，拼接所述第三目标图像和所述第四目标图像，获取初步拼接图像；
9、对所述初步拼接图像在不同频段内进行不同的加权融合处理，得到最终拼接图像；
10、其中，所述第一视频和所述第二视频为同一地点的两个视频源采集的，所述两个视频源的采集角度不同。
11、结合第一方面，在第一方面的一种可能的实现方式中，对所述初步拼接图像在不同频段内进行不同的加权融合处理，包括：
12、对所述初步拼接图像进行下采样，获取低频图像分量和高频图像分量；
13、将所述低频图像分量和高频图像分量分别与高斯核进行卷积处理，获取高斯金字塔；
14、将所述高斯金字塔的相邻图像层进行差分处理，得到拉普拉斯金字塔；
15、对所述拉普拉斯金字塔的每一层进行不同融合权重的图像融合，将所述融合后的拉普拉斯金字塔进行逆向重构，得到最终拼接图像。
16、结合第一方面，在第一方面的一种可能的实现方式中，将所述融合后的拉普拉斯金字塔进行逆向重构，包括：
17、步骤1、获取融合后的拉普拉斯金字塔层数i，并将所述高斯金字塔最低层的图层作为重构底板图像；其中，所述高斯金字塔层数为i+1，所述高斯金字塔最低层为高斯金字塔的i+1层；
18、步骤2、将所述重构底板图像进行上采样，上采样结果尺度与第i层高斯金字塔图层的尺度保持一致，并在上采样后进行平滑处理；
19、步骤3、将平滑处理后的重构底板图像与所述拉普拉斯金字塔第i层图像相加，得到新的重构底板图像，且i＝i-1；
20、步骤4、重复所述步骤2至步骤3，获取i＝0时的重构底板图像，作为最终拼接图像。
21、结合第一方面，在第一方面的一种可能的实现方式中，将所述低频图像分量和高频图像分量分别与高斯核进行卷积处理，包括：
22、对于低频图像分量，将所述高斯核中的平滑程度参数σ调大；
23、对于高频图像分量，将所述高斯核中的平滑程度参数σ调小。
24、结合第一方面，在第一方面的一种可能的实现方式中，根据所述运动矢量和所述位移差校准所述第一目标图像和所述第二目标图像，包括：
25、根据所述运动矢量和所述位移差获取时间误差，根据所述时间误差，获取像素值对应的校准权重，计算公式为：
26、f1(x,y)＝w·f1(x,y)，f2(x,y)＝(1-w)·f2(x,y)，
27、w＝tcycle-δt，
28、其中，f1(x,y)为第三目标图像，f2(x,y)为第四目标图像，w为校准权重，f1(x,y)为第一目标图像中的像素值，f2(x,y)为第二目标图像中的像素值，tcycle为第一目标图像和第二目标图像之间的时间周期，δt为时间误差。
29、结合第一方面，在第一方面的一种可能的实现方式中，所述时间误差为所述位移差和所述运动矢量的商。
30、结合第一方面，在第一方面的一种可能的实现方式中，根据所述第三目标图像和所述第四目标图像之间的特征匹配点获取密度信息，根据所述密度信息确定拼接边缘，包括：
31、将所述第三目标图像和所述第四目标图像之间的重叠区域沿x轴方向划分为x份，沿y轴方向划分为y份，得到x*y份重叠子区；
32、沿所述y轴方向从每x个所述重叠子区中，选择特征匹配点密度最大的一个所述重叠子区，得到y个目标重叠子区；
33、从y个目标重叠子区中选取一个特征匹配点，然后对选取的特征匹配点进行连线，得到拼接边缘。
34、结合第一方面，在第一方面的一种可能的实现方式中，采用特征提取方法从所述重叠子区获取特征匹配点，所述特征提取方法包括sift算法和harris角点检测法。
35、第二方面，本专利技术提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的一种多源影像拼接方法。
36、第三方面，本专利技术提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的一种多源影像拼接方法。
37、与现有技术相比，本专利技术的有益效果：
38、1.本专利技术通过对一图像进行运动物体识别与估计，获取运动矢量，再将所述运动矢量映射至另一图像中，获取位移差，根据所述运动矢量和所述位移差校准两图像，使得不同源的视频图像的空间维度和时间维度完成完整的同步，并且不存在任何的误差累积，进而使得在后续的视频图像拼接过程中能够完成精确的高清运动物体重现，在后续的图像拼接及其他图像处理应用中得到更为精确的结果；
39、2.本专利技术通过两图像的特征匹配点获取密度信息，根据所述密度信息确定拼接边缘，基于拼接边缘进行拼接处理，解决了现有技术中拼接产生的图像撕裂问题，还使得初始拼接图像的拼接缝隙更加平滑，同时，在拼接之后，对初始拼接图像在不同频段内进行不同的加权融合处理，使得最终得到的拼接图像中的拼接接缝得到优化甚至消除，使得本文档来自技高网...
【技术保护点】
1.一种多源影像拼接方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种多源影像拼接方法，其特征在于，对所述初步拼接图像在不同频段内进行不同的加权融合处理，包括：
3.根据权利要求2所述的一种多源影像拼接方法，其特征在于，将所述融合后的拉普拉斯金字塔进行逆向重构，包括：
4.根据权利要求2所述的一种多源影像拼接方法，其特征在于，将所述低频图像分量和高频图像分量分别与高斯核进行卷积处理，包括：
5.根据权利要求1所述的一种多源影像拼接方法，其特征在于，根据所述运动矢量和所述位移差校准所述第一目标图像和所述第二目标图像，包括：
6.根据权利要求5所述的一种多源影像拼接方法，其特征在于，所述时间误差为所述位移差和所述运动矢量的商。
7.根据权利要求1所述的一种多源影像拼接方法，其特征在于，根据所述第三目标图像和所述第四目标图像之间的特征匹配点获取密度信息，根据所述密度信息确定拼接边缘，包括：将所述第三目标图像和所述第四目标图像之间的重叠区域沿X轴方向划分为x份，沿Y轴方向划分为y份，得到x*y份重叠子区；
8.根据权利要求7所述的一种多源影像拼接方法，其特征在于，采用特征提取方法从所述重叠子区获取特征匹配点，所述特征提取方法包括Sift算法和Harris角点检测法。
9.一种电子设备，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器，所述存储器包括多个第一存储区域，及多个第二存储区域；
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，
...【技术特征摘要】
1.一种多源影像拼接方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种多源影像拼接方法，其特征在于，对所述初步拼接图像在不同频段内进行不同的加权融合处理，包括：
3.根据权利要求2所述的一种多源影像拼接方法，其特征在于，将所述融合后的拉普拉斯金字塔进行逆向重构，包括：
4.根据权利要求2所述的一种多源影像拼接方法，其特征在于，将所述低频图像分量和高频图像分量分别与高斯核进行卷积处理，包括：
5.根据权利要求1所述的一种多源影像拼接方法，其特征在于，根据所述运动矢量和所述位移差校准所述第一目标图像和所述第二目标图像，包括：
6.根据权利要求5所述的一种多源影像拼接方法，其特征在于，所述时间误差为所述位移差和所述运动矢量的商。
【专利技术属性】
技术研发人员：许懿娜，王一川，刘竹均，杨少文，孙越乔，包建强，董飞飞，胥海燕，唐敏，何颖博，王义，黄华平，吴柯，孙智虎，周震，
申请(专利权)人：中铁二院工程集团有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。