视频图像的拼缝搜索方法、视频图像的拼接方法和装置制造方法及图纸

本发明专利技术提供了一种视频图像的拼缝搜索方法、视频图像的拼接方法和装置，获取第一视频中每帧视频图像的能量图；针对第一帧视频图像，基于其能量图确定其拼缝搜索结果；针对其余每帧视频图像，基于前一帧视频图像的拼缝搜索结果，确定拼缝搜索区域范围；在该范围内，基于当前视频图像的能量图确定其拼缝搜索结果。该方式基于视频图像的能量图确定拼缝搜索结果，并且，对于除第一帧以外的视频图像，先基于前一帧视频图像的拼缝搜索结果确定拼缝搜索区域范围，再在该拼缝搜索区域范围内确定拼缝搜索结果，这种约束拼缝搜索区域范围的方式可以减少前后帧视频图像的拼缝区域差异，缓解拼接后的视频在播放过程中的抖动问题，进而提升全景视频的拼接效果。全景视频的拼接效果。全景视频的拼接效果。

【技术实现步骤摘要】
视频图像的拼缝搜索方法、视频图像的拼接方法和装置


[0001]本专利技术涉及视频处理
，尤其是涉及一种视频图像的拼缝搜索方法、视频图像的拼接方法和装置。

技术介绍

[0002]全景视频拼接是指将具有重叠视场的多个视频进行拼接，具体的，多个视频中的帧图像一一对应，将多个视频中相互对应的帧图像进行拼接，以得到360
°
全景视场视频；在全景视频拼接过程中，通常需要对多个视频中的每帧图像的拼缝进行搜索，然后基于搜索到的拼缝实现对每帧图像的拼接；相关技术中的图像拼接算法主要应用于单张图像的拼接，采用该图像拼接算法对待拼接的多个视频进行拼接时，容易前后帧图像的拼缝区域差异较大，拼接后的视频在播放过程中出现抖动，影响了全景视频的拼接效果。

技术实现思路

[0003]本专利技术的目的在于提供一种视频图像的拼缝搜索方法、视频图像的拼接方法和装置，以缓解拼接后的视频在播放过程中的抖动，提升全景视频的拼接效果。
[0004]本专利技术提供的一种视频图像的拼缝搜索方法，方法包括：获取第一视频中每帧视频图像的能量图；其中，能量图用于指示视频图像中指定对象的位置区域和边缘；针对第一视频中第一帧视频图像，基于第一帧视频图像的能量图，确定第一帧视频图像的拼缝搜索结果；其中，拼缝搜索结果包括：视频图像与目标图像的拼缝区域；目标图像为第二视频中与视频图像对应的视频图像；针对第一视频中除第一帧以外的每帧视频图像，基于当前视频图像的前一帧视频图像的拼缝搜索结果，确定当前视频图像的拼缝搜索区域范围；在拼缝搜索区域范围内，基于当前视频图像的能量图确定当前视频图像的拼缝搜索结果。
[0005]进一步的，获取第一视频中每帧视频图像的能量图的步骤包括：获取第一视频中每帧视频图像的显著性目标能量图、运动目标能量图和边缘目标能量图；针对每帧视频图像，融合该帧视频图像所对应的显著性目标能量图、运动目标能量图和边缘能量图，得到该帧视频图像的能量图。
[0006]进一步的，获取第一视频中每帧视频图像的显著性目标能量图、运动目标能量图和边缘能量图的步骤包括：针对第一视频中的每帧视频图像，将该视频图像输入至预设神经网络模型中，以通过预设神经网络模型输出该帧视频图像的显著性目标能量图；基于该帧视频图像中的运动目标，确定该帧视频图像的运动目标能量图；对该帧视频图像中每个对象进行边缘检测，得到该帧视频图像的边缘能量图。
[0007]进一步的，针对第一视频中第一帧视频图像，基于第一帧视频图像的能量图，确定第一帧视频图像的拼缝搜索结果的步骤包括：针对第一视频中第一帧视频图像，基于第一帧视频图像的能量图，采用动态规划算法，计算第一帧视频图像的拼缝搜索结果。
[0008]进一步的，针对第一视频中除第一帧以外的每帧视频图像，基于当前视频图像的前一帧视频图像的拼缝搜索结果，确定当前视频图像的拼缝搜索区域范围；在拼缝搜索区
域范围内，基于当前视频图像的能量图确定当前视频图像的拼缝搜索结果的步骤包括：针对第一视频中除第一帧以外的每帧视频图像，在当前视频图像的前一帧视频图像的拼缝搜索结果的基础上，增加预设约束条件，确定当前视频图像的拼缝搜索区域范围；在拼缝搜索区域范围内，基于当前视频图像的能量图，采用动态规划算法，确定当前视频图像的拼缝搜索结果。
[0009]进一步的，第一视频中，每帧视频图像与该视频图像对应的目标图像具有重叠区域，重叠区域在视频图像中对应的区域为第一重叠区域，在目标图像中对应的区域为第二重叠区域；方法还包括：针对每帧视频图像，将该帧视频图像中第一重叠区域对应的图像，与该帧视频图像对应的目标图像中第二重叠区域对应的图像，输入至预先训练好的神经网络模型中，得到该帧视频图像的拼缝预测结果；其中，拼缝预测结果包括：视频图像与对应的目标图像的拼缝预测区域。
[0010]进一步的，预先训练好的神经网络模型，通过下述方式确定：获取包含连续多组待拼接图像对的训练样本，以及每组待拼接图像对的拼缝搜索结果；针对除第一组待拼接图像对的每组待拼接图像对，将该组待拼接图像对，以及相邻的前一组待拼接图像对的拼缝预测结果，输入至初始神经网络模型中，以通过初始神经网络模型输出该组待拼接图像对的拼缝预测结果；基于该组待拼接图像对的拼缝搜索结果和预设的损失函数，计算该组待拼接图像对的拼缝预测结果的损失值；基于损失值更新初始神经网络模型的权重参数；继续执行获取包含连续多组待拼接图像对的训练样本的步骤，直至初始神经网络模型收敛，得到神经网络模型。
[0011]进一步的，获取包含连续多组待拼接图像对的训练样本，以及每组待拼接图像对的拼缝搜索结果的步骤之后，方法还包括：获取预设拼缝模板；其中，预设拼缝模板中包括预设拼缝区域；针对第一组待拼接图像对，将第一组待拼接图像对和预设拼缝模板输入至初始神经网络模型中，以通过初始神经网络模型输出第一组待拼接图像对的拼缝预测结果。
[0012]本专利技术提供的一种视频图像的拼接方法，方法包括：获取第一鱼眼视频和第二鱼眼视频；其中，第一鱼眼视频和第二鱼眼视频中的鱼眼视频图像具有重叠区域；提取第一鱼眼视频中每帧鱼眼视频图像的第一目标区域，以及第二鱼眼视频中每帧鱼眼视频图像的第二目标区域；针对相互对应的两帧鱼眼视频图像，基于两帧鱼眼视频图像对应的第一目标区域和第二目标区域，以及预先获取到的更新展开参数值，确定第一鱼眼视频中该帧鱼眼视频图像展开后的第一等距投影图片，以及第二鱼眼视频中该帧鱼眼视频图像展开后的第二等距投影图片；基于相互对应的第一等距投影图片和第二等距投影图片，确定拼缝搜索结果；其中，拼缝搜索结果采用上述任一项的视频图像的拼缝搜索方法确定；基于每组相互对应的两帧鱼眼视频图像对应的拼缝搜索结果，确定视频图像的视频拼接结果。
[0013]进一步的，基于相互对应的第一等距投影图片和第二等距投影图片，确定拼缝搜索结果的步骤包括：将相互对应的第一等距投影图片和第二等距投影图片进行对齐；基于对齐后的第一等距投影图片和第二等距投影图片，提取第三重叠区域；基于第三重叠区域，对第二等距投影图片进行光照补偿，以使光照补偿后的第二等距投影图片中每个像素的像素值，与相对应的第一等距投影图片中每个像素的像素值相匹配；基于第一等距投影图片，以及光照补偿后的第二等距投影图片，确定拼缝搜索结果。
[0014]进一步的，更新展开参数值包括：视场角参数值、光心在x轴方向的参数值、光心在y轴方向的参数值和鱼眼旋转角参数值；更新展开参数值预先通过下述方式确定：获取每个展开参数的初始展开参数值和预设偏移范围；基于每个展开参数的初始展开参数值和预设偏移范围，对每个展开参数进行采样，得到每个展开参数的采样值，基于每个展开参数的采样值，确定第一鱼眼视频中该帧鱼眼视频图像展开后的第三等距投影图片，以及第二鱼眼视频中该帧鱼眼视频图像展开后的第四等距投影图片；提取第三等距投影图片和第四等距投影图片的第四重叠区域；对第四重叠区域进行互相关计算，得到第一互相关计算结果；基于第一互相关计算结果和预设迭代次数，确定更新展开参数值。
[0015]进一步的，基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频图像的拼缝搜索方法，其特征在于，所述方法包括：获取第一视频中每帧视频图像的能量图；其中，所述能量图用于指示所述视频图像中指定对象的位置区域和边缘；针对所述第一视频中第一帧视频图像，基于所述第一帧视频图像的能量图，确定所述第一帧视频图像的拼缝搜索结果；其中，所述拼缝搜索结果包括：视频图像与目标图像的拼缝区域；所述目标图像为第二视频中与所述视频图像对应的视频图像；针对所述第一视频中除所述第一帧以外的每帧视频图像，基于当前视频图像的前一帧视频图像的拼缝搜索结果，确定所述当前视频图像的拼缝搜索区域范围；在所述拼缝搜索区域范围内，基于所述当前视频图像的能量图确定所述当前视频图像的拼缝搜索结果。2.根据权利要求1所述的方法，其特征在于，所述获取第一视频中每帧视频图像的能量图的步骤包括：获取所述第一视频中每帧视频图像的显著性目标能量图、运动目标能量图和边缘能量图；针对所述每帧视频图像，融合该帧视频图像所对应的显著性目标能量图、运动目标能量图和边缘能量图，得到该帧视频图像的能量图。3.根据权利要求2所述的方法，其特征在于，所述获取所述第一视频中每帧视频图像的显著性目标能量图、运动目标能量图和边缘能量图的步骤包括：针对所述第一视频中的每帧视频图像，将该视频图像输入至预设神经网络模型中，以通过所述预设神经网络模型输出该帧视频图像的显著性目标能量图；基于该帧视频图像中的运动目标，确定该帧视频图像的运动目标能量图；对该帧视频图像中每个对象进行边缘检测，得到该帧视频图像的边缘能量图。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述针对所述第一视频中第一帧视频图像，基于所述第一帧视频图像的能量图，确定所述第一帧视频图像的拼缝搜索结果的步骤包括：针对所述第一视频中第一帧视频图像，基于所述第一帧视频图像的能量图，采用动态规划算法，计算所述第一帧视频图像的拼缝搜索结果。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述针对所述第一视频中除所述第一帧以外的每帧视频图像，基于当前视频图像的前一帧视频图像的拼缝搜索结果，确定所述当前视频图像的拼缝搜索区域范围；在所述拼缝搜索区域范围内，基于所述当前视频图像的能量图确定所述当前视频图像的拼缝搜索结果的步骤包括：针对所述第一视频中除所述第一帧以外的每帧视频图像，在当前视频图像的前一帧视频图像的拼缝搜索结果的基础上，增加预设约束条件，确定当前视频图像的拼缝搜索区域范围；在所述拼缝搜索区域范围内，基于所述当前视频图像的能量图，采用动态规划算法，确定所述当前视频图像的拼缝搜索结果。6.根据权利要求1所述的方法，其特征在于，所述第一视频中，每帧视频图像与该视频图像对应的目标图像具有重叠区域，所述重叠区域在所述视频图像中对应的区域为第一重叠区域，在所述目标图像中对应的区域为第二重叠区域；所述方法还包括：针对所述每帧视频图像，将该帧视频图像中第一重叠区域对应的图像，与该帧视频图
像对应的目标图像中第二重叠区域对应的图像，输入至预先训练好的神经网络模型中，得到所述该帧视频图像的拼缝预测结果；其中，所述拼缝预测结果包括：所述视频图像与对应的所述目标图像的拼缝预测区域。7.根据权利要求6所述的方法，其特征在于，所述预先训练好的神经网络模型，通过下述方式确定：获取包含连续多组待拼接图像对的训练样本，以及每组待拼接图像对的拼缝搜索结果；针对除第一组待拼接图像对的每组待拼接图像对，将该组待拼接图像对，以及相邻的前一组待拼接图像对的拼缝预测结果，输入至初始神经网络模型中，以通过所述初始神经网络模型输出该组待拼接图像对的拼缝预测结果；基于该组待拼接图像对的拼缝搜索结果和预设的损失函数，计算该组待拼接图像对的拼缝预测结果的损失值；基于所述损失值更新所述初始神经网络模型的权重参数；继续执行获取包含连续多组待拼接图像对的训练样本的步骤，直至所述初始神经网络模型收敛，得到所述神经网络模型。8.根据权利要求7所述的方法，其特征在于，获取包含连续多组待拼接图像对的训练样本，以及每组待拼接图像对的拼缝搜索结果的步骤之后，所述方法还包括：获取预设拼缝模板；其中，所述预设拼缝模板中包括预设拼缝区域；针对第一组待拼接图像对，将所述第一组待拼接图像对和所述预设拼缝模板输入至所述初始神经网络模型中，以通过所述初始神经网络模型输出所述第一组待拼接图像对的拼缝预测结果。9.一种视频图像的拼接方法，其特征在于，所述方法包括：获取第一鱼眼视频和第二鱼眼视频；其中，所述第一鱼眼视频和所述第二鱼眼视频中的鱼眼视频图像具有重叠区域；提取所述第一鱼眼视频中每帧鱼眼视频图像的第一目标区域，以及所述第二鱼眼视频中每帧鱼眼视频图像的第二目标区域；针对相互对应的两帧鱼眼视频图像，基于所述两帧鱼眼视频图像对应的所述第一目标区域和所述第二目标区域，以及预先获取到的更新展开参数值，确定所述第一鱼眼视频中该帧鱼眼视频图像展开后的第一等距投影图片，以及所述第二鱼眼视频中该帧鱼眼视频图像展开后的第二等距投影图片；基于相互对应的所述第一等距投影图片和所述第二等距投影图片，确定拼缝搜索结果；其中，所述拼缝搜索结果采用上述权利要求1
‑
8任一项所述的方法确定；基于每组相互对应的两帧鱼眼视频图像对应的拼缝搜索结果，确定所述视频图像的视频拼接结果。10.根据权利要求9所述的方法，其特征在于，所述基于相互对应的所述第一等距投影图片和所述第二等距投影图片，确定拼缝搜索结果的步骤包括：将相互对应的所述第一等距投影图片和所述第二等距投影图片进行对齐；基于对齐后的所述第一等距投影图片和所述第二等距投影图片，提取第三重叠区域；基于所述第三重叠区域，对所述第二等距投影图片进行光照补偿，以使光照补偿后的
所述第二等距投影图片中每个像素的像素值，与相对应的所述第一等距投影图片中每个像素的像素值相匹配；基于所述第一等距投影图片，以及光照补偿后的所述第二等...

【专利技术属性】
技术研发人员：刘伟舟，胡晨，周舒畅，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：