一种基于接缝查找优化技术的视频拼接方法及装置制造方法及图纸

本申请涉及一种基于接缝查找优化技术的视频拼接方法及装置，涉及计算机视觉技术领域，该方法包括以下步骤：提取多个初始帧进行图像拼接，获得初始拼接结果图像及初始拼接接缝，保存对应的拼接参数作为拼接模板；接收下一时刻的多个后续帧，基于拼接模板进行图像拼接，获得对应的拼接结果图像；将拼接结果图像对应的拼接接缝与初始拼接接缝比对；若比对不一致，发起接缝更新流程，绕开重叠区域的前景区域，获得下一时刻的多个后续帧对应的更新后接缝，并进行图像拼接，输出对应的接缝优化后拼接结果图像；若比对一致，输出对应的拼接结果图像。本申请避免前景穿越接缝时造成的画面不连续，绕开前景内容，得到效果较好的接缝与视觉良好的拼接结果。视觉良好的拼接结果。视觉良好的拼接结果。

【技术实现步骤摘要】
一种基于接缝查找优化技术的视频拼接方法及装置


[0001]本申请涉及计算机视觉
，具体涉及一种基于接缝查找优化技术的视频拼接方法及装置。

技术介绍

[0002]现阶段，图像拼接与视频拼接技术是计算机视觉领域与数字图像处理中非常重要的研究方向，其研究目的是为了将一系列在同一场景拍摄的多张图像，生成一张大视角的全景图像。目前，图像拼接技术已经在虚拟增强现实图像技术，遥感远程监控，无人机航拍图像，医疗图像处理，视频监控技术等诸多场景中逐渐得到了广泛的应用。
[0003]其中，图像拼接技术是视频拼接技术的核心和基础，本质是将多幅具有一定重叠区域的图像融合成一个大视场图像，以便进一步分析。但当两幅图像出现明显的视差时，直接融合两幅图像，重叠区域可能会出现明显的鬼影、错位的现象，而接缝算法可以改善这一类情况。
[0004]相比起图像拼接中的视差问题，视频拼接还面临前景物体穿越接缝所造成的画面不连续的问题。为了避免前景穿过接缝，得到视觉良好的拼接结果，有一种基于背景分离运动物体的视频拼接算法。该方法首先运用差值平方和的方法，拼接得到初步的结果，再从初步拼接结果中找到并剔除前景物体，接着对没有运动物体的视频实行精准的拼接，最后再把运动前景恢复到拼接的结果中。
[0005]前景区域在视频拼接中十分关键，可以通过寻找视频序列间的差异，定位场景中相较于背景存在位置变化的各个物体，以快速准确地定位图像中的运动前景。对前景运动目标检测的方法主要有光流法、帧间差分法和背景差分法。
[0006]考虑到前景区域对接缝更新的重要性与现有检测前景运动目标算法的缺陷，现提供一种基于接缝查找优化技术的视频拼接技术，以满足当前图像拼接中的接缝处理需求。

技术实现思路

[0007]本申请提供一种基于接缝查找优化技术的视频拼接方法及装置，避免在视频拼接中，前景穿越接缝时造成的画面不连续的问题，较好地绕开前景内容，得到效果较好的接缝与视觉良好的拼接结果。
[0008]第一方面，本申请提供了一种基于接缝查找优化技术的视频拼接方法，所述方法包括以下步骤：
[0009]提取多个初始帧进行图像拼接，获得初始拼接结果图像以及初始拼接接缝，并保存对应的拼接参数作为拼接模板；
[0010]接收下一时刻的多个后续帧，基于所述拼接模板进行图像拼接，获得对应的拼接结果图像；
[0011]将拼接结果图像对应的拼接接缝与初始拼接接缝比对；
[0012]若比对不一致，则发起接缝更新流程，获得下一时刻的多个后续帧对应的更新后
接缝，并基于对应的所述更新后接缝进行图像拼接，输出对应的接缝优化后拼接结果图像；
[0013]若比对一致，则输出对应的拼接结果图像；其中，
[0014]所述接缝更新流程包括以下步骤：
[0015]获得下一时刻的多个后续帧之间的重叠区域；
[0016]检测获得所述重叠区域中的前景区域以及背景区域；
[0017]对所述重叠区域中的前景区域进行阴影消除处理；
[0018]基于所述重叠区域中所述背景区域以及经过阴影消除处理的所述前景区域的能量值，获得所述更新后接缝。
[0019]具体的，所述将拼接结果图像对应的拼接接缝与初始拼接接缝比对中，包括以下步骤：
[0020]获取初始拼接接缝以及下一时刻的多个后续帧对应的拼接结果图像的拼接接缝的接缝像素；
[0021]比对所述初始拼接接缝以及所述拼接接缝的接缝像素。
[0022]具体的，所述检测获得所述重叠区域中的前景区域以及背景区域中，包括以下步骤：
[0023]基于Vibe算法，识别所述重叠区域，获得第一前景区域以及第一背景区域；
[0024]基于三帧差分法，识别所述重叠区域，获得第二前景区域以及第二背景区域；
[0025]基于所述第一前景区域以及第二前景区域，获得所述重叠区域中的前景区域；
[0026]基于所述第一背景区域以及第二背景区域，获得所述重叠区域中的背景区域。
[0027]具体的，所述基于所述重叠区域中所述背景区域以及经过阴影消除处理的所述前景区域的能量值，获得所述更新后接缝中，包括以下步骤：
[0028]基于预设的能量函数，计算获得所述重叠区域中所述背景区域以及经过阴影消除处理的所述前景区域的能量值；
[0029]基于所述重叠区域中所述背景区域以及经过阴影消除处理的所述前景区域的能量值的能量值，对所述重叠区域中像素点进行区域标记；
[0030]基于标记后的像素点，获得所述更新后接缝。
[0031]具体的，所述基于标记后的像素点，获得所述更新后接缝中，包括以下步骤：
[0032]基于所述重叠区域中的像素点，将第一行每一列分别初始化为一条预选接缝；
[0033]针对各预选接缝按照预设拓展规则，逐行扩展直至最后一行，累计各预选接缝的中像素点的能量值总值；
[0034]比较各预选接缝的中像素点的能量值总值，所述能量值总值的最小值对应的所述预选接缝为所述更新后接缝；其中，
[0035]预设拓展规则当前像素点基于下一行中紧邻的三个像素点，寻找路径，且避开前景区域对应的像素点，直至最后一行。
[0036]第二方面，本申请提供了一种基于接缝查找优化技术的视频拼接装置，所述装置包括：
[0037]图像拼接模块，其用于提取多个初始帧进行图像拼接，获得初始拼接结果图像以及初始拼接接缝，并保存对应的拼接参数作为拼接模板；
[0038]所述图像拼接模块还用于接收下一时刻的多个后续帧，基于所述拼接模板进行图
像拼接，获得对应的拼接结果图像；
[0039]接缝比对模块，其用于将拼接结果图像对应的拼接接缝与初始拼接接缝比对；
[0040]所述图像拼接模块还用于若比对不一致，则发起接缝更新流程，获得下一时刻的多个后续帧对应的更新后接缝，并基于对应的所述更新后接缝进行图像拼接，输出对应的接缝优化后拼接结果图像；
[0041]所述图像拼接模块还用于若比对一致，则输出对应的拼接结果图像；其中，
[0042]所述图像拼接模块执行所述接缝更新流程包括以下操作：
[0043]获得下一时刻的多个后续帧之间的重叠区域；
[0044]检测获得所述重叠区域中的前景区域以及背景区域；
[0045]对所述重叠区域中的前景区域进行阴影消除处理；
[0046]基于所述重叠区域中所述背景区域以及经过阴影消除处理的所述前景区域的能量值，获得所述更新后接缝。
[0047]进一步的，所述接缝比对模块还用于获取初始拼接接缝以及下一时刻的多个后续帧对应的拼接结果图像的拼接接缝的接缝像素；
[0048]所述接缝比对模块还用于比对所述初始拼接接缝以及所述拼接接缝的接缝像素。
[0049]具体的，所述图像拼接模块包括第一区域识别模块、第二区域识别模块以及区域整合模块：
[0050]所述第一区域识别模块用于基于Vibe算法，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于接缝查找优化技术的视频拼接方法，其特征在于，所述方法包括以下步骤：提取多个初始帧进行图像拼接，获得初始拼接结果图像以及初始拼接接缝，并保存对应的拼接参数作为拼接模板；接收下一时刻的多个后续帧，基于所述拼接模板进行图像拼接，获得对应的拼接结果图像；将拼接结果图像对应的拼接接缝与初始拼接接缝比对；若比对不一致，则发起接缝更新流程，获得下一时刻的多个后续帧对应的更新后接缝，并基于对应的所述更新后接缝进行图像拼接，输出对应的接缝优化后拼接结果图像；若比对一致，则输出对应的拼接结果图像；其中，所述接缝更新流程包括以下步骤：获得下一时刻的多个后续帧之间的重叠区域；检测获得所述重叠区域中的前景区域以及背景区域；对所述重叠区域中的前景区域进行阴影消除处理；基于所述重叠区域中所述背景区域以及经过阴影消除处理的所述前景区域的能量值，获得所述更新后接缝。2.如权利要求1所述的基于接缝查找优化技术的视频拼接方法，其特征在于，所述将拼接结果图像对应的拼接接缝与初始拼接接缝比对中，包括以下步骤：获取初始拼接接缝以及下一时刻的多个后续帧对应的拼接结果图像的拼接接缝的接缝像素；比对所述初始拼接接缝以及所述拼接接缝的接缝像素。3.如权利要求1所述的基于接缝查找优化技术的视频拼接方法，其特征在于，所述检测获得所述重叠区域中的前景区域以及背景区域中，包括以下步骤：基于Vibe算法，识别所述重叠区域，获得第一前景区域以及第一背景区域；基于三帧差分法，识别所述重叠区域，获得第二前景区域以及第二背景区域；基于所述第一前景区域以及第二前景区域，获得所述重叠区域中的前景区域；基于所述第一背景区域以及第二背景区域，获得所述重叠区域中的背景区域。4.如权利要求1所述的基于接缝查找优化技术的视频拼接方法，其特征在于，所述基于所述重叠区域中所述背景区域以及经过阴影消除处理的所述前景区域的能量值，获得所述更新后接缝中，包括以下步骤：基于预设的能量函数，计算获得所述重叠区域中所述背景区域以及经过阴影消除处理的所述前景区域的能量值；基于所述重叠区域中所述背景区域以及经过阴影消除处理的所述前景区域的能量值的能量值，对所述重叠区域中像素点进行区域标记；基于标记后的像素点，获得所述更新后接缝。5.如权利要求4所述的基于接缝查找优化技术的视频拼接方法，其特征在于，所述基于标记后的像素点，获得所述更新后接缝中，包括以下步骤：基于所述重叠区域中的像素点，将第一行每一列分别初始化为一条预选接缝；针对各预选接缝按照预设拓展规则，逐行扩展直至最后一行，累计各预选接缝的中像素点的能量值总值；
比较各预选接缝的中像素点的能量值总值，所述能量值总值的最小值对应的所述预选接缝为所述更新后接缝；其中，预设拓展规则当前像素点基于下一行中紧邻的三个像素点，寻找路径，且避开前景区域对应的像素点，直至最后一行。6.一种基于接缝查找优化技术的视频拼接装置，其特征在于，所述装置包括：图像拼接模块，其用于提...

【专利技术属性】
技术研发人员：刘李漫，劳喜鑫，韩逸飞，田金山，谌先敢，
申请(专利权)人：中南民族大学，
类型：发明
国别省市：