一种基于缓存帧的电子稳像未填充区域的去除方法技术

本发明专利技术涉及图像处理技术领域，具体是一种基于缓存帧的电子稳像未填充区域的去除方法，包括以下操作步骤：对原始视频或视频流的数据逐帧进行稳像计算，计算当前帧的图像映射矩阵，对该帧数据使用映射矩阵进行映射，并以一定系数放大映射后的图像，获得该帧的稳像图像；检查该帧是否存在黑边，若不存在黑边，则该帧作为稳像图像；若存在黑边，则计算消除黑边所需的映射矩阵，并使用该映射矩阵将黑边消除，作为该帧缓存稳像图像，并将该映射矩阵按照预定的分配原则分配到该帧之前稳像图像中；逐帧计算时，当前帧之前的稳像图像为最终稳像图像，可用于显示或存储；本发明专利技术能够有效的消除视频中的黑边现象，进而为生成稳定的视频画面。面。面。

【技术实现步骤摘要】
一种基于缓存帧的电子稳像未填充区域的去除方法


[0001]本专利技术涉及图像处理
，具体是一种基于缓存帧的电子稳像未填充区域的去除方法。

技术介绍

[0002]在视频拍摄的过程中，由于摄像设备的抖动，往往会导致拍摄的视频在成像是出现画面不连贯、不稳定等情况。于是，为了解决这一问题，相关领域的技术人员开发了一种图像算法使视频稳定，即电子稳像。
[0003]电子稳像的基本原理是对相机的位置、姿态、路径进行平滑，再将图像重新映射到平滑后的路径并投射在相机的成像平面上，从而去除相机运动、颠簸等导致的图像不稳定的现象。但无论如何映射，原始图像并非在平滑路径上获得的，转换到平滑后的路径上的图像，必然存在视场角的差异，这个差异就导致了电子稳像后的输出图像经常出现未填充区域，通常称为黑边。未填充区域的产生主要是由于相机的成像平面上有部分区域没有出现拍摄的画面，进而导致在成像时，该区域为黑色。
[0004]目前常用的去黑边方法是：利用当前帧的临近帧，构建全景图像，以全景数据补全未填充区域并拼接到当前帧上；尽管该方法可以消除黑边，但是在无三维数据支撑的前提下，该方法无法做到无缝拼接，进而导致其拼接区域存在误差。因此，在实际的使用过程中，由于该方法无法提供可靠有效的图像数据，导致产生的画面依旧存在少量的黑边，极大的影响了观感。

技术实现思路

[0005]为了避免和克服现有技术中存在的技术问题，本专利技术提供了一种基于缓存帧的电子稳像未填充区域的去除方法。本专利技术能够有效的消除视频中的黑边现象，进而为生成稳定的视频画面。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种基于缓存帧的电子稳像未填充区域的去除方法，包括以下操作步骤：S1、对原始视频或原始视频流中的各帧原始图像进行放大处理，并将放大后的原始图像记为放大图像；计算各帧放大图像的映射矩阵，并使用对应的映射矩阵对各帧放大图像进行映射，以获得对应的稳像图像；S2、使用各帧稳像图像替换原始视频或原始视频流中对应的各帧原始图像，以形成稳像视频或稳像视频流；S3、逐帧播放稳像视频或稳像视频流，并同时依次超前判断各帧稳像图像是否存在黑边；若不存在黑边，则保存该稳像视频；若存在黑边，则进入步骤S4；S4、黑边出现在位于当前播放帧之后的最新检测帧中，对该最新检测帧的稳像图像进行旋转和平移处理；处理完成后，获取位于成像平面内的图像，并用该图像替代更新该帧稳像图像；同时将该处理过程中的旋转和平移分配到位于该最新检测帧和当前播放帧之
间的各帧稳像图像中，以更新对应的稳像图像；S5、按步骤S3
‑
S4的操作流程依次检测稳像视频或稳像视频流中所有的稳像图像，检测完成后形成最终稳像视频。
[0007]作为本专利技术再进一步的方案：步骤S1的具体步骤如下：S11、首先使用摄像设备拍摄，形成原始视频或原始视频流；接着对原始视频或原始视频流进行逐帧分析，以获得K帧原始图像；S12、以原始图像的中心点为放大原点，分别将对应的各帧原始图像放大B倍；S13、将放大后的原始图像记为放大图像；S14、以成像平面的中心点为坐标原点建立平面图像坐标系O
C
‑
X
C
Y
C
，X
C
轴水平布置，Y
C
轴铅垂布置；S15、以放大图像的中心点为旋转原点，分别将对应的各帧放大图像旋转预定的旋转角度A；S16、使旋转后的各帧放大图像分别沿着X
C
轴移动，并产生横向位移T
x
；S17、接着使各帧已经沿着X
C
轴移动后的放大图像再沿着Y
C
轴移动，产生纵向位移T
y
，并形成对应的映射矩阵，映射矩阵表示如下：
[0008]其中，F为映射矩阵；A为放大图像的旋转角度；T
x
为放大图像的横向位移；T
y
为放大图像的纵向位移；MAP表示使用T
x
、T
y
和A计算映射矩阵F的过程；S18、在每一帧放大图像经过步骤S14
‑
S17的操作后，同步获取成像平面内的图像，并将该图像记为稳像图像。
[0009]作为本专利技术再进一步的方案：步骤S2的具体步骤如下：S21、使用生成的各帧稳像图像替换原始视频或原始视频流中的各帧原始图像，以形成新的原始视频或原始视频流；S22、将步骤S22中新的原始视频或原始视频流记为稳像视频或稳像视频流。
[0010]作为本专利技术再进一步的方案：步骤S3的具体步骤如下：S31、对稳像视频或稳像视频流进行逐帧播放，播放的同时按预定帧数差依次提前通过检测条件检测各帧稳像图像是否存在黑边；检测条件表述如下：放大图像横向位移的最大值小于放大图像和成像平面之间的宽度差，且同时放大图像纵向位移的最大值小于放大图像和成像平面之间的长度差；S32、若稳像视频或稳像视频流中各帧稳像图像对应的放大图像均满足检测条件，则该稳像视频或稳像视频流的各帧稳像图像中不存在黑边，则保存该稳像视频或稳像视频流；若稳像视频或稳像视频流中各帧稳像图像对应的放大图像并不全部满足检测条件，则稳像视频或稳像视频流中有稳像图像存在黑边；S33、对稳像视频或稳像视频流中存在黑边的当前最新帧采取对应的处理方式。
[0011]作为本专利技术再进一步的方案：所述检测条件对应的表达式为：
[0012]其中，Abs为取绝对值函数；sin为正弦函数；T
x,max
为放大图像横向位移的最大值；T
y,max
为放大图像纵向位移的最大值；A
max
为放大图像旋转角度的最大值；H为成像平面的宽度；W为成像平面的长度；B为原始图像放大的倍数。
[0013]作为本专利技术再进一步的方案：放大图像的旋转角度A、横向位移T
x
和纵向位移T
y
的取值范围如下：
[0014]其中，T
x
为横向位移；T
y
为纵向位移；A为旋转角度；T
x,max
为横向位移的最大值；T
y,max
为纵向位移的最大值；A
max
为旋转角度的最大值。
[0015]作为本专利技术再进一步的方案：步骤S4的具体步骤如下：S41、在稳像视频播放的过程中，检测到存在黑边的最新检测帧位于当前播放帧之后，对该最新检测帧的稳像图像对应的已经旋转和平移过的放大图像按步骤S15
‑
S18进行再次旋转和平移处理，并产生满足检测条件的放大图像横向位移的最大值T
x,max
、纵向位移的最大值T
y,max
、旋转角度的最大值A
max
和该最新检测帧对应的新的稳像图像；S42、将步骤S42中最新检测帧对应的新的帧稳像图像处理过程中产生的T
x,max
、T
y,max
和A
max
按基本单元依次分配到该最新检本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于缓存帧的电子稳像未填充区域的去除方法，其特征在于，包括以下操作步骤：S1、对原始视频或原始视频流中的各帧原始图像进行放大处理，并将放大后的原始图像记为放大图像；计算各帧放大图像的映射矩阵，并使用对应的映射矩阵对各帧放大图像进行映射，以获得对应的稳像图像；S2、使用各帧稳像图像替换原始视频或原始视频流中对应的各帧原始图像，以形成稳像视频或稳像视频流；S3、逐帧播放稳像视频或稳像视频流，并同时依次超前判断各帧稳像图像是否存在黑边；若不存在黑边，则保存该稳像视频；若存在黑边，则进入步骤S4；S4、黑边出现在位于当前播放帧之后的最新检测帧中，对该最新检测帧的稳像图像进行旋转和平移处理；处理完成后，获取位于成像平面内的图像，并用该图像替代更新该帧稳像图像；同时将该处理过程中的旋转和平移分配到位于该最新检测帧和当前播放帧之间的各帧稳像图像中，以更新对应的稳像图像；S5、按步骤S3
‑
S4的操作流程依次检测稳像视频或稳像视频流中所有的稳像图像，检测完成后形成最终稳像视频。2.根据权利要求1所述的一种基于缓存帧的电子稳像未填充区域的去除方法，其特征在于，步骤S1的具体步骤如下：S11、首先使用摄像设备拍摄，形成原始视频或原始视频流；接着对原始视频或原始视频流进行逐帧分析，以获得K帧原始图像；S12、以原始图像的中心点为放大原点，分别将对应的各帧原始图像放大B倍；S13、将放大后的原始图像记为放大图像；S14、以成像平面的中心点为坐标原点建立平面图像坐标系O
C
‑
X
C
Y
C
，X
C
轴水平布置，Y
C
轴铅垂布置；S15、以放大图像的中心点为旋转原点，分别将对应的各帧放大图像旋转预定的旋转角度A；S16、使旋转后的各帧放大图像分别沿着X
C
轴移动，并产生横向位移T
x
；S17、接着使各帧已经沿着X
C
轴移动后的放大图像再沿着Y
C
轴移动，产生纵向位移T
y
，并形成对应的映射矩阵，映射矩阵表示如下： 其中，F为映射矩阵；A为放大图像的旋转角度；T
x
为放大图像的横向位移；T
y
为放大图像的纵向位移；MAP表示使用T
x
、T
y
和A计算映射矩阵F的过程；S18、在每一帧放大图像经过步骤S14
‑
S17的操作后，同步获取成像平面内的图像，并将该图像记为稳像图像。3.根据权利要求2所述的一种基于缓存帧的电子稳像未填充区域的去除方法，其特征在于，步骤S2的具体步骤如下：S21、使用生成的各帧稳像图像替换原始视频或原始视频流中的各帧原始图像，以形成新的原始视频或原始视频流；S22、将步骤S22中新的原始视频或原始视频流记为稳像视频或稳像视频流。4.根据权利要求3所述的一种基于缓存帧的电子稳像未填充区域的去除方法，其特征
在于，步骤S3的具体步骤如下：S31、对稳像视频或稳像视频流进行逐帧播放，播放的同时按预定帧数差依次提前通过检测条件检测各帧稳像图像是否存在黑边；检测条件表述如下：放大图像横向位移的最大值小于放大图像和成像平面之间的宽度差，且同时放大图像纵向位移的最大值小于放大图像和成像平面之间的长度差；S32、若稳像视频或稳像视频流中各帧稳像图像对应的放大图像...

【专利技术属性】
技术研发人员：万森，高东奇，朱前进，耿良苑，荚智华，汪凯，
申请(专利权)人：安徽科大擎天科技有限公司，
类型：发明
国别省市：