一种视频插帧处理方法技术

本发明专利技术涉及图像处理技术领域，具体涉及一种视频插帧处理方法，通过先将原视频的两帧图像进行简单地相似度对比，判断两帧画面之间的是否存在大比例像素变化的情况，从而确定背景有无变化，如果不存在画面大比例像素变化，则采用现有的光流法补帧；如果存在的话，则利用提取变化前和变化后的边界，将原图像的边界推向变化后的边界，并从中提取出多张插帧图像，从而对两帧图像之间进行补帧，由于不需要采集光流信息，同时不需要对画面中的运动物体进行识别，因此计算量较小，且可运用范围广泛。

【技术实现步骤摘要】
一种视频插帧处理方法
本专利技术涉及图像处理
，具体是一种视频插帧处理方法。
技术介绍
在网络状况不理想的情况下，用户为保证视频画面质量往往需要对视频进行主动降帧，视频数据以较低码率进行传输，使得视频高分辨率与高帧率不能同时满足，影响视频的观看效果，因此需要对视频进行插帧，以保证视频清晰流畅播放。现有技术中视频插帧技术通常需要对场景中的物体进行运动估计，并利用运动补偿算法将物体插入生成帧的正确位置，因此插帧效果很大程度依赖于运动估计与补偿的好坏，现有的运动补偿算法中的运动捕捉一般采用光流算法实现，但是现有的光流算法的对于视频中背景变化与运动物体同时存在时，处理效果较差。
技术实现思路
有鉴于此，本专利技术的目的是提供一种视频插帧处理方法，能够在存在光暗变化的复杂场景中对运动物体进行有效地补偿。本专利技术的一种视频插帧处理方法，包括步骤S1，从视频文件中提取其中两帧在时间轴上相邻的图像A和B，将图像A和图像B进行二值化处理，获得图像A和图像B中各个像素的灰度值，其中图像A在时间轴上早于图像B；S2，以图像A和图像B的左下角的一个像素为原点分别建立二维坐标X-Y和X’-Y’，将图像A和图像B的相同坐标的像素进行灰度的差值运算，将获得的差值的绝对值组成一个差值灰度图像；S3，对差值灰度图像内的利用差值产生的虚拟像素进行灰度值统计：S31，如果灰度值大于灰度阈值α的虚拟像素的占比小于阈值n，则直接采用光流法对原图像A和图像B进行运动补偿并进行插帧；S32，如果灰度值大于灰度阈值α的虚拟像素的占比大于阈值n，则进行如下步骤进行补帧；S321，从差值灰度图像中标记出所有灰度值大于灰度阈值β的虚拟像素，并提取出虚拟像素的坐标，并将该坐标还原至图像A中的对应像素A(x,y)，将图像B中对应坐标的像素B(x’,y’)的灰度值作为目标值gray2标注至像素A(x,y)中，而像素A(x,y)原本的灰度值则作为初始值gray1，得到图像A中标注后的像素为A[(x,y)，gray1-gray2]；S322，在图像A中根据灰度值提取出物体的第一边界，同时在图像A中提取出被标注的所有像素的第二边界；S323，如果第一边界与第二边界相交，则第一边界与第二边界重合部分的图像的边界中属于第一边界的部分为保持边界，第一边界的其余部分为运动边界；第一边界与第二边界重合部分的图像的边界中属于第二边界的部分为运动边界，第二边界的其他部分为保持边界；S3231，提取出第二边界所围成的多个图形，并提取出各个图形的质心，质心的坐标为A0(x0,y0)，位于运动边界上的所有的被标记像素开始在单位时间内的灰度值从初始值gray1变为目标值gray2，出现新的运动边界后位于新的运动边界上的像素同样在单位时间内的灰度值从初始值gray1变为目标值gray2，持续时间为t，此时保留变化后的图像，作为第一插帧图像A1，并还原图像的RGB值；S3232，提取出运动后的新的第二边界围成的各个图形的质心，重复多次步骤S3231，保留变化后的多个图像作为多个插帧图像A2-An；S4，将从步骤S3中获取的插帧图像插入至图像A和图像B之间进行补帧。进一步地，所述灰度阈值的范围在0-10之间。进一步地，所述阈值n应大于80％。进一步地，所述步骤S3231中运动边界的像素点在边界线上距离所述保持边界越近，变化时间越长。进一步地，所述步骤S323中，如果第一边界和第二边界不相交，则将第一边界进行模糊化处理，并将第一边界内的像素的灰度值在时间T内线性地从初始值gray1变为目标值gray2，并在对应的时间节点内截取处插帧图像。本专利技术的有益效果是：本专利技术的一种视频插帧处理方法，通过先将原视频的两帧图像进行简单地相似度对比，判断两帧画面之间的是否存在大比例像素变化的情况，从而确定背景有无变化，如果不存在画面大比例像素变化，则采用现有的光流法补帧；如果存在的话，则利用提取变化前和变化后的边界，将原图像的边界推向变化后的边界，并从中提取出多张插帧图像，从而对两帧图像之间进行补帧，由于不需要采集光流信息，同时不需要对画面中的运动物体进行识别，因此计算量较小，且可运用范围广泛。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。图1为本专利技术的方法流程示意图；图2为本专利技术的原图像的示意图；图3为本专利技术的插帧图像的生成示意图。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。如图1-图3所示：本实施例的一种视频插帧处理方法，包括步骤：S1，从视频文件中提取其中两帧在时间轴上相邻的图像A和B，将图像A和图像B进行二值化处理，获得图像A和图像B中各个像素的灰度值，其中图像A在时间轴上早于图像B，图像A和图像B由RGB值转化为灰度值参照公式：gray＝R*0.3+G*0.59+B*0.11，转化为灰度后可以有效减少计算量，提高计算效率。S2，以图像A和图像B的左下角的一个像素为原点分别建立二维坐标X-Y和X’-Y’，将图像A和图像B的相同坐标的像素进行灰度的差值运算，将获得的差值的绝对值组成一个差值灰度图像，此步骤的目的是获取图像A和图像B之间的差异，如果具有较大差异则说明背景与运动物体均发生了较大的变化，在这种情况下采用光流法进行补帧一般来说效果不佳。S3，对差值灰度图像内的利用差值产生的虚拟像素进行灰度值统计，虚拟像素用于反应图像A变化到图像B时哪些像素发生了变化，且虚拟像素的灰度值反应变化幅度。S31，如果灰度值大于灰度阈值α的虚拟像素的占比小于阈值n，则直接采用光流法对原图像A和图像B进行运动补偿并进行插帧，灰度阈值的范围在0-10之间，由于在一些情况下，图像在同一个背景下移动时也会产生差值，因此需要一定的阈值来包容图像背景移动的情况，同时，阈值n应大于80％，即80％的像素的灰度值变化在0-10之间。S32，如果灰度值大于灰度阈值α的虚拟像素的占比大于阈值n，则进行如下步骤进行补帧。S321，从差值灰度图像中标记出所有灰度值大于灰度阈值β的虚拟像素，并提取出虚拟像素的坐标，并将该坐标还原至图像A中本文档来自技高网...

【技术保护点】
1.一种视频插帧处理方法，其特征在于：包括步骤/nS1，从视频文件中提取其中两帧在时间轴上相邻的图像A和B，将图像A和图像B进行二值化处理，获得图像A和图像B中各个像素的灰度值，其中图像A在时间轴上早于图像B；/nS2，以图像A和图像B的左下角的一个像素为原点分别建立二维坐标X-Y和X’-Y’，将图像A和图像B的相同坐标的像素进行灰度的差值运算，将获得的差值的绝对值组成一个差值灰度图像；/nS3，对差值灰度图像内的利用差值产生的虚拟像素进行灰度值统计：/nS31，如果灰度值大于灰度阈值α的虚拟像素的占比小于阈值n，则直接采用光流法对原图像A和图像B进行运动补偿并进行插帧；/nS32，如果灰度值大于灰度阈值α的虚拟像素的占比大于阈值n，则进行如下步骤进行补帧；/nS321，从差值灰度图像中标记出所有灰度值大于灰度阈值β的虚拟像素，并提取出虚拟像素的坐标，并将该坐标还原至图像A中的对应像素A(x,y)，将图像B中对应坐标的像素B(x’,y’)的灰度值作为目标值gray2标注至像素A(x,y)中，而像素A(x,y)原本的灰度值则作为初始值gray1，得到图像A中标注后的像素为A[(x,y)，gray1-gray2]；/nS322，在图像A中根据灰度值提取出物体的第一边界，同时在图像A中提取出被标注的所有像素的第二边界；/nS323，如果第一边界与第二边界相交，则第一边界与第二边界重合部分的图像的边界中属于第一边界的部分为保持边界，第一边界的其余部分为运动边界；第一边界与第二边界重合部分的图像的边界中属于第二边界的部分为运动边界，第二边界的其他部分为保持边界；/nS3231，提取出第二边界所围成的多个图形，并提取出各个图形的质心，质心的坐标为A0(x0,y0)，位于运动边界上的所有的被标记像素开始在单位时间内的灰度值从初始值gray1变为目标值gray2，出现新的运动边界后位于新的运动边界上的像素同样在单位时间内的灰度值从初始值gray1变为目标值gray2，持续时间为t，此时保留变化后的图像，作为第一插帧图像A1，并还原图像的RGB值；/nS3232，提取出运动后的新的第二边界围成的各个图形的质心，重复多次步骤S3231，保留变化后的多个图像作为多个插帧图像A2-An；/nS4，将从步骤S3中获取的插帧图像插入至图像A和图像B之间进行补帧。/n...

【技术特征摘要】
1.一种视频插帧处理方法，其特征在于：包括步骤
S1，从视频文件中提取其中两帧在时间轴上相邻的图像A和B，将图像A和图像B进行二值化处理，获得图像A和图像B中各个像素的灰度值，其中图像A在时间轴上早于图像B；
S2，以图像A和图像B的左下角的一个像素为原点分别建立二维坐标X-Y和X’-Y’，将图像A和图像B的相同坐标的像素进行灰度的差值运算，将获得的差值的绝对值组成一个差值灰度图像；
S3，对差值灰度图像内的利用差值产生的虚拟像素进行灰度值统计：
S31，如果灰度值大于灰度阈值α的虚拟像素的占比小于阈值n，则直接采用光流法对原图像A和图像B进行运动补偿并进行插帧；
S32，如果灰度值大于灰度阈值α的虚拟像素的占比大于阈值n，则进行如下步骤进行补帧；
S321，从差值灰度图像中标记出所有灰度值大于灰度阈值β的虚拟像素，并提取出虚拟像素的坐标，并将该坐标还原至图像A中的对应像素A(x,y)，将图像B中对应坐标的像素B(x’,y’)的灰度值作为目标值gray2标注至像素A(x,y)中，而像素A(x,y)原本的灰度值则作为初始值gray1，得到图像A中标注后的像素为A[(x,y)，gray1-gray2]；
S322，在图像A中根据灰度值提取出物体的第一边界，同时在图像A中提取出被标注的所有像素的第二边界；
S323，如果第一边界与第二边界相交，则第一边界与第二边界重合部分的图像的边界中属于第一边界的部分为保持边界，第一边界的其余部分为运动边界；第一边界与第二边界重合部分的图像...

【专利技术属性】
技术研发人员：龙图景，刘政伟，
申请(专利权)人：北京凯视达信息技术有限公司，
类型：发明
国别省市：北京;11