检测视频抖动的方法技术

本公开公开了一种检测视频抖动的方法

【技术实现步骤摘要】
检测视频抖动的方法、装置、电子设备和可读存储介质


[0001]本公开属于视频处理领域，具体涉及一种检测视频抖动的方法
、
装置
、
电子设备和可读存储介质
。

技术介绍

[0002]近年来随着各种视频技术的发展和推广，用户的视频创作需求日益增长
。
由于拍摄经验不成熟或设备质量导致拍摄的视频中存在抖动，影响视频质量
。
[0003]相关方案通过密集帧采样对特征点进行检测跟踪或通过光流，估计摄像头运动轨迹，再通过评估运动轨迹来判断一段视频序列是否存在抖动
。
其中检测准确率依赖于特征点匹配的效果，但特征点匹配受多种因素影响，往往很难达到良好的效果，导致目前视频抖动的检测准确率不高
。

技术实现思路

[0004]本公开实施例的目的是提供一种检测视频抖动的方法
、
装置
、
电子设备和可读存储介质，能够解决视频抖动的检测准确率不高的问题
。
[0005]为了解决上述技术问题，本公开是这样实现的：
[0006]第一方面，本公开实施例提供了一种检测视频抖动的方法，所述方法包括：提取视频序列中多个视频帧的光学色彩图；提取所述多个视频帧的光流图；根据所述多个视频帧的光学色彩图和光流图，确定前后至少两帧图像中的关键点运动信息；根据所述前后至少两帧图像中的关键点运动信息，判断视频是否存在抖动
。
[0007]第二方面，本公开实施例提供了一种检测视频抖动的装置，所述装置包括：第一提取模块，用于提取视频序列中多个视频帧的光学三原色光学色彩图；第二提取模块，提取所述多个视频帧的光流图；确定模块，用于根据所述多个视频帧的光学色彩图和光流图，确定前后至少两帧图像中的关键点运动信息；判断模块，用于根据所述前后至少两帧图像中的关键点运动信息，判断视频是否存在抖动
。
[0008]第三方面，本公开实施例提供了一种电子设备，该电子设备包括处理器
、
存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤
。
[0009]第四方面，本公开实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤
。
[0010]第五方面，本公开实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法
。
[0011]本公开实施例通过提取视频序列中多个视频帧的光学色彩图；提取所述多个视频帧的光流图；根据所述多个视频帧的光学色彩图和光流图，确定前后至少两帧图像中的关键点运动信息；根据所述前后至少两帧图像中的关键点运动信息，判断视频是否存在抖动，
能够结合光学色彩图和光流图进行检测，避免了逐帧计算稠密点的大量计算，并且基于关键点运动信息进行抖动判断，提高视频抖动检测的准确性
。
附图说明
[0012]图1是本公开实施例提供的一种检测视频抖动的方法的示意性流程图；
[0013]图2是本公开实施例提供的一种检测视频抖动的方法的示意性流程图；
[0014]图3是本公开实施例提供的一种检测视频抖动的方法的示意性流程图；
[0015]图4是本公开实施例提供的一种检测视频抖动的方法的示意性流程图；
[0016]图5是本公开实施例提供的一种检测视频抖动的装置的结构示意图；
[0017]图6是本公开实施例提供的一种电子设备的结构示意图
。
具体实施方式
[0018]下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例
。
基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围
。
[0019]本公开的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序
。
应该理解这样使用的数据在适当情况下可以互换，以便本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施
。
此外，说明书以及权利要求中“和
/
或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系
。
[0020]下面结合附图，通过具体的实施例及其应用场景对本公开实施例提供的检测视频抖动的方法进行详细地说明
。
[0021]图1是本公开实施例提供的一种检测视频抖动的方法的示意性流程图，该方法可以由终端设备和
/
或服务器执行，换言之，该方法可以由安装在终端设备和
/
或服务器的软件或硬件来执行，该方法包括如下步骤：
[0022]S102
：提取视频序列中多个视频帧的光学色彩图
。
[0023]光学色彩图为以预定色彩空间模型编码的光学图像，预定色彩空间模型可以包括
RGB
色彩空间模型
、YUV
色彩空间模型或十六进制色彩空间模型等
。
具体的，光学色彩图可以包括三原色
(Red Green Blue,RGB)
图，
RGB
分别代表红色
(Red)、
绿色
(Green)、
蓝色
(Blue)
，三种颜色通道合在一起可以还原视频帧中存在的各种颜色
。
光学色彩图还可以包括
YUV
图，其中“Y”表示明亮度
(Luminance)
，也就是灰阶值；而“U”和“V”表示的则是色度
(Chrominance)
，用于描述影像色彩及饱和度
。
[0024]S104
：提取所述多个视频帧的光流图
。
[0025]当物体运动时，图像上对应点的亮度模式也在运动，光流图能够展示这种图像亮度模式的运动，由此，可以基于对光流图的分析，恢复图像亮度模式的运动，而图像亮度模式的运动包括视频中发生的抖动
。
[0026]S106
：根据所述多个视频帧的光学色彩图和光流图，确定前后至少两帧图像中的关键点运动信息
。
[0027]将光学色彩图和光流图这两者输入预定模型，并通过预定模型输出前后至少两帧图像中的关键点运动信息
。
其中的“前后”包括按照制作视频时获取到图像帧的顺序，先获取的图像帧为“前”，后获取的图像帧为“后”，该前后至少两帧图像可以为连续获取的前后至少两帧，即该前后至少两帧相邻，也可以为非连续获取的前后至少两帧，即该前后本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种检测视频抖动的方法，其特征在于，所述方法包括：提取视频序列中多个视频帧的光学色彩图；提取所述多个视频帧的光流图；根据所述多个视频帧的光学色彩图和光流图，确定前后至少两帧图像中的关键点运动信息；根据所述前后至少两帧图像中的关键点运动信息，判断视频是否存在抖动
。2.
根据权利要求1所述的方法，其特征在于，所述根据所述前后至少两帧图像中的关键点运动信息，判断视频是否存在抖动，包括：确定所述多个视频帧中前景运动信息；从所述前后至少两帧图像中的关键点运动信息中，剔除所述前景运动信息，以确定背景运动信息；根据所述背景运动信息，判断视频是否存在抖动
。3.
根据权利要求2所述的方法，其特征在于，所述确定所述多个视频帧中前景运动信息，包括：将所述前后至少两帧图像中的关键点运动信息，输入目标卷积神经网络，其中，所述目标卷积神经网络的样本集中包含前景运动信息与背景运动信息之间的对应关系；通过所述目标卷积神经网络输出所述关键点运动信息是否为前景运动信息的判断结果；根据所述判断结果，确定所述多个视频帧中前景运动信息
。4.
根据权利要求2所述的方法，其特征在于，所述根据所述前后至少两帧图像中的关键点运动信息，判断视频是否存在抖动，包括：确定所述多个视频帧中背景深度信息；从所述背景运动信息中，剔除所述背景深度信息，以确定背景运动轨迹信息；根据所述背景运动轨迹信息，判断视频是否存在抖动
。5.
根据权利要求4所述的方法，其特征在于，所述确定所述多个视频帧中背景深度信息，包括：在至少一个所述视频帧中，划分多个网格；基于至少一个所述网格内的关键点运动信息，通过滤波处理以确定所述网格的预定点运动信息；根据所述预定点运动信息，确定所述背景深度信息
。6.
根据权利要求1所述的方法，其特征在于，所述根据所述前后至少两帧图像中的关键点运动信息，判断视频是否存在抖动，包括：将所述前后至少两帧图像中的关键点运动信息，输入目标卷积神经网络；通过所述目标卷积神经网络的全连接层，判断所述视频是否存在抖动；其中，所述目标卷积神经网络包括多层结构，并所述前后至少两帧图像中的关键点运动信息经过所述多层结构中的至少两层，所述至少两层中包括所述全连接层
。7.
根据权利要求1所述的方法，其特征在于，所述提取所述多个视频帧的光流图，包括：基于目标光流估计网络，通过图像分辨率由低到高的顺序，来估计所述多个视频帧的光流；
通过较低图像分辨率的视频帧对应的第一光流信息，确定较高图像分辨率的视频帧对应的第二光流信息；根据所述第一光流信息和所述第二光流信息，确定所述多个视频帧的光流图
。8.
根据权利要求7所述的方法，其特征在于，所述目标光流估计网络的训练期间按时间顺序划分为前期
、
稳定期和后期，所述稳定期内所述目标光流估计网络的学习率高于所述前期内所述目标光流估计网络的学习率，所述稳定期内所述目标光流估计网络的学习率高于所述后期内所述目标光流估计网络的学习率
。9.
一种检测视频抖动的装置，其特征在于，所述装置包括：第一提取模块，用于提取视频序列中多个视频帧的光学三原色光学色彩图；第二提取模块，提取所述多个视频帧的光流图；确定...

【专利技术属性】
技术研发人员：陈敏杰，万明阳，马国俊，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：