多源异构视频的内容帧提取方法技术

本申请公开了一种多源异构视频的内容帧提取方法

【技术实现步骤摘要】
多源异构视频的内容帧提取方法、装置、设备及存储介质


[0001]本专利技术涉及视频处理
，具体而言，涉及一种多源异构视频的内容帧提取方法
、
装置
、
设备及存储介质
。

技术介绍

[0002]随着互联网中视频的爆发增长，视频内容出现了多种多样的形式，分析视频内容不再局限在整帧图像，例如画中画视频
、
局部图像有效的手机视频，黑边视频，整帧图像中局部区域也是完整的图像
。
对于大量的加工变形过的视频图像，无法通过现有算法进行分别提取整帧图像和局部图像的关键帧，分析计算过程中整帧图像和局部图像二者相互干扰，无法提取正确的关键帧
。
[0003]且现有技术中，常见方案用关键帧来表示镜头的内容，关键帧是视频压缩技术中的概念，对视频帧进行编码时，将视频帧分为多个视频帧组，每一组有
n
个视频帧，一个视频帧组只有一个关键帧，一般为视频帧组中的第一帧，其它帧是由关键帧
I
计算出来的向后预测帧
P
或双向预测帧
B。
有些图像内容是在预测帧中出现的，而没有出现在关键帧里
。
因此，现有技术中提取的关键帧难以完整表达镜头的内容
。

技术实现思路

[0004]本专利技术实施例提供了一种多源异构视频的内容帧提取方法
、
装置
、
设备及存储介质，以至少解决相关技术中整帧图像和局部图像二者相互干扰，无法提取正确的关键帧的技术问题
。
[0005]根据本专利技术实施例的一个方面，提供了一种多源异构视频的内容帧提取方法，包括：对待处理的原始视频进行解帧，得到原始帧序列；检测所述原始帧序列中是否存在处理痕迹，在所述原始帧序列中存在处理痕迹时，提取包含处理痕迹的图像中的局部目标图像，得到局部帧序列；分别对所述原始帧序列和所述局部帧序列进行镜头分割，得到原始镜头序列和局部镜头序列；对每个原始镜头提取内容帧，得到原始内容帧序列；对每个局部镜头提取内容帧，得到局部内容帧序列；其中，所述内容帧是指表示镜头内容的帧，包括首帧
、
尾帧
、
和
N
个中间帧，
N
为自然数，所述中间帧通过对一个镜头的除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当所述差异率大于预设阈值时得到
。
[0006]根据本专利技术实施例的另一方面，还提供了一种多源异构视频的内容帧提取装置，包括：解帧模块，用于对待处理的原始视频进行解帧，得到原始帧序列；局部图像提取模块，用于检测所述原始帧序列中是否存在处理痕迹，在所述原始帧序列中存在处理痕迹时，提取包含处理痕迹的图像中的局部目标图像，得到局部帧序列；镜头分割模块，用于分别对所述原始帧序列和所述局部帧序列进行镜头分割，得到原始镜头序列和局部镜头序列；内容帧提取模块，用于对每个原始镜头提取内容帧，得到原始内容帧序列；对每个局部镜头提取内容帧，得到局部内容帧序列；其中，所述内容帧是指表示镜头内容的帧，包括首帧
、
尾帧
、
和
N
个中间帧，
N
为自然数，所述中间帧通过对一个镜头的除首尾两帧之外的所有子帧顺序
与其前一个内容帧进行差异率计算，当所述差异率大于预设阈值时得到
。
[0007]根据本专利技术实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的多源异构视频的内容帧提取方法
。
[0008]根据本专利技术实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述多源异构视频的内容帧提取方法
。
[0009]本申请实施例提供的技术方案可以包括以下有益效果：本申请实施例提供的多源异构视频的内容帧提取方法，对于待处理的原始视频，一方面提取原始视频的内容帧序列，一方面在所述原始帧序列中存在处理痕迹时，提取包含处理痕迹的图像中的局部目标图像，得到局部帧序列，提取局部帧序列的内容帧
。
通过对整帧图像和局部图像分别提取分析，可以避免整帧图像和局部图像二者之间相互干扰，降低了加工变形对图像内容分析的干扰，提高了内容帧提取的准确率，使来自不同文件，且内容存在多种变化的视频图像可以进行相似性比对，为图像内容关联分析提供了前提条件
。
且本申请的内容帧不同于现有技术中的关键帧，虽然只选取了部分视频图像帧作为内容帧，但是能完整的表达镜头的所有内容，解决了现有技术中的关键帧无法完整表示镜头内容的问题
。
附图说明
[0010]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定
。
在附图中：图1是根据本专利技术实施例的一种可选的多源异构视频的内容帧提取方法的应用环境的示意图；图2是根据本专利技术实施例的另一种可选的多源异构视频的内容帧提取方法的应用环境的示意图；图3是根据本专利技术实施例的一种可选的多源异构视频的内容帧提取方法的流程图；图4是根据本专利技术实施例的一种可选的内容帧序列的示意图；图5是根据本专利技术实施例的一种内容帧提取的示意图；图6是根据本专利技术实施例的一种多源异构视频的比对示意图；图7是根据本专利技术实施例的一种画中画图像的示意图；图8是根据本专利技术实施例的一种加框图像的示意图；图9是根据本专利技术实施例的一种黑边图像的示意图；图
10
是根据本专利技术实施例的一种局部图像有效的手机视频图像的示意图；图
11
是根据本专利技术实施例的一种多源异构视频内容帧提取过程示意图；图
12
是根据本专利技术实施例的一种多源异构视频的内容帧提取系统架构示意图；图
13
是根据本专利技术实施例的一种可选的多源异构视频的内容帧提取装置的结构示意图；图
14
是根据本专利技术实施例的一种可选的电子设备的结构示意图
。
具体实施方式
[0011]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例
。
基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围
。
[0012]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序
。
应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施...

【技术保护点】

【技术特征摘要】
1.
一种多源异构视频的内容帧提取方法，其特征在于，包括：对待处理的原始视频进行解帧，得到原始帧序列；检测所述原始帧序列中是否存在处理痕迹，在所述原始帧序列中存在处理痕迹时，提取包含处理痕迹的图像中的局部目标图像，得到局部帧序列；分别对所述原始帧序列和所述局部帧序列进行镜头分割，得到原始镜头序列和局部镜头序列；对每个原始镜头提取内容帧，得到原始内容帧序列；对每个局部镜头提取内容帧，得到局部内容帧序列；其中，所述内容帧是指表示镜头内容的帧，包括首帧
、
尾帧
、
和
N
个中间帧，
N
为自然数，所述中间帧通过对一个镜头的除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当所述差异率大于预设阈值时得到
。2.
根据权利要求1所述的方法，其特征在于，分别对所述原始帧序列和所述局部帧序列进行镜头分割之前，还包括：分别对所述原始帧序列和所述局部帧序列进行归一化处理，得到归一化后的原始帧序列和归一化后的局部帧序列
。3.
根据权利要求2所述的方法，其特征在于，分别对所述原始帧序列和所述局部帧序列进行归一化处理，包括：对所述原始帧序列的幅形比
、
分辨率以及色彩空间进行归一化，得到归一化后的原始帧序列；对所述局部帧序列的幅形比
、
分辨率以及色彩空间进行归一化，得到归一化后的局部帧序列
。4.
根据权利要求1所述的方法，其特征在于，检测所述原始帧序列中是否存在处理痕迹，在所述原始帧序列中存在处理痕迹时，提取包含处理痕迹的图像中的局部目标图像，包括：检测所述原始帧序列中的图像是否为画中画图像；在所述原始帧序列中的图像为所述画中画图像时，提取画中画窗口中的图像，将所述画中画窗口中的图像作为第一局部目标图像；提取所述画中画图像中的背景图像，将所述背景图像作为第二局部目标图像
。5.
根据权利要求1所述的方法，其特征在于，检测所述原始帧序列中是否存在处理痕迹，在所述原始帧序列中存在处理痕迹时，提取包含处理痕迹的图像中的局部目标图像，包括：检测所述原始帧序列中的图像是否为包含边框的图像；在所述原始帧序列中的图像为包含边框的图像...

【专利技术属性】
技术研发人员：汪昭辰，刘世章，
申请(专利权)人：青岛尘元科技信息有限公司，
类型：发明
国别省市：