视频深度特征提取优化的方法、系统、设备及存储介质技术方案

本发明专利技术公开了视频深度特征提取优化的方法、系统、设备及存储介质，涉及计算机机器视觉技术领域，用以解决现有技术对复杂场景的视频不够鲁棒的问题。方法包括：获取视频无效帧种子；构建无效特征底库；更新无效特征底库，以及获取视频有效特征集合根据更新后的无效特征底库和视频有效特征集合训练帧有效性二分判别模型；利用帧有效性二分判别模型提取视频有效特征。系统包括：获取视频无效帧种子单元、构建无效特征底库单元、更新单元、训练单元和提取视频有效特征单元。本发明专利技术是在特征向量空间而不是在原始视频帧的时空域去做筛选，能够针对性地去优化复杂场景的视频。对性地去优化复杂场景的视频。对性地去优化复杂场景的视频。

【技术实现步骤摘要】
视频深度特征提取优化的方法、系统、设备及存储介质


[0001]本专利技术涉及计算机机器视觉
，特别涉及基于特征空间筛选的视频深度特征提取优化方法、系统、设备及存储介质。

技术介绍

[0002]视频可以看成是时间上连续的视频帧(图像)序列，在实际编码过程中，为了消除帧与帧之间的冗余信息，常会采用关键帧加上帧间差分的形式只存取必要的内容以便降低存储的压力。视频为了更有层次地表达人物故事情节，往往会有意通过空镜头形成黑色或白色等纯色帧、或者过渡帧完成场景的过渡和转换。在实际的检测或者检索应用中，视频需要通过解码出来的视频帧序列进行后续的进一步处理。视频本身解码形成的视频帧序列存在大量冗余的信息，特别是一些运动信息不丰富的视频，帧间的差距非常小，我们直接剔除掉这些冗余帧，对视频的后续处理影响非常小。除此之外，一些纯色帧以及过渡帧这些没有特定涵义的帧不仅会造成计算资源的浪费，而且还会影响到后续的检索等视觉处理任务，这些帧我们称之为无效帧。基于视觉的深度学习特征提取方法目前普遍建立在卷积神经网络(Convolutional Neural Networ本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频深度特征提取优化的方法，其特征在于，包括下列步骤：S1、获取视频无效帧种子；S2、构建无效特征底库；S3、更新所述的无效特征底库，以及获取视频有效特征集合；S4、根据更新后的所述无效特征底库和所述视频有效特征集合训练帧有效性二分判别模型；S5、利用所述的帧有效性二分判别模型提取视频有效特征。2.如权利要求1所述的视频深度特征提取优化的方法，其特征在于，步骤S5中还包括：以提取的所述视频有效特征更新所述的视频有效特征集合；以及，利用所述的帧有效性二分判别模型提取无效特征，以所述提取的无效特征更新所述的无效特征底库。3.如权利要求1所述的视频深度特征提取优化的方法，其特征在于，步骤S5之后还包括步骤：S6、从所述的视频有效特征集合中筛除视频冗余特征，得到有效关键特征集合。4.如权利要求3所述的视频深度特征提取优化的方法，其特征在于，步骤S6之后还包括步骤：S7、根据任务设定相应的阈值，对所述的有效关键特征集合进行优化。5.如权利要求1所述的视频深度特征提取优化的方法，其特征在于，步骤S1中所述的获取视频无效帧种子，具体是获取视频中的单色视频帧、全局模糊的视频帧、单一纹理视频帧，或者单一场景视频帧。6.如权利要求5所述的视频深度特征提取优化的方法，其特征在于，所述获取视频中的单色视频帧，无参考图像集时具体包括：将I
rgb
转换为I
gray
；颜色均匀性指标通过如下K
‑
L散度公式计算：设定U
thresh
，如果Uniformity(I
gray
||μ
gray
)≤U
thresh
，则判定为单色视频帧并将其获取；其中，I
rgb
表示原始视频帧、I
gray
表示灰度图像、hist(I
gray
)表示视频帧的归一化灰度直方图，B表示直方图的桶数，hist(μ
gray
)表示对应灰度均值均匀分布、U
thresh
表示单色视频帧的K
‑
L散度阈值。7.如权利要求5所述的视频深度特征提取优化的方法，其特征在于，所述获取视频中的单色视频帧，有参考图像集时具体包括：计算所述参考图像集中各参考视频帧的归一化灰度直方图；按灰度降序排序；计算灰度在前x％桶内累计分布的定积分数值作为颜色均匀性阈值，筛选单色视频帧并将其获取，计算公式如下：其中，I
gray
表示灰度图像、hist(I
gray
)表示视频帧的归一化灰度直方图、x表示设定的百分比数值。
8.如权利要求5所述的视频深度特征提取优化的方法，其特征在于，所述获取视频中的全局模糊的视频帧，具体包括：将I
rgb
转换为I
gray
；通过锐度对原始视频帧进行选择，所述的锐度通过如下公式计算：设定S
thresh
，如果Sharpness(I
gray
)≤S
thresh
，则判定为全局模糊的视频帧并将其获取；其中，I
rgb
表示原始视频帧、I
gray
表示灰度图像、S
thresh
表示锐度阈值、Δ
x
和Δ
y
表示所述锐度的两个正交方向上的灰度梯度。9.如权利要求5所述的视频深度特征提取优化的方法，其特征在于，所述获取视频中的单一纹理视频帧，通过模拟生成具体包括：将原始视频帧或截取原始视频帧的一部分，通过平移、旋转或/和缩放进行变换，将变换后的图像放入单色图像中形成所述的单一纹理视频帧。10.如权利要求5所述的视频深度特征提取优化的方法，其特征在于，所述获取视频中的单一纹理视频帧，通过梯度分布直方图阈值筛选，包括：将I
rgb
转换为I
gray
；以I
gray
的任一轴为旋转轴，记旋转角度为a∈[0，180)，则方向梯度的均值为：方向梯度的方差为：锐度为：如果Sharpness(I
gray
)≥S
thresh
并且δ2(ΔI
gray
)≤δ
2thresh
，判定为单一纹理视频帧并将其获取；其中，I
rgb
表示原始视频帧、I
gray
表示灰度图像、S
thresh
表示锐度阈值、δ
2thresh
表示方向梯度方差阈值、Δ
x
和Δ
y
表示所述锐度的两个正交方向上的灰度梯度。11.如权利要求10所述的视频深度特征提取优化的方法，其特征在于：将原始视频帧或截取原始视频帧的一部分，通过平移、旋转或/和缩放进行变换，将变换后的图像放入单色图像中；通过公式4和公式5计算所述含有变换后图像的单色图像，得到所述δ2(ΔI
gray
)；通过公式6计算所述含有变...

【专利技术属性】
技术研发人员：游强，王坚，李兵，余昊楠，胡卫明，
申请(专利权)人：人民中科济南智能技术有限公司，
类型：发明
国别省市：