视频深度特征提取优化的方法、系统、设备及存储介质技术方案

本发明专利技术公开了视频深度特征提取优化的方法、系统、设备及存储介质，涉及计算机机器视觉技术领域，用以解决现有技术对复杂场景的视频不够鲁棒的问题。方法包括：获取视频无效帧种子；构建无效特征底库；更新无效特征底库，以及获取视频有效特征集合根据更新后的无效特征底库和视频有效特征集合训练帧有效性二分判别模型；利用帧有效性二分判别模型提取视频有效特征。系统包括：获取视频无效帧种子单元、构建无效特征底库单元、更新单元、训练单元和提取视频有效特征单元。本发明专利技术是在特征向量空间而不是在原始视频帧的时空域去做筛选，能够针对性地去优化复杂场景的视频。对性地去优化复杂场景的视频。对性地去优化复杂场景的视频。

【技术实现步骤摘要】
视频深度特征提取优化的方法、系统、设备及存储介质


[0001]本专利技术涉及计算机机器视觉
，特别涉及基于特征空间筛选的视频深度特征提取优化方法、系统、设备及存储介质。

技术介绍

[0002]视频可以看成是时间上连续的视频帧(图像)序列，在实际编码过程中，为了消除帧与帧之间的冗余信息，常会采用关键帧加上帧间差分的形式只存取必要的内容以便降低存储的压力。视频为了更有层次地表达人物故事情节，往往会有意通过空镜头形成黑色或白色等纯色帧、或者过渡帧完成场景的过渡和转换。在实际的检测或者检索应用中，视频需要通过解码出来的视频帧序列进行后续的进一步处理。视频本身解码形成的视频帧序列存在大量冗余的信息，特别是一些运动信息不丰富的视频，帧间的差距非常小，我们直接剔除掉这些冗余帧，对视频的后续处理影响非常小。除此之外，一些纯色帧以及过渡帧这些没有特定涵义的帧不仅会造成计算资源的浪费，而且还会影响到后续的检索等视觉处理任务，这些帧我们称之为无效帧。基于视觉的深度学习特征提取方法目前普遍建立在卷积神经网络(Convolutional Neural Network,CNN)的基础之上。CNN以提取纹理特征为基础，这就决定了一些纹理信息不丰富或分布单一的图像提取的特征往往不能满足要求，某些涉及到检索的应用场景下，这些提取特征的引入会造成大规模的误匹配现象。其原因是CNN学到的底层特征是纹理的分布，随着深度越来越深，上层可以认为是图像的一个分布式的语义描述(Distributed Representation)。不同语义描述的图像往往在特征上表现为不同维度上的权重差异很大，在特征空间上相距甚远，而纹理信息不丰富的图像提取的特征可以看成了大量纹理丰富的图像特征叠加生成的，在特征空间上可能跟很多图像的特征都比较接近，所以有必要在执行这些视觉处理任务之前对所提取的特征进行筛选，除了提高性能以外，也方便提高视觉处理任务的效果。
[0003]目前对视频中无效帧和冗余帧的筛选往往定义在原始的时空域，通过视频片段分割到镜头、场景，最后到视频帧，判断依据都是在视频帧所在的时空域进行处理。对于无效帧的筛选，基于视频帧所表现出来的亮度、对比度以及模糊程度等表观统计量，进行无效帧的判断，然后直接进行筛选。对于冗余帧的筛选，基于镜头分割得到每一个镜头内的视频帧序列，对视频帧序列进行聚类或者直接计算均值，然后计算聚类中心或者均值差异较小程度，直接进行冗余帧的判定，然后基于判定的结果进行筛选。发现在原始的时空域进行视频帧的筛选会出现如下问题：
[0004]对复杂场景的视频不够鲁棒。只能根据预设的表观特征阈值进行无效帧和冗余帧的筛选，比如在一些运动信息较少的视频中设定的无效帧阈值参数应用到运动信息较多的视频中会造成大量的帧被判定为无效帧。运动信息较丰富的视频常常每一帧自身的画面比较模糊，而依赖于模糊表观建立的阈值，则会被大量地判定为无效帧。基于聚类中心或者均值得到的冗余帧的判定也极易受噪声的影响。
[0005]视频帧筛选的过程与后续的深度特征提取任务是两个相对独立的阶段，这就造成
前面筛选与后面的任务出现了一定程度的脱节的现象，即前面筛选掉的无效帧和冗余帧可能对后面基于深度特征提取的检索有帮助，而前面没有筛选掉的帧反而不能使后面检索高效运行。

技术实现思路

[0006]本专利技术提供了视频深度特征提取优化的方法、系统、设备及存储介质，用以解决现有技术对复杂场景的视频不够鲁棒的问题。
[0007]为达到上述目的，本专利技术提供以下技术方案：
[0008]第一部分，本专利技术实施例的一种视频深度特征提取优化的方法，包括下列步骤：S1、获取视频无效帧种子；S2、构建无效特征底库；S3、更新所述的无效特征底库，以及获取视频有效特征集合；S4、根据更新后的所述无效特征底库和所述视频有效特征集合训练帧有效性二分判别模型；S5、利用所述的帧有效性二分判别模型提取视频有效特征。
[0009]优选的，步骤S5中还包括：以提取的所述视频有效特征更新所述的视频有效特征集合；以及，利用所述的帧有效性二分判别模型提取无效特征，以所述提取的无效特征更新所述的无效特征底库。
[0010]优选的，步骤S5之后还包括步骤：S6、从所述的视频有效特征集合中筛除视频冗余特征，得到有效关键特征集合。
[0011]进一步的，步骤S6之后还包括步骤：S7、根据任务设定相应的阈值，对所述的有效关键特征集合进行优化。
[0012]优选的，步骤S1中所述的获取视频无效帧种子，具体是获取视频中的单色视频帧、全局模糊的视频帧、单一纹理视频帧，或者单一场景视频帧。
[0013]进一步的，所述获取视频中的单色视频帧，无参考图像集时具体包括：
[0014]将I
rgb
转换为I
gray
；
[0015]颜色均匀性指标通过如下K
‑
L散度公式计算：
[0016][0017]设定U
thresh
，如果Uniformity(I
gray
||μ
gray
)≤U
thresh
，则判定为单色视频帧并将其获取；
[0018]其中，I
rgb
表示原始视频帧、I
gray
表示灰度图像、hist(I
gray
)表示视频帧的归一化灰度直方图，B表示直方图的桶数，hist(μ
gray
)表示对应灰度均值均匀分布、U
thresh
表示单色视频帧的K
‑
L散度阈值。
[0019]进一步的，所述获取视频中的单色视频帧，有参考图像集时具体包括：计算所述参考图像集中各参考视频帧的归一化灰度直方图；按灰度降序排序；计算灰度在前x％桶内累计分布的定积分数值作为颜色均匀性阈值，筛选单色视频帧并将其获取，计算公式如下：
[0020][0021]其中，I
gray
表示灰度图像、hist(I
gray
)表示视频帧的归一化灰度直方图、x表示设定的百分比数值。
[0022]进一步的，所述获取视频中的全局模糊的视频帧，具体包括：将I
rgb
转换为I
gray
；通过锐度对原始视频帧进行选择，所述的锐度通过如下公式计算：
[0023][0024]设定S
thresh
，如果Sharpness(I
gray
)≤S
thresh
，则判定为全局模糊的视频帧并将其获取；
[0025]其中，I
rgb
表示原始视频帧、I
gray
表示灰度图像、S
thresh
表示锐度阈值、Δ
x
和Δ
y
表示所述锐度的两个正交方向上的灰度梯度。
[0026]进一步的，所述获取视频中的单一纹理视频帧，通过模拟生成具体包括：将原始视频帧或截取原本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频深度特征提取优化的方法，其特征在于，包括下列步骤：S1、获取视频无效帧种子；S2、构建无效特征底库；S3、更新所述的无效特征底库，以及获取视频有效特征集合；S4、根据更新后的所述无效特征底库和所述视频有效特征集合训练帧有效性二分判别模型；S5、利用所述的帧有效性二分判别模型提取视频有效特征。2.如权利要求1所述的视频深度特征提取优化的方法，其特征在于，步骤S5中还包括：以提取的所述视频有效特征更新所述的视频有效特征集合；以及，利用所述的帧有效性二分判别模型提取无效特征，以所述提取的无效特征更新所述的无效特征底库。3.如权利要求1所述的视频深度特征提取优化的方法，其特征在于，步骤S5之后还包括步骤：S6、从所述的视频有效特征集合中筛除视频冗余特征，得到有效关键特征集合。4.如权利要求3所述的视频深度特征提取优化的方法，其特征在于，步骤S6之后还包括步骤：S7、根据任务设定相应的阈值，对所述的有效关键特征集合进行优化。5.如权利要求1所述的视频深度特征提取优化的方法，其特征在于，步骤S1中所述的获取视频无效帧种子，具体是获取视频中的单色视频帧、全局模糊的视频帧、单一纹理视频帧，或者单一场景视频帧。6.如权利要求5所述的视频深度特征提取优化的方法，其特征在于，所述获取视频中的单色视频帧，无参考图像集时具体包括：将I
rgb
转换为I
gray
；颜色均匀性指标通过如下K
‑
L散度公式计算：设定U
thresh
，如果Uniformity(I
gray
||μ
gray
)≤U
thresh
，则判定为单色视频帧并将其获取；其中，I
rgb
表示原始视频帧、I
gray
表示灰度图像、hist(I
gray
)表示视频帧的归一化灰度直方图，B表示直方图的桶数，hist(μ
gray
)表示对应灰度均值均匀分布、U
thresh
表示单色视频帧的K
‑
L散度阈值。7.如权利要求5所述的视频深度特征提取优化的方法，其特征在于，所述获取视频中的单色视频帧，有参考图像集时具体包括：计算所述参考图像集中各参考视频帧的归一化灰度直方图；按灰度降序排序；计算灰度在前x％桶内累计分布的定积分数值作为颜色均匀性阈值，筛选单色视频帧并将其获取，计算公式如下：其中，I
gray
表示灰度图像、hist(I
gray
)表示视频帧的归一化灰度直方图、x表示设定的百分比数值。
8.如权利要求5所述的视频深度特征提取优化的方法，其特征在于，所述获取视频中的全局模糊的视频帧，具体包括：将I
rgb
转换为I
gray
；通过锐度对原始视频帧进行选择，所述的锐度通过如下公式计算：设定S
thresh
，如果Sharpness(I
gray
)≤S
thresh
，则判定为全局模糊的视频帧并将其获取；其中，I
rgb
表示原始视频帧、I
gray
表示灰度图像、S
thresh
表示锐度阈值、Δ
x
和Δ
y
表示所述锐度的两个正交方向上的灰度梯度。9.如权利要求5所述的视频深度特征提取优化的方法，其特征在于，所述获取视频中的单一纹理视频帧，通过模拟生成具体包括：将原始视频帧或截取原始视频帧的一部分，通过平移、旋转或/和缩放进行变换，将变换后的图像放入单色图像中形成所述的单一纹理视频帧。10.如权利要求5所述的视频深度特征提取优化的方法，其特征在于，所述获取视频中的单一纹理视频帧，通过梯度分布直方图阈值筛选，包括：将I
rgb
转换为I
gray
；以I
gray
的任一轴为旋转轴，记旋转角度为a∈[0，180)，则方向梯度的均值为：方向梯度的方差为：锐度为：如果Sharpness(I
gray
)≥S
thresh
并且δ2(ΔI
gray
)≤δ
2thresh
，判定为单一纹理视频帧并将其获取；其中，I
rgb
表示原始视频帧、I
gray
表示灰度图像、S
thresh
表示锐度阈值、δ
2thresh
表示方向梯度方差阈值、Δ
x
和Δ
y
表示所述锐度的两个正交方向上的灰度梯度。11.如权利要求10所述的视频深度特征提取优化的方法，其特征在于：将原始视频帧或截取原始视频帧的一部分，通过平移、旋转或/和缩放进行变换，将变换后的图像放入单色图像中；通过公式4和公式5计算所述含有变换后图像的单色图像，得到所述δ2(ΔI
gray
)；通过公式6计算所述含有变...

【专利技术属性】
技术研发人员：游强，王坚，李兵，余昊楠，胡卫明，
申请(专利权)人：人民中科济南智能技术有限公司，
类型：发明
国别省市：