用于提取视频关键帧的方法、装置及控制器制造方法及图纸

本发明专利技术公开了一种用于提取视频关键帧的方法、装置及控制器。该方法包括：获取在时间上依次相邻的第一视频帧、第二视频帧和目标视频帧；分别对第一视频帧和第二视频帧以及第二视频帧和目标视频帧进行差值处理以得到第一相邻差值图和第二相邻差值图；确定目标视频帧与第二视频帧的相似度；根据第一相邻差值图和第二相邻差值图判断目标视频帧是否包含运动；在目标视频帧包含运动且相似度小于第一设定值的情况下，确定目标视频帧为前景关键帧；在目标视频帧不包含运动且相似度小于第二设定值的情况下，确定目标视频帧为背景关键帧，结合抽帧处理策略，可以保证本帧在一定冗余的情况下，提高选取关键帧的效率与质量。提高选取关键帧的效率与质量。提高选取关键帧的效率与质量。

【技术实现步骤摘要】
用于提取视频关键帧的方法、装置及控制器


[0001]本专利技术涉及混凝土搅拌站智能监控
，具体地，涉及一种用于提取视频关键帧的方法、装置及控制器。

技术介绍

[0002]在混凝土领域中，需要对搅拌站进、卸料口对齐视频数据进行关键帧的提取。目前，针对固定视角的运动场景视频关键帧的选取策略是基于抽帧处理，即间隔一定时间选取一张视频帧作为关键帧。现有技术的抽帧处理无法区分前景视频帧和背景视频帧，导致后续需要花费大量人力进行前景视频帧和背景视频帧的区分，抽帧处理对样本间的差异性进行定量描述，容易遗漏高质量的关键帧，难以做到样本质量与样本数量的平衡，最终导致选取的关键帧质量较低。

技术实现思路

[0003]本专利技术的目的是提供一种用于提取视频关键帧的方法、装置及控制器，用以解决现有技术的抽帧质量较低的问题。
[0004]为了实现上述目的，本专利技术第一方面提供一种用于提取视频关键帧的方法，该方法包括：
[0005]获取在时间上依次相邻的第一视频帧、第二视频帧和第三视频帧；
[0006]将第三视频帧确定为目标视频帧；
[0007]对第一视频帧和第二视频帧进行差值处理以得到第一相邻差值图；
[0008]对第二视频帧和目标视频帧进行差值处理以得到第二相邻差值图；
[0009]确定目标视频帧与第二视频帧的相似度；
[0010]根据第一相邻差值图和第二相邻差值图判断目标视频帧是否包含运动；
[0011]在目标视频帧包含运动且相似度小于第一设定值的情况下，确定目标视频帧为前景关键帧；
[0012]在目标视频帧不包含运动且相似度小于第二设定值的情况下，确定目标视频帧为背景关键帧。
[0013]在本专利技术的实施例中，该方法还包括：
[0014]分别对第一视频帧、第二视频帧和目标视频帧进行图像滤波；
[0015]分别对滤波后的第一视频帧、第二视频帧和目标视频帧进行图像锐化。
[0016]在本专利技术的实施例中，根据第一相邻差值图和第二相邻差值图判断目标视频帧是否包含运动包括：
[0017]分别对第一相邻差值图和第二相邻差值图进行二值化处理；
[0018]分别对二值化处理后的第一相邻差值图和第二相邻差值图进行形态学处理；
[0019]对形态学处理后的第一相邻差值图和第二相邻差值图进行与运算并滤除小面积连通区域以得到二值运动图像；
[0020]将二值运动图像中孤立的连通区域聚合成目标连通区域，并求出目标连通区域的外接矩形；
[0021]根据外接矩形的面积与目标视频帧的图像面积的比值判断目标视频帧是否包含运动。
[0022]在本专利技术的实施例中，分别对二值化处理后的第一相邻差值图和第二相邻差值图进行形态学处理包括：
[0023]分别对二值化处理后的第一相邻差值图和第二相邻差值图进行腐蚀处理和膨胀处理。
[0024]在本专利技术的实施例中，根据外接矩形的面积与目标视频帧的图像面积的比值判断目标视频帧是否包含运动包括：
[0025]计算外接矩形的面积与目标视频帧的图像面积的比值；
[0026]在外接矩形的面积与目标视频帧的图像面积的比值大于设定阈值的情况下，确定目标视频帧包含运动；
[0027]在外接矩形的面积与目标视频帧的图像面积的比值不大于设定阈值的情况下，确定目标视频帧不包含运动。
[0028]在本专利技术的实施例中，确定目标视频帧与第二视频帧的相似度包括：
[0029]利用结构相似性算法计算目标视频帧与第二视频帧的相似度。
[0030]在本专利技术的实施例中，相似度满足以下公式：
[0031][0032]c1＝(k1L)2；
[0033]c2＝(k2L)2；
[0034]其中，SSIM(x,y)为目标视频帧和第二视频帧的相似度；x和y分别为目标视频帧和第二视频帧；μ
x
和μ
y
分别为目标视频帧和第二视频帧的图像灰度矩阵的平均值；σ
x2
和σ
y2
分别为目标视频帧和第二视频帧的图像灰度矩阵的方差值；σ
xy
为目标视频帧和第二视频帧的图像灰度矩阵的协方差；c1和c2为用来维持稳定的常数；L为像素值的动态范围；k1＝0.01；k2＝0.03。
[0035]在本专利技术的实施例中，该方法还包括：
[0036]计算目标视频帧的帧号；
[0037]判断目标视频帧的帧号是否满足抽帧规则；
[0038]在目标视频帧包含运动且满足抽帧规则的情况下，判定目标视频帧为前景关键帧；
[0039]在目标视频帧不包含运动且满足抽帧规则的情况下，判定目标视频帧为背景关键帧。
[0040]本专利技术第二方面提供一种控制器，被配置成执行上述的用于提取视频关键帧的方法。
[0041]本专利技术第三方面提供一种用于提取视频关键帧的装置，该装置包括：
[0042]视频采集模块，用于采集固定视角的运动场景视频；
[0043]上述的控制器。
[0044]本专利技术第四方面提供一种混凝土机械设备，包括上述的用于提取视频关键帧的装置。
[0045]通过上述技术方案，抽取三张时间上依次相邻的视频帧，判断目标视频帧是否包含运动以及目标视频帧与相邻视频帧的相似度，从而在抽帧的同时能够区分前景关键帧和背景关键帧，不需要后续花费大量人力进行区分，结合抽帧处理策略，可以保证本帧在一定冗余的情况下，提高了选取关键帧的效率与质量。
[0046]本专利技术的其它特征和优点将在随后的具体实施例部分予以详细说明。
附图说明
[0047]附图是用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与下面的具体实施例一起用于解释本专利技术，但并不构成对本专利技术的限制。在附图中：
[0048]图1是本专利技术一实施例提供的一种用于提取视频关键帧的方法的流程示意图；
[0049]图2是本专利技术实施例提供的一种用于判断目标视频帧是否包含运动的方法的流程示意图；
[0050]图3是本专利技术另一实施例提供的一种用于提取视频关键帧的方法的流程示意图；
[0051]图4是本专利技术实施例提供的控制器的结构框图；
[0052]图5是本专利技术实施例提供的一种用于提取视频关键帧的装置的结构示意图。
具体实施方式
[0053]以下结合附图对本专利技术的具体实施例进行详细说明。应当理解的是，此处所描述的具体实施例仅用于说明和解释本专利技术，并不用于限制本专利技术。
[0054]需要说明，若本专利技术实施例中有涉及方向性指示(诸如上、下、左、右、前、后
……
)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
[0055]另外，若本专利技术实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于提取视频关键帧的方法，其特征在于，所述方法包括：获取在时间上依次相邻的第一视频帧、第二视频帧和第三视频帧；将所述第三视频帧确定为目标视频帧；对所述第一视频帧和所述第二视频帧进行差值处理以得到第一相邻差值图；对所述第二视频帧和所述目标视频帧进行差值处理以得到第二相邻差值图；确定所述目标视频帧与所述第二视频帧的相似度；根据所述第一相邻差值图和所述第二相邻差值图判断所述目标视频帧是否包含运动；在所述目标视频帧包含运动且所述相似度小于第一设定值的情况下，确定所述目标视频帧为前景关键帧；在所述目标视频帧不包含运动且所述相似度小于第二设定值的情况下，确定所述目标视频帧为背景关键帧。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：分别对所述第一视频帧、所述第二视频帧和所述目标视频帧进行图像滤波；分别对滤波后的所述第一视频帧、所述第二视频帧和所述目标视频帧进行图像锐化。3.根据权利要求1所述的方法，其特征在于，所述根据所述第一相邻差值图和所述第二相邻差值图判断所述目标视频帧是否包含运动包括：分别对所述第一相邻差值图和所述第二相邻差值图进行二值化处理；分别对二值化处理后的所述第一相邻差值图和所述第二相邻差值图进行形态学处理；对形态学处理后的所述第一相邻差值图和所述第二相邻差值图进行与运算并滤除小面积连通区域以得到二值运动图像；将所述二值运动图像中孤立的连通区域聚合成目标连通区域，并求出所述目标连通区域的外接矩形；根据所述外接矩形的面积与所述目标视频帧的图像面积的比值判断所述目标视频帧是否包含运动。4.根据权利要求3所述的方法，其特征在于，所述分别对二值化处理后的所述第一相邻差值图和所述第二相邻差值图进行形态学处理包括：分别对所述二值化处理后的所述第一相邻差值图和所述第二相邻差值图进行腐蚀处理和膨胀处理。5.根据权利要求3所述的方法，其特征在于，所述根据所述外接矩形的面积与所述目标视频帧的图像面积的比值判断所述目标视频帧是否包含运动包括：计算所述外接矩形的面...

【专利技术属性】
技术研发人员：向超前，黄跃峰，廖超，虢彦，张保华，
申请(专利权)人：中联重科股份有限公司，
类型：发明
国别省市：