一种关键视频帧抽取方法、装置和存储介质制造方法及图纸

本发明专利技术提出了一种视频关键帧抽取方法、装置和存储介质，用以减少视频处理过程中的冗余信息，提高视频处理速度。所述视频关键帧抽取方法，包括：从待分析视频中提取I帧；针对提取的每一I帧，利用深度哈希网络确定其对应的深度哈希码，所述深度哈希网络为利用预先生成的图像样本对进行训练得到的；根据各I帧对应的深度哈希码，分别确定两两I帧深度哈希码之间的汉明距离；根据两两I帧深度哈希码之间的汉明距离，对提取的I帧进行聚类；针对每一聚类，分别确定该聚类中包含的每一I帧的信息熵；从每一聚类中，提取信息熵最大的I帧组成所述待分析视频的关键帧。

A key video frame extraction method, device and storage medium

【技术实现步骤摘要】
一种关键视频帧抽取方法、装置和存储介质
本专利技术涉及计算机视觉
，尤其涉及一种关键视频帧抽取方法、装置和存储介质。
技术介绍
在基于内容的视频标引和检索系统中，通常需要对大量视频进行处理。而视频是由连续的视频帧构成的，一段相邻的视频帧往往具有相同的语义信息，这些帧对于分析视频内容来说是冗余的，如果逐帧处理会带来巨大的计算量和噪声。通过分析确定视频中最具代表性的帧，从低层的感知描述到高层的语义描述，即可获得视频在每个含义层上的要点。因此，抽取视频关键帧是视频分析的关键步骤之一。传统的视频关键帧抽取技术通常采用提取视频的I帧，I帧又称帧内编码帧，是一种自带全部信息的独立帧，无需参考其他图像便可独立进行解码，可以简单理解为一张静态画面。然而，如果视频中发生的动作形变较小，同样会发生I帧相近的现象，这种基于帧间形变的抽取技术有时很难抽取到体现视频内容差异性的视频关键帧。由此可见，如何抽取关键视频帧，减少视频处理过程中的冗余信息，提高视频处理速度成为现有技术中亟待解决的技术问题之一。
技术实现思路
本专利技术要解决的技术问题是减少视频处理过程中的冗余信息，提高视频处理速度，提供一种视频关键帧抽取方法、装置和存储介质。本专利技术采用的技术方案是提供一种视频关键帧抽取方法，所述视频关键帧抽取方法，包括：从待分析视频中提取I帧；针对提取的每一I帧，利用深度哈希网络确定其对应的深度哈希码，所述深度哈希网络为利用预先生成的图像样本对进行训练得到的；根据各I帧对应的深度哈希码，分别确定两两I帧深度哈希码之间的汉明距离；根据两两I帧之间深度哈希码的汉明距离，对提取的I帧进行聚类；针对每一聚类，分别确定该聚类中包含的每一I帧的信息熵；从每一聚类中，提取信息熵最大的I帧组成所述待分析视频的关键帧。在一种可能的实施方式中，按照以下方法生成所述图像样本对：获取图像样本，所述图像样本包括若干类别，每一类别包括若干图像；针对每一类别包含的每一图像进行图像变换操作得到其对应的转换图像；针对每一图像，确定该图像与其对应的任一转换图像组成图像正样本对；确定该图像与其他类别中的任一图像或者该图像与其他类别图像对应的任一转换图像组成负图像样本对。在一种可能的实施方式中，所述深度哈希网络包括特征学习网络和哈希函数学习网络，所述特征学习网络包括3个卷积层和1个全连接层，其中，每一卷积层后连接最大值池化层和Relu激活函数，第二个最大池池化层后连接局部响应归一化层；所述深度哈希网络利用L2范数作为正则项。在一种可能的实施方式中，利用预先生成的图像样本对按照以下流程进行训练得到所述深度哈希网络：针对提取的每一I帧，将所述图像样本对输入所述特征学习网络中获得图像特征；将获得的图像特征输入所述哈希函数学习网络中得到所述图像样本对中每一图像样本对应的类二进制编码；根据所述图像样本对中每一图像样本所对应的类二进制编码，利用预先定义的损失函数确定本次训练损失；根据本次训练损失调整网络参数重新训练，直至深度哈希网络收敛。在一种可能的实施方式中，利用深度哈希网络确定其对应的深度哈希码，具体包括：利用深度哈希网络将所述I帧转换为类二进制编码；将所述类二进制编码进行二值化处理得到所述I帧对应的深度哈希码。在一种可能的实施方式中，根据两两I帧深度哈希码之间的汉明距离，对提取的I帧进行聚类，具体包括：初始确定每一I帧为一个聚类；针对每两个聚类，确定第一个聚类和第二个聚类中包含的I帧深度哈希码的平均汉明距离；合并平均汉明距离最小的两个聚类；返回执行针对每两个聚类，确定第一个聚类和第二个聚类中包含的I帧深度哈希码的平均汉明距离的步骤，直至聚类数量达到预设的目标聚类数量。本专利技术还提供一种视频关键帧抽取装置，包括：第一提取单元，用于从待分析视频中提取I帧作为I帧；第一确定单元，用于针对提取的每一I帧，利用深度哈希网络确定其对应的深度哈希码，所述深度哈希网络为利用预先生成的图像样本对进行训练得到的；第二确定单元，用于根据各I帧对应的深度哈希码，分别确定两两I帧深度哈希码之间的汉明距离；聚类单元，用于根据两两I帧深度哈希码之间的汉明距离，对提取的I帧进行聚类；第三确定单元，用于针对每一聚类，分别确定该聚类中包含的每一I帧的信息熵；第二提取单元，用于从每一聚类中，提取信息熵最大的I帧组成所述待分析视频的关键帧。在一种可能的实施方式中，本专利技术实施例提供的视频关键帧提取装置，还包括：获取单元，用于获取图像样本，所述图像样本包括若干类别，每一类别包括若干图像；图像变换单元，用于针对每一类别包含的每一图像进行图像变换操作得到其对应的转换图像；第四确定单元，用于针对每一图像，确定该图像与其对应的任一转换图像组成图像正样本对；确定该图像与其他类别中的任一图像或者该图像与其他类别图像对应的任一转换图像组成负图像样本对。在一种可能的实施方式中，所述深度哈希网络包括特征学习网络和哈希函数学习网络，所述特征学习网络包括3个卷积层和1个全连接层，其中，每一卷积层后连接最大值池化层和Relu激活函数，第二个最大池化层后连接局部响应归一化层；所述深度哈希网络利用L2范数作为正则项。在一种可能的实施方式中，本专利技术实施例提供的视频关键帧提取装置，还包括：第一输入单元，用于将所述图像样本对输入所述特征学习网络中获得图像特征；第二输入单元，用于将获得的图像特征输入所述哈希函数学习网络中得到所述图像样本对中每一图像样本对应的类二进制编码；第五确定单元，用于根据所述图像样本对中每一图像样本所对应的类二进制编码，利用预先定义的损失函数确定本次训练损失；调整单元，用于根据本次训练损失调整网络参数重新训练，直至深度哈希网络收敛。在一种可能的实施方式中，所述第一确定单元，具体用于针对提取的每一I帧，利用深度哈希网络将所述I帧转换为类二进制编码；将所述类二进制编码进行二值化处理得到所述I帧对应的深度哈希码。在一种可能的实施方式中，所述聚类单元，具体用于确定每一I帧为一个聚类；针对每两个聚类，确定第一个聚类和第二个聚类中包含的I帧深度哈希码的平均汉明距离；合并平均汉明距离最小的两个聚类；返回执行针对每两个聚类，确定第一个聚类和第二个聚类中包含的I帧深度哈希码的平均汉明距离的步骤，直至聚类数量达到预设的目标聚类数量。本专利技术还提供一种视频处理装置，所述视频处理装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述任一视频关键帧抽取方法的步骤。本专利技术还提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一视频关键帧抽取方法的步骤。采用上述技术方案，本专利技术至少具有下列优点：本专利技术所本文档来自技高网...

【技术保护点】
1.一种视频关键帧抽取方法，其特征在于，包括：/n从待分析视频中提取I帧；/n针对提取的每一I帧，利用深度哈希网络确定其对应的深度哈希码，所述深度哈希网络为利用预先生成的图像样本对进行训练得到的；/n根据各I帧对应的深度哈希码，分别确定两两I帧深度哈希码之间的汉明距离；/n根据两两I帧深度哈希码之间的汉明距离，对提取的I帧进行聚类；/n针对每一聚类，分别确定该聚类中包含的每一I帧的信息熵；/n从每一聚类中，提取信息熵最大的I帧组成所述待分析视频的关键帧。/n

【技术特征摘要】
1.一种视频关键帧抽取方法，其特征在于，包括：
从待分析视频中提取I帧；
针对提取的每一I帧，利用深度哈希网络确定其对应的深度哈希码，所述深度哈希网络为利用预先生成的图像样本对进行训练得到的；
根据各I帧对应的深度哈希码，分别确定两两I帧深度哈希码之间的汉明距离；
根据两两I帧深度哈希码之间的汉明距离，对提取的I帧进行聚类；
针对每一聚类，分别确定该聚类中包含的每一I帧的信息熵；
从每一聚类中，提取信息熵最大的I帧组成所述待分析视频的关键帧。


2.根据权利要求1所述的方法，其特征在于，按照以下方法生成所述图像样本对：
获取图像样本，所述图像样本包括若干类别，每一类别包括若干图像；
针对每一类别包含的每一图像进行图像变换操作得到其对应的转换图像；
针对每一图像，确定该图像与其对应的任一转换图像组成图像正样本对；
确定该图像与其他类别中的任一图像或者该图像与其他类别图像对应的任一转换图像组成图像负样本对。


3.根据权利要求1或2所述的方法，其特征在于，所述深度哈希网络包括特征学习网络和哈希函数学习网络，所述特征学习网络包括3个卷积层和1个全连接层，其中，每一卷积层后连接最大值池化层和Relu激活函数，第二个最大池化层后连接局部响应归一化层；所述深度哈希网络利用L2范数作为正则项。


4.根据权利要求3所述的方法，其特征在于，利用预先生成的图像样本对按照以下流程进行训练得到所述深度哈希网络：
将所述图像样本对输入所述特征学习网络中获得图像特征；
将获得的图像特征输入所述哈希函数学习网络中得到所述图像样本对中每一图像样本对应的类二进制编码；
根据所述图像样本对中每一图像样本所对应的类二进制编码，利用预先定义的损失函数确定本次训练损失；
根据本次训练损失调整网络参数重新训练，直至深度哈希网络收敛。


5.根据权利要求4所述的方法，其特征在于，针对提取的每一I帧，利用深度哈希网络确定其对应的深度哈希码，具体包括：
针对提取的每一I帧，利用深度哈希网络将所述I帧转换为类二进制编码；
将所述类二进制编码进行二值化处理得到所...

【专利技术属性】
技术研发人员：段运强，井雅琪，原春锋，时磊，李扬曦，胡燕林，郭承禹，张翠，佟玲玲，段东圣，任博雅，谢程利，刘雨帆，张子琦，胡卫明，
申请(专利权)人：国家计算机网络与信息安全管理中心，
类型：发明
国别省市：北京;11