一种关键帧的确定方法技术

本发明专利技术公开了一种关键帧的确定方法

【技术实现步骤摘要】
一种关键帧的确定方法、装置、电子设备以及存储介质


[0001]本专利技术涉及视频目标检测
，尤其涉及一种关键帧的确定方法
、
装置
、
电子设备以及存储介质
。

技术介绍

[0002]随着机器视觉技术的发展，视频目标检测技术在行人检测
、
车辆检测等方面发挥了重要的作用
。
视频目标检测通常使用高频率摄像机采集图像，导致获得的输入中存在大量图像帧，因此视频目标检测的重要任务之一是对大量图像进行快速处理
。
现有的视频目标检测为减少对冗余图像特征的提取，提升检测速度，通常是将视频中的图像帧划分为关键帧和非关键帧，对关键帧使用深层网络提取图像特征，对非关键帧使用浅层网络提取图像特征，并用关键帧提取得到的图像特征进行辅助
。
[0003]但是，由于视频目标检测中采用固定间隔选取关键帧的策略，当目标特征变化较大时，现有的视频目标检测策略无法对非关键帧的图像特征进行很好的描述，导致对非关键帧的目标检测准确率较低
。

技术实现思路

[0004]本专利技术提供了一种关键帧的确定方法
、
装置
、
电子设备以及存储介质，以实现自适应的选取关键帧，提高视频目标检测的检测性能
。
[0005]第一方面，本专利技术实施例提供了一种关键帧的确定方法，该方法包括
[0006]根据预先设置的至少一个候选框，确定当前帧图像的前一帧图像中的模板区域子图像和当前帧图像中的搜索区域子图像；
[0007]对所述模板区域子图像和所述搜索区域子图像进行特征提取，并根据提取得到的模板区域特征和搜索区域特征进行目标跟踪，得到目标跟踪结果；
[0008]若根据所述目标跟踪结果确定满足关键帧更新条件，则确定所述当前帧图像为关键帧图像
。
[0009]第二方面，本专利技术实施例还提供了一种关键帧的确定装置，该装置包括：
[0010]子图像确定模块，用于根据预先设置的至少一个候选框，确定当前帧图像的前一帧图像中的模板区域子图像和当前帧图像中的搜索区域子图像；
[0011]目标跟踪结果确定模块，用于对所述模板区域子图像和所述搜索区域子图像进行特征提取，并根据提取得到的模板区域特征和搜索区域特征进行目标跟踪，得到目标跟踪结果；
[0012]关键帧确定模块，用于若根据所述目标跟踪结果确定满足关键帧更新条件，则确定所述当前帧图像为关键帧图像
。
[0013]第三方面，本专利技术实施例还提供了一种电子设备，包括存储器
、
处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术实施例中任一所述的关键帧的确定方法
。
[0014]第四方面，本专利技术实施例还提供了一种存储计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本专利技术实施例中任一所述的关键帧的确定方法
。
[0015]本专利技术实施例的技术方案，通过候选框在当前帧图像和当前帧图像的前一帧图像中进行裁剪，得到搜索区域子图像和模板区域子图像，对两张子图像进行特征提取和目标跟踪，根据得到的目标跟踪结果，判断是否需要进行关键帧的更新，若是，则将当前帧图像作为关键帧图像
。
解决了现有技术中固定间隔选取关键帧的方式，在目标特征变化较大时，无法对非关键帧的图像特征进行很好的描述，从而导致对非关键帧的目标检测准确率较低的问题，实现了自适应的选取关键帧，提高了视频目标检测的检测性能
。
[0016]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围
。
本专利技术的其它特征将通过以下的说明书而变得容易理解
。
附图说明
[0017]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
[0018]图1是本专利技术实施例一提供的一种关键帧的确定方法的流程图；
[0019]图2是本专利技术实施例一提供的一种行人目标中心点在历史目标图像中的位置的统计结果示意图；
[0020]图3是本专利技术实施例一提供的一种行人目标中心点在历史目标图像不同横坐标位置的统计结果示意图；
[0021]图4是本专利技术实施例一提供的一种行人目标的位置横坐标和高度之间的关系的统计结果示意图；
[0022]图5是本专利技术实施例一提供的一种候选框的示意图；
[0023]图6是本专利技术实施例一提供的一种孪生跟踪网络模型的结构示意图；
[0024]图7是本专利技术实施例二提供的一种关键帧的确定方法的流程图；
[0025]图8是本专利技术实施例二提供的一种关键帧的特征提取网络的结构示意图；
[0026]图9是本专利技术实施例三提供的一种关键帧的确定装置的结构示意图；
[0027]图
10
是本专利技术实施例四提供的一种电子设备的结构示意图
。
具体实施方式
[0028]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例
。
基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围
。
[0029]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序
。
应该理解这样使用
的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施
。
此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程
、
方法
、
系统
、
产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程
、
方法
、
产品或设备固有的其它步骤或单元
。
[0030]实施例一
[0031]图1为本专利技术实施例一提供了一种关键帧的确定方法的流程图，本实施例可适用于在视频目标检测任务中自适应的选取关键帧的情况，该方法可以由关键帧的确定装置来执行，该关键帧的确定装置可以采用硬件和
/
或软件的形式实现，该关键帧的确定装置可配置于电子设备中，尤其是具有视频目标检测系统的电子设备中
。
[0032]如图1所示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种关键帧的确定方法，其特征在于，包括：根据预先设置的至少一个候选框，确定当前帧图像的前一帧图像中的模板区域子图像和当前帧图像中的搜索区域子图像；对所述模板区域子图像和所述搜索区域子图像进行特征提取，并根据提取得到的模板区域特征和搜索区域特征进行目标跟踪，得到目标跟踪结果；若根据所述目标跟踪结果确定满足关键帧更新条件，则确定所述当前帧图像为关键帧图像
。2.
根据权利要求1所述的方法，其特征在于，所述候选框的设置过程，包括：根据当前帧图像之前的前一关键帧图像中的目标位置，确定候选框；或者，确定历史目标图像集合；根据历史目标图像集合中的各历史目标图像的目标位置，确定候选框
。3.
根据权利要求1所述的方法，其特征在于，根据预先设置的至少一个候选框，确定当前帧图像的前一帧图像中的模板区域子图像和当前帧图像中的搜索区域子图像，包括：根据预先设置的至少一个候选框，对当前帧图像的前一帧图像进行裁剪，得到至少一个模板区域子图像；根据预先设置的至少一个候选框，确定与所述候选框匹配的搜索框，其中，所述搜索框的尺寸大于或者等于所述候选框；根据所述搜索框对当前帧图像进行裁剪，得到至少一个搜索区域子图像
。4.
根据权利要求1所述的方法，其特征在于，对所述模板区域子图像和所述搜索区域子图像进行特征提取，并根据提取得到的模板区域特征和搜索区域特征进行目标跟踪，得到目标跟踪结果，包括：将所述模板区域子图像和所述搜索区域子图像输入至孪生神经网络模型；通过所述孪生神经网络模型，对所述模板区域子图像进行特征提取，得到模板区域特征，以及，对所述搜索区域子图像进行特征提取，得到搜索区域特征；根据所述模板区域特征和所述搜索区域特征进行目标跟踪，在所述搜索区域子图像中确定与所述模板区域子图像匹配的跟踪区域图像，并确定所述模板区域子图像与所述跟踪区域图像的相似度
。5.
根据权利要求4所述的方法，其特征在于，根据所述目标跟踪结果确定满足关键帧更新条件，包括：若确定所述模板区域子图像与所述跟踪区域图像的相似度满足相似度下降条件，和
/
或，所述...

【专利技术属性】
技术研发人员：王宇凡，徐名源，邱璆，薛鸿，张达明，宋楠楠，
申请(专利权)人：一汽南京科技开发有限公司，
类型：发明
国别省市：