小样本行为识别方法、存储介质、控制器技术

本发明专利技术公开了一种小样本行为识别方法、存储介质、控制器。其中，方法包括：获取待识别视频和第一基准视频，并对待识别视频和第一基准视频分别进行特征提取处理，得到对应的帧特征，以及对帧特征进行特征增强处理，得到增强帧特征；根据时序片段原型对增强帧特征进行处理，得到对应的高层级时序片段，其中，时序片段原型为对随机生成的初始时序片段原型进行动态更新得到；根据增强帧特征和高层级时序片段得到待识别视频与第一基准视频之间的第一距离，根据第一距离对待识别视频进行行为识别。该方法，可以实现高性能的小样本行为识别。可以实现高性能的小样本行为识别。可以实现高性能的小样本行为识别。

【技术实现步骤摘要】
小样本行为识别方法、存储介质、控制器


[0001]本专利技术涉及行为识别
，尤其涉及一种小样本行为识别方法、存储介质、控制器。

技术介绍

[0002]随着深度学习技术的发展，行为识别已经取得突破性进展。深度学习方法需要大量标注数据，在现实世界中，由于隐私性、获取数据成本较高等原因，能够获得的数据较少，而且在安防、医疗等领域，数据标注十分困难。小样本学习是一类利用较少的标注样本（基准视频）对新类别的样本（待识别视频）进行分类的算法，提高模型的泛化性，适用于有标签数据量匮乏的目标识别，能够有效减少对人类标注的依赖。
[0003]但是，由于相比于图片，视频中存在着大量时间维度上的复杂结构，相关技术中的小样本行为识别仅仅关注了帧级别或者片段级别的对齐，从而导致对齐的模糊性，降低了小样本行为识别的性能。

技术实现思路

[0004]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的第一个目的在于提出一种小样本行为识别方法，以实现高性能的小样本行为识别。
[0005]本专利技术的第二个目的在于提出一种计算机可读存储介质。
[0006]本专利技术的第三个目的在于提出一种控制器。
[0007]为达到上述目的，本专利技术第一方面实施例提出了一种小样本行为识别方法，所述方法包括：获取待识别视频和第一基准视频，并对所述待识别视频和所述第一基准视频分别进行特征提取处理，得到对应的帧特征，以及对所述帧特征进行特征增强处理，得到增强帧特征；根据时序片段原型对所述增强帧特征进行处理，得到对应的高层级时序片段，其中，所述时序片段原型为对随机生成的初始时序片段原型进行动态更新得到；根据所述增强帧特征和所述高层级时序片段得到所述待识别视频与所述第一基准视频之间的第一距离，根据所述第一距离对所述待识别视频进行行为识别。
[0008]为达到上述目的，本专利技术第二方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述述的小样本行为识别方法。
[0009]为达到上述目的，本专利技术第三方面实施例提出了一种控制器，包括存储器、处理器和存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时，实现上述的小样本行为识别方法。
[0010]根据本专利技术实施例的小样本行为识别方法、存储介质、控制器，获取待识别视频和第一基准视频，并对待识别视频和第一基准视频分别进行特征提取处理，得到对应的帧特征，以及对帧特征进行特征增强处理，得到增强帧特征；根据时序片段原型对增强帧特征进行处理，得到对应的高层级时序片段，其中，时序片段原型为对随机生成的初始时序片段原型进行动态更新得到；根据增强帧特征和高层级时序片段得到待识别视频与第一基准视频
之间的第一距离，根据第一距离对待识别视频进行行为识别。通过引入时序片段原型得到高层级时序片段，通过注意力机制自动发现视频中高层级的时序片段，提高小样本行为识别的性能。而且，由于时序片段原型为对随机生成的初始时序片段原型进行动态更新得到，可以实现以更加适配的时序片段原型得到高层级时序片段，进一步提高对齐的精确度，提高小样本行为识别的性能。
[0011]本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0012]图1是本专利技术一个或多个实施例的小样本行为识别方法的流程图；图2是本专利技术一个示例的小样本行为识别方法的示意图；图3是本专利技术一个或多个实施例的小样本行为识别方法的流程图。
具体实施方式
[0013]下面参考附图描述本专利技术实施例的小样本行为识别方法、存储介质、控制器，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。参考附图描述的实施例是示例性的，不能理解为对本专利技术的限制。
[0014]图1是本专利技术一个或多个实施例的小样本行为识别方法的流程图。
[0015]如图1所示，小样本行为识别方法，包括：S11，获取待识别视频和第一基准视频，并对待识别视频和第一基准视频分别进行特征提取处理，得到对应的帧特征，以及对帧特征进行特征增强处理，得到增强帧特征。
[0016]S12，根据时序片段原型对增强帧特征进行处理，得到对应的高层级时序片段。
[0017]S13，根据增强帧特征和高层级时序片段得到待识别视频与第一基准视频之间的第一距离，根据第一距离对待识别视频进行行为识别。
[0018]具体地，在获取得到待识别视频和第一基准视频之后，首先分别对待识别视频和第一基准视频进行特征提取处理，得到对应的帧特征。
[0019]为了提高运动感知能力，在得到与待识别视频和第一基准视频对应的帧特征后，采用特征增强器对待识别视频和第一基准视频对应的帧特征进行特征增强处理，使得增强后的特征能够感知运动信息。
[0020]在得到增强帧特征后，使用注意力机制来实现自动的视频片段挖掘。
[0021]首先引入一系列时序片段原型。时序片段原型的生成方法为首先对时序片段原型进行随机初始化，实现随机生成初始时序片段原型，进而对初始时序片段原型进行动态更新得到时序片段原型，具体而言，可以根据训练损失对时序片段原型以端到端学习的方式进行动态更新，以学习到更好的时序片段原型。
[0022]在引入时序片段原型之后，采用时序片段原型对增强帧特征进行处理，以获取时序片段原型与视频帧之间的软对应性，从而根据时序片段原型与视频帧之间的软对应性聚合若干数量的语义相关的帧，得到高层级时序片段。由此，通过采用时序片段原型，对视频帧进行聚合得到高层级时序片段，从而根据时序片段原型与视频帧之间的软对应性得到执行视频对齐的数据，提高对齐的精确度，提高了小样本行为识别的性能。
[0023]其中，在引入时序片段原型后，可以分别获取时序片段原型与待识别视频视频帧之间的软对应性和时序片段原型与第一基准视频视频帧之间的软对应性，从而得到与待识别视频对应的第一高层级时序片段和与第一基准视频对应的第二高层级时序片段。
[0024]在得到高层级时序片段之后，根据增强帧特征和高层级时序片段原型实现最优的视频匹配，完成匹配后，获取待识别视频和第一基准视频之间的距离，从而可以根据距离确定待识别视频与第一基准视频之间的相似度得分，从而根据待识别视频与第一基准视频之间的相似度得分对待识别视频进行行为识别。
[0025]由此，获取待识别视频和第一基准视频，并对待识别视频和第一基准视频分别进行特征提取处理，得到对应的帧特征，以及对帧特征进行特征增强处理，得到增强帧特征；根据时序片段原型对增强帧特征进行处理，得到对应的高层级时序片段，其中，时序片段原型为对随机生成的初始时序片段原型进行动态更新得到；根据增强帧特征和高层级时序片段得到待识别视频与第一基准视频之间的第一距离，根据第一距离对待识别视频进行行为识别。通过引入时序片段原型得到高层级时序片段，提高小样本行为识别的性能。而且，由于时序片段原型为对随机生成的初始时序本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种小样本行为识别方法，其特征在于，所述方法包括：获取待识别视频和第一基准视频，并对所述待识别视频和所述第一基准视频分别进行特征提取处理，得到对应的帧特征，以及对所述帧特征进行特征增强处理，得到增强帧特征；根据时序片段原型对所述增强帧特征进行处理，得到对应的高层级时序片段，其中，所述时序片段原型为对随机生成的初始时序片段原型进行动态更新得到；根据所述增强帧特征和所述高层级时序片段得到所述待识别视频与所述第一基准视频之间的第一距离，根据所述第一距离对所述待识别视频进行行为识别。2.根据权利要求1所述的小样本行为识别方法，其特征在于，记对所述待识别视频提取得到的帧特征为第一帧特征，并记对所述第一基准视频提取得到的帧特征为第二帧特征，所述方法还包括：获取与多个预设第二基准视频对应的多个第三帧特征，并针对每个基准视频的帧特征，计算后一个帧特征与前一个帧特征的卷积之间的差值，得到与每个基准视频对应的差值集合，根据所述差值集合得到任务级别运动模式；根据所述任务级别运动模式得到通道增强参数。3.根据权利要求2所述的小样本行为识别方法，其特征在于，所述通道增强参数包括第一通道增强参数和第二通道增强参数，特征增强器采用下式进行所述特征增强处理：，其中，为所述第一通道增强参数，为第二通道增强参数，在为所述第一帧特征时，为对应的第一增强帧特征，在为所述第二帧特征时，为对应的第二增强帧特征。4.根据权利要求1所述的小样本行为识别方法，其特征在于，所述对所述待识别视频和所述第一基准视频分别进行特征提取处理之前，所述方法还包括：分别从所述待识别视频和所述第一基准视频中均随机提取T帧，T为正整数。5.根据权利要求3所述的小样本行为识别方法，其特征在于，所述根据时序片段原型对所述增强帧特征进行处理，包括：根据所述第一增强帧特征得到第一特征和第二特征，计算得到所述第一特征与所述时序片段原型之间的第一注意力得分，并根据所述第一注意力得分和所述第二特征得到第一高层级时序片段；根据...

【专利技术属性】
技术研发人员：常峰，刘海峰，
申请(专利权)人：合肥中科类脑智能技术有限公司，
类型：发明
国别省市：