【技术实现步骤摘要】
基于多维原型重构增强学习的小样本行为识别方法及系统
[0001]本专利技术涉及计算机视觉
，尤其是指一种基于多维原型重构增强学习的小样本行为识别方法及系统。
技术介绍
[0002]随着机器视觉在理论上和实践上的不断研究，人体行为识别逐步成为一个重要分支。传统的行为识别方法可以归纳为基于RGB图像和基于视频的方法，但是这些方法都存在着严重的局限性，即需要大量的带注释数据来训练模型以正确识别动作，这带来了很昂贵的计算代价。而小样本学习旨在通过学习少量样本即可实现对新样本的分类，小样本行为识别包括两个输入：支持集视频表示和查询集视频表示，模型在支持集上训练，使用支持集特征对查询集视频表示分类。小样本学习以片段式学习训练，每个片段包含一个支持集和一个查询集。支持集中包含N个类别，每个类别包含K个样本；而查询集含有和支持集相同的N个类别，每个类别也包括K个样本，其称为N
‑
way K
‑
shot学习。值得注意的是，支持集的样本和查询集的样本是不相交的。小样本行为识别通常采用5
‑
【技术保护点】
【技术特征摘要】
1.一种基于多维原型重构增强学习的小样本行为识别方法，其特征在于，包括：基于获取的支持集样本和查询集样本计算得到支持集时序特征和查询集时序特征，利用支持集时序特征和查询集时序特征计算得到支持集视频描述子和查询集的视频描述子；基于所述支持集时序特征求解原始时序注意力，在所述支持集时序特征上施加随机打乱重排列操作，得到支持集时序特征的补充特征，计算所述补充特征的打乱时序注意力，对所述打乱时序注意力实施逆操作得到补充时序注意力，计算所述原始时序注意力与补充时序注意力的差值，并将其作为动态时序变换损失用于优化注意力网络；利用平均法计算所述支持集视频描述子中的每一类视频的类平均原型，并利用重加权相似度注意力分别计算查询集样本和支持集样本与类平均原型的相似度，根据各自对应的相似度对支持集样本和查询集样本重加权，得到两个原型，将两个原型进行加权求和得到交叉增强原型；分别以交叉增强原型为中心和以查询集的样本为中心构建双三元组，通过正负样本的相对距离计算可适应边距，基于上述双三元组和可适应边距设计双三元组可适应损失，增强所述交叉增强原型对不同类别的可鉴别能力；利用优化后的所述交叉增强原型对所述查询集样本中的视频进行分类。2.根据权利要求1所述的基于多维原型重构增强学习的小样本行为识别方法，其特征在于，基于获取的支持集样本和查询集样本计算得到支持集时序特征和查询集时序特征，包括：基于所述支持集样本和查询集样本分别构建支持集视频表示和查询集视频表示；根据支持集视频表示和查询集视频表示提取得到支持集帧级特征和查询集帧级特征，获得支持集时序特征和查询集时序特征。3.根据权利要求1所述的基于多维原型重构增强学习的小样本行为识别方法，其特征在于，利用支持集时序特征和查询集时序特征计算得到支持集视频描述子和查询集的视频描述子，包括：使用时序卷积网络TCN基于所述支持集帧级特征和查询集帧级特征计算支持集时序特征和查询集时序特征，采用MLP对所述支持集时序特征和查询集时序特征进行压缩，经过softmax后得到支持集时序注意力和查询集时序注意力，将时序注意力与相应的时序特征相乘，获得支持集视频描述子和查询集的视频描述子。4.根据权利要求1所述的基于多维原型重构增强学习的小样本行为识别方法，其特征在于，分别以交叉增强原型为中心和以查询集的样本为中心构建双三元组，通过正负样本的相对距离计算可适应边距，基于上述双三元组和可适应边距设计双三元组可适应损失，增强所述交叉增强原型对不同类别的可鉴别能力，包括：以查询集中的样本为中心，判断所述交叉增强原型是否与该样本属于同一类，若判断结果为是，则所述交叉增强原型为正原型，反之为负原型，构建包含查询集样本、正原型和负原型元素的查询三元组；以交叉增强原型为中心，判断所述查询集中的样本是否与该交叉增强原型属于同一类，若判断结果为是，则所述样本为正查询样本，反之为负查询样本，构建包含交叉增强原型、正查询样本和负查询样本元素的原型三元组；基于所述查询三元组和原型三元组构建双三元组损失联合优化原型，使得原型与同类样本相似度最大，与不同类样本相似度最小，且正负样本在特征空间上相隔三元组损失中
可适应边距的距离。5.根据权利要求1所述的基于多维原型重构增强学习的小样本行为识别方法，其特征在于，利用优化后的所述交叉增强原型对所述查询集样本中的视频进行分类，包括：计算得到所述支持集视频中的每类视频的交叉增强原型，并求解查询集样本与交叉增强原型的欧式距离，根据最近邻算法，确定最近的交叉增强原型类别为该查询集样本类别。6.根...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。