基于子空间分类的小样本行为识别方法及系统技术方案

本发明专利技术提供一种基于子空间分类的小样本行为识别方法及系统，属于计算机识别技术领域，包括：获取待识别的图像；利用预先训练好的小样本行为识别模型对所述获取的待识别图像进行处理，得到图像中行为识别结果；所述小样本行为识别模型包括深度估计网络、特征提取网络、特征融合网络和识别网络。本发明专利技术充分利用支持集每一类中的所有样本特征，通过为每一类行为构建子空间来进行分类，而非直接地使用特征均值；将每一类的样本特征凝练为一个子空间，直接计算查询样本特征到子空间的距离，而非依次计算查询样本特征到每一类中每个样本的距离，减少计算量。减少计算量。减少计算量。

【技术实现步骤摘要】
基于子空间分类的小样本行为识别方法及系统


[0001]本专利技术涉及计算机识别
，具体涉及一种基于子空间分类的小样本行为识别方法及系统。

技术介绍

[0002]生活中无处不在的移动设备方便了视频信息的记录、存储和传输，如智能手机、监控视频等。随着智慧城市的建设，视频监控已经部署在了各个公共场所，对公共安全的维护起到了重要的作用。但由于数据的海量性，仅靠人工的方式识别耗时耗力，因此行为识别的研究显得愈发重要，其中异常行为如摔倒、斗殴等的识别抓取更是智慧化建设的关键点。面对异常行为样本稀少的现状，小样本行为识别具有重要的研究意义。
[0003]目前，现有的小样本行为识别方法多采用“嵌入网络”+“分类器”的网络模型。在训练阶段，将数据集分解为不同的任务，去学习类别变化的情况下模型的泛化能力，使得模型学会不同任务中的共性部分，比如如何提取重要特征及比较样本相似等。在测试阶段，面对全新的不同于训练集的类别，不需要变动已有模型就可以完成分类。经典的小样本分类方法孪生网络采用相同的网络结构分别对两幅图像提取特征，通过计算特征之间的L1距离预测样本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于子空间分类的小样本行为识别方法，其特征在于，包括：获取待识别的图像；利用预先训练好的小样本行为识别模型对所述获取的待识别图像进行处理，得到图像中行为识别结果；其中，所述预先训练好的小样本行为识别模型由训练集训练得到，所述训练集包括多张图像以及标注图像中行为分布特征的标签；所述小样本行为识别模型包括深度估计网络、特征提取网络、特征融合网络和识别网络，所述深度估计网络用于将RGB图像进行深度估计，得到深度图像；所述特征提取网络用于提取RGB图像的特征和深度图像的特征；所述特征融合网络用于将提取的RGB图像特征和深度图像特征进行融合，所述识别网络用于基于子控件分类器，结合于融合后的特征进行小样本行为识别计算。2.根据权利要求1所述的基于子空间分类的小样本行为识别方法，其特征在于，训练所述小样本行为识别模型时，采用数据集为一个包含多个行为类别的多个视频组成，将数据集中每一类的每个视频样本分为一组图像帧RGB frames，并统计每组图像帧的帧数n_frames；对于分帧后的数据集中的每张图像，首先将其进行大小调整，然后随机裁剪；深度估计网络中，用monodepth2 module作为深度估计器，对处理后的数据集图像进行深度估计，得到深度图像。3.根据权利要求2所述的基于子空间分类的小样本行为识别方法，其特征在于，特征提取网络中，使用特征提取器ImageNetpretrained ResNet
‑
50提取RGB图像特征和深度图像特征；其中，首先训练用于提取RGB图像特征的RGB子模型和用于提取深度图像特征的深度子模型，RGB子模型和深度子模型的特征提取网络以ResNet
‑
50为主干网络，并将ResNet
‑
50中的最后一个完全连接层替换为各自的全连接层作为分类器，特征信息提取层为由卷积神经网络生成的特征编码器，从输入层的图像中提取信息处理层所需的图像特征，以得到RGB特征图和深度特征图。4.根据权利要求3所述的基于子空间分类的小样本行为识别方法，其特征在于，在特征融合网络中，得到的RGB特征向量和深度特征向量通过DGAdaIN Fusion Module做特征融合，得到融合特征向量。5.根据权利要求4所述的基于子空间分类的小样本行为识别方法，其特征在于，DGAdaIN Fusion Module获取的数据为提取的RGB特征向量和深度特征向量，处理后得到融合后的特征向量；模块输入的批处理表示为x∈R
B
×
D
×
L
，其中B为批次大小，D为单个视频样本分成的一组图片帧的帧数，L为每一帧的特征维数；DGAdaIN模块f(I
rgb
,I
...

【专利技术属性】
技术研发人员：田卉，金一，王佳艺，冯松鹤，李浥东，
申请(专利权)人：中移雄安信息通信科技有限公司中移系统集成有限公司，
类型：发明
国别省市：