联合生成判别特征的开放行为识别方法、设备及存储介质技术

本申请提供一种联合生成判别特征的开放行为识别方法、设备及存储介质，该方法包括：获取待识别视频；采用开放行为识别模型计算待识别视频的不确定性分数和分类分数；若不确定性分数大于阈值，则待识别视频被分类为未知类，若不确定性分数小于或等于阈值，则根据分类分数确定待识别视频的分类标签。该方案不仅可以识别训练过程中出现的类别，还可以将没有出现过的未知类数据识别成未知类。过的未知类数据识别成未知类。过的未知类数据识别成未知类。

【技术实现步骤摘要】
联合生成判别特征的开放行为识别方法、设备及存储介质


[0001]本专利技术属于计算机视觉
，特别涉及一种联合生成判别特征的开放行为识别方法、设备及存储介质。

技术介绍

[0002]视频行为识别是视频理解中的重要关键任务。现有视频行为识别方法大多数是在闭集假设下提出的，即只能识别来自已知类别的数据。其中，已知类表示训练过程中出现过的类别。然而，在真实应用场景中，视频行为识别系统往往会遇到训练过程中没有出现过的类别，这些没有见过的类别统称为未知类。现有视频行为系统会将这些未知类数据识别成某一个已知类，造成实际应用中的安全问题。因此，这就要求视频行为识别方法不仅要能准确分类训练过程中出现过的已知类，还要能识别训练过程中没有出现过的未知类。
[0003]目前相关的视频行为方法主要基于深度证据学习来解决视频行为识别的开放问题。通过利用深度证据学习将视频行为识别的开放问题转换成不确定性估计问题。深度证据学习利用深度神经网络来预测类别概率的狄利克雷分布，这可以看作是一个证据收集过程。学习到的证据有助于量化各种人类行为的预测不确定性，从而使来自未本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联合生成判别特征的开放行为识别方法，其特征在于，所述方法包括：获取待识别视频；采用开放行为识别模型计算所述待识别视频的不确定性分数和分类分数；若所述不确定性分数大于阈值，则所述待识别视频被分类为未知类，若所述不确定性分数小于或等于所述阈值，则根据所述分类分数确定所述待识别视频的分类标签。2.根据权利要求1所述的方法，其特征在于，所述开放行为识别模型包括视频特征编码器、生成模型和分类网络；所述采用开放行为识别模型计算所述待识别视频的不确定性分数，包括：采用视频特征编码器提取所述待识别视频的特征向量；采用生成模型生成所述特征向量对应的生成特征向量；将所述特征向量和对应的所述生成特征向量串联拼接，生成联合生成判别特征；所述联合生成判别特征输入所述分类网络，得到所述待识别视频的不确定性分数和分类分数。3.根据权利要求2所述的方法，其特征在于，训练所述开放行为识别模型时，对所述视频特征编码器、所述生成模型和所述分类网络进行端到端深度证据学习。4.根据权利要求3所述的方法，其特征在于，联合所述生成模型的损失函数和所述分类网络的损失函数以端到端的方式训练所述视频特征编码器、所述生成模型和所述分类网络的损失函数：其中，N为每次迭代训练时视频的个数。5.根据权利要求4所述的方法，其特征在于，所述分类网络的损失函数为：其中，t
ij
表示视频x
i
的类别标...

【专利技术属性】
技术研发人员：张鸿杰，王利民，王亚立，乔宇，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：