联合生成判别特征的开放行为识别方法、设备及存储介质技术

本申请提供一种联合生成判别特征的开放行为识别方法、设备及存储介质，该方法包括：获取待识别视频；采用开放行为识别模型计算待识别视频的不确定性分数和分类分数；若不确定性分数大于阈值，则待识别视频被分类为未知类，若不确定性分数小于或等于阈值，则根据分类分数确定待识别视频的分类标签。该方案不仅可以识别训练过程中出现的类别，还可以将没有出现过的未知类数据识别成未知类。过的未知类数据识别成未知类。过的未知类数据识别成未知类。

【技术实现步骤摘要】
联合生成判别特征的开放行为识别方法、设备及存储介质


[0001]本专利技术属于计算机视觉
，特别涉及一种联合生成判别特征的开放行为识别方法、设备及存储介质。

技术介绍

[0002]视频行为识别是视频理解中的重要关键任务。现有视频行为识别方法大多数是在闭集假设下提出的，即只能识别来自已知类别的数据。其中，已知类表示训练过程中出现过的类别。然而，在真实应用场景中，视频行为识别系统往往会遇到训练过程中没有出现过的类别，这些没有见过的类别统称为未知类。现有视频行为系统会将这些未知类数据识别成某一个已知类，造成实际应用中的安全问题。因此，这就要求视频行为识别方法不仅要能准确分类训练过程中出现过的已知类，还要能识别训练过程中没有出现过的未知类。
[0003]目前相关的视频行为方法主要基于深度证据学习来解决视频行为识别的开放问题。通过利用深度证据学习将视频行为识别的开放问题转换成不确定性估计问题。深度证据学习利用深度神经网络来预测类别概率的狄利克雷分布，这可以看作是一个证据收集过程。学习到的证据有助于量化各种人类行为的预测不确定性，从而使来自未知类的行为产生高度不确定性。这样每个行为数据都会有一个不确定值，当该不确定值高于阈值时，则被识别成未知类，低于阈值时，则识别为某个已知类。该阈值理论上是训练数据中最大不确定值。

技术实现思路

[0004]本说明书实施例的目的是提供一种联合生成判别特征的开放行为识别方法、设备及存储介质。
[0005]为解决上述技术问题，本申请实施例通过以下方式实现的：r/>[0006]第一方面，本申请提供一种联合生成判别特征的开放行为识别方法，该方法包括：
[0007]获取待识别视频；
[0008]采用开放行为识别模型计算待识别视频的不确定性分数和分类分数；
[0009]若不确定性分数大于阈值，则待识别视频被分类为未知类，若不确定性分数小于或等于阈值，则根据分类分数确定待识别视频的分类标签。
[0010]在其中一个实施例中，开放行为识别模型包括视频特征编码器、生成模型和分类网络；
[0011]采用开放行为识别模型计算待识别视频的不确定性分数，包括：
[0012]采用视频特征编码器提取待识别视频的特征向量；
[0013]采用生成模型生成特征向量对应的生成特征向量；
[0014]将特征向量和对应的生成特征向量串联拼接，生成联合生成判别特征；
[0015]联合生成判别特征输入分类网络，得到待识别视频的不确定性分数和分类分数。
[0016]在其中一个实施例中，训练开放行为识别模型时，对视频特征编码器、生成模型和
分类网络进行端到端深度证据学习。
[0017]在其中一个实施例中，联合生成模型的损失函数和分类网络的损失函数以端到端的方式训练视频特征编码器、生成模型和分类网络的损失函数：
[0018][0019]其中，N为每次迭代训练时视频的个数。
[0020]在其中一个实施例中，分类网络的损失函数为：
[0021][0022]其中，t
ij
表示视频x
i
的类别标签y
i
的01二进制形式，α
ij
＝e
ij
+1，e
ij
为分类网络C的非负输出,K为训练集中已知类的数目。
[0023]在其中一个实施例中，每个视频x
i
的分类分数为：α
ij
/S
i
，每个视频x
i
的不确定性分数为u
i
＝K/S
i
。
[0024]在其中一个实施例中，阈值根据训练时不确定分数确定。
[0025]在其中一个实施例中，阈值τ为：
[0026][0027]其中，u
i
为训练时每个视频x
i
的不确定性分数，X表示整个训练集，s为自由参数，用于提供边距松弛。
[0028]第二方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面的联合生成判别特征的开放行为识别方法。
[0029]第三方面，本申请提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面的联合生成判别特征的开放行为识别方法。
[0030]由以上本说明书实施例提供的技术方案可见，该方案：可以解决视频行为识别任务中的开放问题，不仅可以识别训练过程中出现的类别，还可以将没有出现过的未知类数据识别成未知类。
附图说明
[0031]为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0032]图1为本申请提供的联合生成判别特征的开放行为识别方法的流程示意图；
[0033]图2为本申请提供的联合生成判别特征的开放行为识别方法的又一流程示意图；
[0034]图3为本申请提供的电子设备的结构示意图。
具体实施方式
[0035]为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
[0036]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
[0037]在不背离本申请的范围或精神的情况下，可对本申请说明书的具体实施方式做多种改进和变化，这对本领域技术人员而言是显而易见的。由本申请的说明书得到的其他实施方式对技术人员而言是显而易见得的。本申请说明书和实施例仅是示例性的。
[0038]关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。
[0039]现有技术深度证据学习是基于已知类的判别特征学习的，而已知类的判别特征并不包含未知类的信息，因此不适合直接用该特征来解决视频行为识别任务中的开放问题。
[0040]基于上述缺陷，本申请提供一种联合生成判别特征的开放行为识别方法，该方法的联合生成判别特征通过生成模型的输入和输出特征产生，并基于该特征进行深度证据学习，该特征包含更多的未知类知识，更适合解决视频行为识别任务中的开放问题。
...

【技术保护点】

【技术特征摘要】
1.一种联合生成判别特征的开放行为识别方法，其特征在于，所述方法包括：获取待识别视频；采用开放行为识别模型计算所述待识别视频的不确定性分数和分类分数；若所述不确定性分数大于阈值，则所述待识别视频被分类为未知类，若所述不确定性分数小于或等于所述阈值，则根据所述分类分数确定所述待识别视频的分类标签。2.根据权利要求1所述的方法，其特征在于，所述开放行为识别模型包括视频特征编码器、生成模型和分类网络；所述采用开放行为识别模型计算所述待识别视频的不确定性分数，包括：采用视频特征编码器提取所述待识别视频的特征向量；采用生成模型生成所述特征向量对应的生成特征向量；将所述特征向量和对应的所述生成特征向量串联拼接，生成联合生成判别特征；所述联合生成判别特征输入所述分类网络，得到所述待识别视频的不确定性分数和分类分数。3.根据权利要求2所述的方法，其特征在于，训练所述开放行为识别模型时，对所述视频特征编码器、所述生成模型和所述分类网络进行端到端深度证据学习。4.根据权利要求3所述的方法，其特征在于，联合所述生成模型的损失函数和所述分类网络的损失函数以端到端的方式训练所述视频特征编码器、所述生成模型和所述分类网络的损失函数：其中，N为每次迭代训练时视频的个数。5.根据权利要求4所述的方法，其特征在于，所述分类网络的损失函数为：其中，t
ij
表示视频x
i
的类别标...

【专利技术属性】
技术研发人员：张鸿杰，王利民，王亚立，乔宇，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：