一种动作识别及行为预警方法、装置及设备制造方法及图纸

本说明书实施例提供一种动作识别及行为预警方法、装置及设备，可应用于人工智能技术领域。所述方法包括：从对应于目标对象的目标视频中分别提取颜色特征和光流特征；分别对所述颜色特征和光流特征进行降维处理；针对降维后的颜色特征和光流特征获取时序信息；综合所述时序信息、降维后的颜色特征和光流特征，确定对应于所述目标对象的动作类别。上述方法在动作识别的过程中对颜色特征和光流特征进行降维，减少需要计算的计算量，消除了所提取到的特征的冗余度，进而能够加快动作识别的速度，降低计算过程的复杂度，提高识别结果的准确性，保证了动作识别过程的有效进行。保证了动作识别过程的有效进行。保证了动作识别过程的有效进行。

【技术实现步骤摘要】
一种动作识别及行为预警方法、装置及设备


[0001]本说明书实施例涉及人工智能
，特别涉及一种动作识别及行为预警方法、装置及设备。

技术介绍

[0002]随着人工智能和计算机视觉技术的高速发展，继人脸识别后，动作识别成为了一项极具应用价值的技术。不同于人脸识别主要针对于包含人体面部特征的图像进行识别，动作识别主要针对包含目标对象的视频，通过分析视频中目标对象在不同时刻的姿势来确定这一时间内目标对象的动作类别，进而基于动作类别执行相应的操作。
[0003]一般情况下，视频中主要包含表现和动作两种类型的信息，分别以RGB和光流的形式进行保存。目前针对视频的动作识别算法也主要是分别提取视频中的RGB特征和光流特征进行分析。但是，由于直接提取的RGB特征和光流特征具有较高的冗余度，在提取得到RGB特征和光流特征之后难以综合确定RGB特征和光流特征之间的对应关系，直接基于这两项特征进行动作识别往往具有较低的准确性。因此，目前亟需一种能够准确地进行动作识别的方法。

技术实现思路

[0004]本说明书实施例的目的是提供一种动作识别及行为预警方法、装置及设备，以解决如何准确地进行动作识别的问题。
[0005]为解决上述技术问题，本说明书实施例提供一种动作识别方法，包括：从对应于目标对象的目标视频中分别提取颜色特征和光流特征；分别对所述颜色特征和光流特征进行降维处理；针对降维后的颜色特征和光流特征获取时序信息；综合所述时序信息、降维后的颜色特征和光流特征，确定对应于所述目标对象的动作类别。
>[0006]本说明书实施例还提出一种动作识别装置，包括：特征提取模块，用于从对应于目标对象的目标视频中分别提取颜色特征和光流特征；降维处理模块，用于分别对所述颜色特征和光流特征进行降维处理；时序信息获取模块，用于针对降维后的颜色特征和光流特征获取时序信息；动作类别确定模块，用于综合所述时序信息、降维后的颜色特征和光流特征，确定对应于所述目标对象的动作类别。
[0007]本说明书实施例还提出一种动作识别设备，包括存储器和处理器；所述存储器，用于存储计算机程序/指令；所述处理器，用于执行所述计算机程序/指令以实现以下步骤：从对应于目标对象的目标视频中分别提取颜色特征和光流特征；分别对所述颜色特征和光流特征进行降维处理；针对降维后的颜色特征和光流特征获取时序信息；综合所述时序信息、降维后的颜色特征和光流特征，确定对应于所述目标对象的动作类别。
[0008]为了解决上述问题，本说明书实施例还提出一种基于动作识别的行为预警方法，包括：从对应于目标对象的目标视频中分别提取颜色特征和光流特征；分别对所述颜色特征和光流特征进行降维处理；针对降维后的颜色特征和光流特征获取时序信息；综合所述
时序信息、降维后的颜色特征和光流特征，确定对应于所述目标对象的动作类别；在所述动作类别属于异常动作类别的情况下，向所述目标对象发出预警信息。
[0009]本说明书实施例还提出一种基于动作识别的行为预警装置，包括：特征提取模块，用于从对应于目标对象的目标视频中分别提取颜色特征和光流特征；降维处理模块，用于分别对所述颜色特征和光流特征进行降维处理；时序信息获取模块，用于针对降维后的颜色特征和光流特征获取时序信息；动作类别确定模块，用于综合所述时序信息、降维后的颜色特征和光流特征，确定对应于所述目标对象的动作类别；预警信息发出模块，用于在所述动作类别属于异常动作类别的情况下，向所述目标对象发出预警信息。
[0010]本说明书实施例还提出一种基于动作识别的行为预警设备，包括存储器和处理器；所述存储器，用于存储计算机程序/指令；所述处理器，用于执行所述计算机程序/指令以实现以下步骤：从对应于目标对象的目标视频中分别提取颜色特征和光流特征；分别对所述颜色特征和光流特征进行降维处理；针对降维后的颜色特征和光流特征获取时序信息；综合所述时序信息、降维后的颜色特征和光流特征，确定对应于所述目标对象的动作类别；在所述动作类别属于异常动作类别的情况下，向所述目标对象发出预警信息。
[0011]本说明书实施例还提出一种计算机存储介质，其上存储有计算机程序/指令，所述计算机程序/指令在被执行时用于实现上述动作识别方法或基于动作识别的行为预警方法的步骤。
[0012]本说明书实施例还提出一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令在被执行时用于实现上述动作识别方法或基于动作识别的行为预警方法的步骤。
[0013]由以上本说明书实施例提供的技术方案可见，本说明书实施例的动作识别方法，通过获取对应于目标对象的目标视频，并从中提取颜色特征和光流特征，以分别进行降维处理。再利用降维后的颜色特征和光流特征获取时序信息，进而能够综合所述时序信息、降维后的颜色特征和光流特征来确定对应于目标对象的动作类别。上述方法在动作识别的过程中对颜色特征和光流特征进行降维，减少需要计算的计算量，消除了所提取到的特征的冗余度，进而能够加快动作识别的速度，降低计算过程的复杂度，提高识别结果的准确性，保证了动作识别过程的有效进行。
[0014]此外，本说明书实施例还提供一种基于动作识别的行为预警方法，在上述动作识别得到动作类别的基础上，判断动作类别是否属于异常动作类别，进而在属于异常动作类别时，向目标对象发出预警信息。通过对目标对象的动作进行识别，进而能够在目标对象当前动作存在一定危险性的情况下，向目标用户发出提醒，从而降低事故等意外情况发生的可能性。
附图说明
[0015]为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1为本说明书实施例一种动作识别方法的流程图；
[0017]图2为本说明书实施例一种神经网络模型的应用示意图；
[0018]图3为本说明书实施例一种神经网络模型的训练示意图；
[0019]图4为本说明书实施例一种基于动作识别的行为预警的流程图；
[0020]图5为本说明书实施例一种动作识别装置的模块图；
[0021]图6为本说明书实施例一种基于动作识别的行为预警的模块图。
具体实施方式
[0022]下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
[0023]为了解决上述技术问题，介绍本说明书实施例一种动作识别方法。所述动作识别方法的执行主体为动作识别设备，所述动作识别设备包括但不限于服务器、工控机、PC机等。如图1所示，所述动作识别方法可以包括以下具体实施步骤。
[0024]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动作识别方法，其特征在于，包括：从对应于目标对象的目标视频中分别提取颜色特征和光流特征；分别对所述颜色特征和光流特征进行降维处理；针对降维后的颜色特征和光流特征获取时序信息；综合所述时序信息、降维后的颜色特征和光流特征，确定对应于所述目标对象的动作类别。2.如权利要求1所述的方法，其特征在于，所述分别对所述颜色特征和光流特征进行降维处理，包括：针对颜色特征和光流特征构建高维空间有向图；通过目标函数在低维空间保留所述高维空间有向图的期望特征，以得到降维后的颜色特征和光流特征。3.如权利要求1所述的方法，其特征在于，所述针对降维后的颜色特征和光流特征获取时序信息，包括：将降维后的颜色特征和光流特征输入神经网络模型中，以获取时序信息；所述神经网络模型包括双流LSTM模型；所述双流LSTM模型中还包括UMAP降维层；所述UMAP降维层用于对所述颜色特征和光流特征分别进行降维处理；所述神经网络模型还用于根据所述时序信息、降维后的颜色特征和光流特征输出动作类别。4.如权利要求3所述的方法，其特征在于，所述双流LSTM模型通过以下方式获取：构建初始双流LSTM模型；所述双流LSTM模型包括特征提取模块、降维模块和神经网络模块；利用特征提取模块从样本视频中提取样本特征；所述样本特征包括对应于样本视频的颜色特征和光流特征；利用降维模块对所述样本特征进行降维处理得到低维样本特征；将所述低维样本特征输入神经网络模块中并计算预设损失函数的损失值；基于所述损失值对所述初始双流LSTM模型进行训练，直至计算得到的损失值符合模型评测要求为止。5.如权利要求4所述的方法，其特征在于，所述降维模块为基于训练样本数据，利用交叉熵损失函数训练得到的模块。6.一种基于动作识别的行为预警方法，其特征在于，包括：从对应于目标对象的目标视频中分别提取颜色特征和光流特征；分别对所述颜色特征和光流特征进行降维处理；针对降维后的颜色特征和光流特征获取时序信息；综合所述时序信息、降维后的颜色特征和光流特征，确定对应于所述目标对象的动作类别；在所述动作类别属于异常动作类别的情况下，向所述目标对象发出预警信息。7.一种动作识别装置，其特征在于，包括：特征提取模块，用于从对应于目标对象的目标...

【专利技术属性】
技术研发人员：朱嘉桐，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：