一种动作识别及行为预警方法、装置及设备制造方法及图纸

本说明书实施例提供一种动作识别及行为预警方法、装置及设备，可应用于人工智能技术领域。所述方法包括：从对应于目标对象的目标视频中分别提取颜色特征和光流特征；分别对所述颜色特征和光流特征进行降维处理；针对降维后的颜色特征和光流特征获取时序信息；综合所述时序信息、降维后的颜色特征和光流特征，确定对应于所述目标对象的动作类别。上述方法在动作识别的过程中对颜色特征和光流特征进行降维，减少需要计算的计算量，消除了所提取到的特征的冗余度，进而能够加快动作识别的速度，降低计算过程的复杂度，提高识别结果的准确性，保证了动作识别过程的有效进行。保证了动作识别过程的有效进行。保证了动作识别过程的有效进行。

【技术实现步骤摘要】
一种动作识别及行为预警方法、装置及设备


[0001]本说明书实施例涉及人工智能
，特别涉及一种动作识别及行为预警方法、装置及设备。

技术介绍

[0002]随着人工智能和计算机视觉技术的高速发展，继人脸识别后，动作识别成为了一项极具应用价值的技术。不同于人脸识别主要针对于包含人体面部特征的图像进行识别，动作识别主要针对包含目标对象的视频，通过分析视频中目标对象在不同时刻的姿势来确定这一时间内目标对象的动作类别，进而基于动作类别执行相应的操作。
[0003]一般情况下，视频中主要包含表现和动作两种类型的信息，分别以RGB和光流的形式进行保存。目前针对视频的动作识别算法也主要是分别提取视频中的RGB特征和光流特征进行分析。但是，由于直接提取的RGB特征和光流特征具有较高的冗余度，在提取得到RGB特征和光流特征之后难以综合确定RGB特征和光流特征之间的对应关系，直接基于这两项特征进行动作识别往往具有较低的准确性。因此，目前亟需一种能够准确地进行动作识别的方法。

技术实现思路

[0004]本说明书实施例的目的是提供一种动作识本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动作识别方法，其特征在于，包括：从对应于目标对象的目标视频中分别提取颜色特征和光流特征；分别对所述颜色特征和光流特征进行降维处理；针对降维后的颜色特征和光流特征获取时序信息；综合所述时序信息、降维后的颜色特征和光流特征，确定对应于所述目标对象的动作类别。2.如权利要求1所述的方法，其特征在于，所述分别对所述颜色特征和光流特征进行降维处理，包括：针对颜色特征和光流特征构建高维空间有向图；通过目标函数在低维空间保留所述高维空间有向图的期望特征，以得到降维后的颜色特征和光流特征。3.如权利要求1所述的方法，其特征在于，所述针对降维后的颜色特征和光流特征获取时序信息，包括：将降维后的颜色特征和光流特征输入神经网络模型中，以获取时序信息；所述神经网络模型包括双流LSTM模型；所述双流LSTM模型中还包括UMAP降维层；所述UMAP降维层用于对所述颜色特征和光流特征分别进行降维处理；所述神经网络模型还用于根据所述时序信息、降维后的颜色特征和光流特征输出动作类别。4.如权利要求3所述的方法，其特征在于，所述双流LSTM模型通过以下方式获取：构建初始双流LSTM模型；所述双流LSTM模型包括特征提取模块、降维模块和神经网络模块；利用特征提取模块从样本视频中提取样本特征；所述样本特征包括对应于样本视频的颜色特征和光流特征；利用降维模块对所述样本特征进行降维处理得到低维样本特征；将所述低维样本特征输入神经网络模块中并计算预设损失函数的损失值；基于所述损失值对所述初始双流LSTM模型进行训练，直至计算得到的损失值符合模型评测要求为止。5.如权利要求4所述的方法，其特征在于，所述降维模块为基于训练样本数据，利用交叉熵损失函数训练得到的模块。6.一种基于动作识别的行为预警方法，其特征在于，包括：从对应于目标对象的目标视频中分别提取颜色特征和光流特征；分别对所述颜色特征和光流特征进行降维处理；针对降维后的颜色特征和光流特征获取时序信息；综合所述时序信息、降维后的颜色特征和光流特征，确定对应于所述目标对象的动作类别；在所述动作类别属于异常动作类别的情况下，向所述目标对象发出预警信息。7.一种动作识别装置，其特征在于，包括：特征提取模块，用于从对应于目标对象的目标...

【专利技术属性】
技术研发人员：朱嘉桐，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：