行为识别方法技术

本申请公开一种行为识别方法

【技术实现步骤摘要】
行为识别方法、模型训练方法、设备及计算机介质


[0001]本申请涉及人工智能领域，具体涉及一种行为识别方法
、
模型训练方法
、
设备及计算机介质
。

技术介绍

[0002]在相关技术中，在通过对视频的分析，确定视频中目标对象的行为信息时，对视频中的图像帧的特征提取过程较粗糙，不能有效获取运动视频的运动特征，对视频中的目标对象的行为类别进行识别时，识别的准确度较低
。

技术实现思路

[0003]本申请实施例提供一种行为识别方法
、
模型训练方法
、
设备及计算机介质，可以基于视频帧中的时间域特征以及空间域特征，对视频帧中目标对象的行为进行分析，提高了行为识别的准确度
。
[0004]一方面，本申请实施例提供一种行为识别方法，所述方法包括：
[0005]获取待识别的视频段；
[0006]根据所述视频段确定对应的
RGB
图像序列与光流图像序列；
[0007]基于所述
RGB
图像序列确定第一特征信息，所述第一特征信息包括针对所述
RGB
图像序列的第一空间域特征信息与第一时间域特征信息；
[0008]基于所述光流图像序列确定第二特征信息，所述第二特征信息包括针对所述光流图像序列的第二空间域特征信息与第二时间域特征信息；
[0009]利用所述第一特征信息与所述第二特征信息确定所述视频段对应的行为识别结果
。
[0010]另一方面，本申请实施例提供一种模型训练方法，所述方法包括：
[0011]获取样本视频段，以及所述样本视频段对应的目标行为类别标注；
[0012]根据所述样本视频段确定对应的样本
RGB
图像序列与样本光流图像序列；
[0013]通过行为识别模型中的特征提取模块，基于所述样本
RGB
图像序列确定第一样本特征信息，以及基于所述样本光流图像序列确定第二样本特征信息；其中，所述第一样本特征信息包括针对所述样本
RGB
图像序列的第三空间域特征信息与第三时间域特征信息；所述第二样本特征信息包括针对所述样本光流图像序列的第四空间域特征信息与第四时间域特征信息；
[0014]通过所述行为识别模型中的分类模块，利用所述第一样本特征信息与所述第二样本特征信息确定所述样本视频段对应的预测行为类别；
[0015]利用所述预测行为类别
、
所述目标行为类别标注，对所述行为识别模型进行训练，得到训练好的行为识别模型
。
[0016]另一方面，本申请实施例提供一种行为识别方法，包括：
[0017]在检测到对象触发的针对选中的待识别的视频段，进行行为识别的识别指令时，
将所述视频段输入训练好的行为识别模型，使所述行为识别模型根据所述视频段确定对应的行为识别结果；
[0018]展示所述行为识别结果；
[0019]其中，所述训练好的行为识别模型为基于前述模型训练方法训练出的行为识别模型
。
[0020]另一方面，本申请实施例提供一种行为识别设备，其特征在于，包括：
[0021]第一获取单元，用于获取待识别的视频段；
[0022]第一确定单元，用于根据所述视频段确定对应的
RGB
图像序列与光流图像序列；
[0023]第一特征提取单元，用于基于所述
RGB
图像序列确定第一特征信息，所述第一特征信息包括针对所述
RGB
图像序列的第一空间域特征信息与第一时间域特征信息；
[0024]以及用于基于所述光流图像序列确定第二特征信息，所述第二特征信息包括针对所述光流图像序列的第二空间域特征信息与第二时间域特征信息；
[0025]第一识别单元，用于利用所述第一特征信息与所述第二特征信息确定所述视频段对应的行为识别结果
。
[0026]另一方面，提供一种模型训练设备，包括：
[0027]第二获取单元，用于获取样本视频段，以及所述样本视频段对应的目标行为类别标注；
[0028]第二确定单元，用于根据所述样本视频段确定对应的样本
RGB
图像序列与样本光流图像序列；
[0029]第二特征提取单元，用于通过行为识别模型中的特征提取模块，基于所述样本
RGB
图像序列确定第一样本特征信息，以及基于所述样本光流图像序列确定第二样本特征信息；其中，所述第一样本特征信息包括针对所述样本
RGB
图像序列的第三空间域特征信息与第三时间域特征信息；所述第二样本特征信息包括针对所述样本光流图像序列的第四空间域特征信息与第四时间域特征信息；
[0030]第二识别单元，用于通过所述行为识别模型中的分类模块，利用所述第一样本特征信息与所述第二样本特征信息确定所述样本视频段对应的预测行为类别；
[0031]训练单元，用于利用所述预测行为类别
、
所述目标行为类别标注，对所述行为识别模型进行训练，得到训练好的行为识别模型
。
[0032]另一方面，本申请实施例提供一种行为识别设备，包括：
[0033]检测单元，用于在检测到对象触发的针对选中的待识别的视频段，进行行为识别的识别指令时，将所述视频段输入训练好的行为识别模型，使所述行为识别模型根据所述视频段确定对应的行为识别结果；
[0034]展示单元，用于展示所述行为识别结果；
[0035]其中，所述训练好的行为识别模型为基于前述模型训练方法训练出的行为识别模型
。
[0036]另一方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如上任一实施例所述的行为识别方法或模型训练方法中的步骤
。
[0037]另一方面，提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储
器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行如上任一实施例所述的行为识别方法或模型训练方法中的步骤
。
[0038]另一方面，本申请实施例提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现如上任一实施例所述的行为识别方法或模型训练方法中的步骤
。
[0039]本申请实施例通过获取待识别的视频段；根据所述视频段确定对应的
RGB
图像序列与光流图像序列；基于所述
RGB
图像序列确定第一特征信息，所述第一特征信息包括针对所述
RGB
图像序列的第一空间域特征信息与第一时间域特征信息；基于所述光流图像序列确定第二特征信息，所述第二特征信息包括针对所述光流图像序列的第二空间域特征信息与第二时间域特征信息；利用所述第一特征信息与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种行为识别方法，其特征在于，所述方法包括：获取待识别的视频段；根据所述视频段确定对应的
RGB
图像序列与光流图像序列；基于所述
RGB
图像序列确定第一特征信息，所述第一特征信息包括针对所述
RGB
图像序列的第一空间域特征信息与第一时间域特征信息；基于所述光流图像序列确定第二特征信息，所述第二特征信息包括针对所述光流图像序列的第二空间域特征信息与第二时间域特征信息；利用所述第一特征信息与所述第二特征信息确定所述视频段对应的行为识别结果
。2.
根据权利要求1所述的方法，其特征在于，所述
RGB
图像序列包括多个
RGB
图像，所述基于所述
RGB
图像序列确定第一特征信息，包括：针对所述多个
RGB
图像中的各
RGB
图像，获取所述
RGB
图像的前一帧
RGB
图像与所述
RGB
图像的后一帧
RGB
图像；基于所述
RGB
图像
、
所述前一帧
RGB
图像，以及所述后一帧
RGB
图像确定所述
RGB
图像对应的第一关联特征信息，得到所述
RGB
图像序列对应的第一关联特征信息序列，所述第一关联特征信息序列的维度信息包括：所述第一关联特征信息序列的通道数
、
所述第一关联特征信息序列的图像帧个数
、
所述第一关联特征信息序列的特征长度信息，以及所述第一关联特征信息序列的特征宽度信息；根据所述第一关联特征信息序列，第一预设空间域特征提取规则，以及第一预设时间域特征提取规则确定对应的第一特征信息
。3.
根据权利要求2所述的方法，其特征在于，所述根据所述第一关联特征信息序列，第一预设空间域特征提取规则，以及第一预设时间域特征提取规则确定对应的第一特征信息，包括：根据所述第一关联特征信息序列与所述第一预设空间域特征提取规则，确定所述第一空间域特征信息；根据所述第一关联特征信息序列与所述第一预设时间域特征提取规则，确定所述第一时间域特征信息
。4.
根据权利要求3所述的方法，其特征在于，所述第一预设空间域特征提取规则包括：第一卷积核组
、
第二卷积核组
、
第一维度变换函数以及第二维度变换函数，所述第二维度变换函数为所述第一维度变换函数的逆，根据所述第一关联特征信息序列与所述第一预设空间域特征提取规则，确定所述第一空间域特征信息，包括：基于所述第一卷积核组与所述第一维度变换函数，对所述第一关联特征信息序列进行处理，得到所述第一关联特征信息序列对应的第一空间关系信息；基于所述第二卷积核组
、
所述第一维度变换函数
、
所述第二维度变换函数，以及所述第一空间关系信息确定所述第一空间域特征信息
。5.
根据权利要求4所述的方法，其特征在于，所述第一卷积核组包括第一卷积核与第二卷积核，所述基于所述第一卷积核组与所述第一维度变换函数，对所述第一关联特征信息序列进行处理，得到所述第一关联特征信息序列对应的第一空间关系信息，包括：通过所述第一卷积核对所述第一关联特征信息序列做卷积处理，得到第一卷积结果，以调整所述第一关联特征信息序列的通道数；
通过所述第一维度变换函数对所述第一卷积结果进行维度变换，得到第一变换结果，所述第一变换结果的维度信息包括：所述第一卷积结果的特征长度信息与特征宽度信息的乘积，以及所述第一卷积结果的通道数与图像帧个数的乘积；通过所述第二卷积核对所述第一关联特征信息序列做卷积处理，得到第二卷积结果，以调整所述第一关联特征信息序列的通道数，所述第二卷积结果的通道数与所述第一卷积结果的通道数相同；通过所述第一维度变换函数对所述第二卷积结果进行维度变换，得到第二变换结果，所述第二变换结果的维度信息与所述第一变换结果的维度信息相同；计算所述第一变换结果与所述第二变换结果的转置的乘积，得到所述第一关联特征信息序列对应的第一空间关系信息，所述第一空间关系信息的维度信息包括：所述第一变换结果的特征长度信息与所述第一变换结果的特征宽度信息的乘积，以及所述第二变换结果的特征长度信息与所述第二变换结果的特征宽度信息的乘积
。6.
根据权利要求5所述的方法，其特征在于，所述第二卷积核组包括第三卷积核与第四卷积核，所述基于所述第二卷积核组
、
所述第一维度变换函数
、
所述第二维度变换函数，以及所述第一空间关系信息确定所述第一空间域特征信息，包括：通过所述第三卷积核对所述第一关联特征信息序列做卷积处理，得到第三卷积结果，以调整所述第一关联特征信息序列的通道数，所述第三卷积结果的通道数与所述第二卷积结果的通道数相同；通过所述第一维度变换函数对所述第三卷积结果进行维度变换，得到第三变换结果，所述第三变换结果的维度信息与所述第一变换结果的维度信息相同；对所述第一空间关系信息进行归一化处理，得到第一归一化结果；计算所述第一归一化结果与所述第三变换结果的转置的乘积，得到第一乘积结果，所述第一乘积结果的维度信息与所述第三变换结果的转置的维度信息相同；通过所述第二维度变换函数对所述第一乘积结果进行维度变换，得到第四变换结果，所述第四变换结果的维度信息与所述第三卷积结果的维度信息相同；通过所述第四卷积核对所述第一关联特征信息序列做卷积处理，得到第四卷积结果，以调整所述第一关联特征信息序列的通道数，所述第四卷积结果的通道数与所述第三卷积结果的通道数相同；对所述第四变换结果与所述第四卷积结果进行求和，得到所述第一空间域特征信息
。7.
根据权利要求3所述的方法，其特征在于，所述第一预设时间域特征提取规则包括：第三卷积核组
、
第四卷积核组
、
第三维度变换函数，以及第四维度变换函数，所述第四维度变换函数为所述第三维度变换函数的逆，所述根据所述第一关联特征信息序列与所述第一预设时间域特征提取规则，确定所述第一时间域特征信息，包括：基于所述第三卷积核组与所述第三维度变换函数，对所述第一关联特征信息序列进行处理，得到所述第一关联特征信息序列对应的第一时间关系信息；基于所述第四卷积核组
、
所述第三维度变换函数
、
所述第四维度变换函数，以及所述第一时间关系信息确定所述第一时间域特征信息
。8.
根据权利要求7所述的方法，其特征在于，所述第三卷积核组包括第五卷积核与第六卷积核，所述基于所述第三卷积核组与所述第三维度变换函数，对所述第一关联特征信息
序列进行处理，得到所述第一关联特征信息序列对应的第一时间关系信息，包括：通过所述第五卷积核对所述第一关联特征信息序列做卷积处理，得到第五卷积结果，以调整所述第一关联特征信息序列的通道数；通过所述第三维度变换函数对所述第五卷积结果进行维度变换，得到第五变换结果，所述第五变换结果的维度信息包括：所述第五卷积结果的图像帧个数以及第一乘积，所述第一乘积为所述第五卷积结果的通道数
、
所述第五卷积结果的特征长度信息与所述第五卷积结果的特征宽度信息的乘积；通过所述第六卷积核对所述第一关联特征信息序列做卷积处理，得到第六卷积结果，以调整所述第一关联特征信息序列的通道数，所述第六卷积结果的通道数与所述第五卷积结果的通道数相同；通过所述第三维度变换函数对所述第六卷积结果进行维度变换，得到第六变换结果，所述第六变换结果的维度信息与所述第五变换结果的维度信息相同；计算所述第五变换结果与所述第六变换结果的转置的乘积，得到所述第一关联特征信息序列对应的第一时间关系信息，所述第一时间关系信息的维度信息包括：第五变换结果的图像帧个数，以及第六变换结果的图像帧个数
。9.
根据权利要求8所述的方法，其特征在于，所述第四卷积核组包括第七卷积核与第八卷积核，所述基于所述第四卷积核组
、
所述第三维度变换函数
、
所述第四维度变换函数以及所述第一时间关系信息确定所述第一时间域特征信息，包括：通过所述第七卷积核对所述第一关联特征信息序列做卷积处理，得到第七卷积结果，以调整所述第一关联特征信息序列的通道数，所述第七卷积结果的通道数与所述第六卷积结果的通道数相同；通过所述第三维度变换函数对所述第七卷积结果进行维度变换，得到第七变换结果，所述第七变换结果的维度信息与所述第五变换结果的维度信息相同；对所述第一时间关系信息进行归一化处理，得到第二归一化结果；计算所述第二归一化结果与所述第七变换结果的转置的乘积，得到第二乘积结果，所述第二乘积结果的维度信息与所述七变换结果的转置的维度信息相同；通过所述第四维度变换函数对所述第二乘积结果进行维度变换，得到第八变换结果，所述第八变换结果的维度信息与所述第七卷积结果的维度信息相同；通过所述第八卷积核对所述第一关联特征信息序列做卷积处理，得到第八卷积结果，以调整所述第一关联特征信序列的通道数，所述第八卷积结果的通道数与所述第七卷积结果的通道数相同；对所述第八变换结果与所述第八卷积结果进行求和，得到所述第一时间域特征信息
。10.
根据权利要求1所述的方法，其特征在于...

【专利技术属性】
技术研发人员：张顺利，孔垂涵，闫晗，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：