一种基于人工智能的行为识别方法及系统技术方案

本发明专利技术提供了一种基于人工智能的行为识别方法及系统，所述方法包括对目标视频进行单帧切片处理与光流提取；对若干

【技术实现步骤摘要】
一种基于人工智能的行为识别方法及系统


[0001]本专利技术属于智能识别的
，具体地涉及一种基于人工智能的行为识别方法及系统
。

技术介绍

[0002]在目前的人工智能领域，智能识别技术被广泛应用于各行各界，同时智能行为识别技术监控系统软件是一种以行为识别技术为关键技术的深度学习算法，根据人工智能化神经元网络，构造大家的主要模块架构，依据轨迹
、
目标人体轮廓测算各种各样健身运动行为，同时通过行为识别技术监控拍照的各类现场作业人员的异常行为，帮助监控工作人员提高解决各类出现异常紧急事件的效率；在现有技术中，通常通过手工提取目标特征并通过研究人员观察进而区别不同行为的特征进行表达，其存在特征表示不全
、
噪声过大的问题，同时现有技术在识别到目标特征后，会存在较大的识别误差，导致其无法实现目标行为的准确识别
。

技术实现思路

[0003]为了解决上述技术问题，本专利技术提供了一种基于人工智能的行为识别方法及系统，用于解决现有技术中的技术问题
。
[0004]一方面，本专利技术提供以下技术方案，一种基于人工智能的行为识别方法，包括：获取目标视频，对所述目标视频进行单帧切片处理，以得到若干单帧的
RGB
图像，对所述目标视频进行光流提取，以得到若干光流图像；对若干所述
RGB
图像进行空域序列特征提取，以得到第一特征与第二特征，对所述光流图像进行时域特征提取，以得到第三特征，将所述第一特征
、
>所述第二特征与所述第三特征存入图像特征集中；对所述图像特征集中的特征进行特征融合，以得融合特征图像，对所述融合特征图像进行目标区域截取，以得到目标图像，对所述目标图像进行区域分割，以得到目标面部图像与目标躯体图像；提取所述目标面部图像的关键点，基于所述关键点截取所述目标面部图像的关键区域图像，并将所述关键区域图像存入识别特征集中；提取所述目标躯体图像的骨架点集，对所述骨架点集进行填充处理，以得到优化骨架点集，基于所述优化骨架点集确定目标的时空位姿图像，根据帧数对应关系将所述时空位姿图像存入所述图像特征集中；获取模板行为图像集并将所述模板行为图像集输入预设行为识别模型中进行训练，将所述图像特征集输入至训练后的预设行为识别模型中，输出行为识别结果
。
[0005]相比现有技术，本申请的有益效果为：本申请首先获取目标视频，对目标视频进行单帧切片处理，以得到若干单帧的
RGB
图像，对目标视频进行光流提取，以得到若干光流图像；然后对若干
RGB
图像进行空域序列特征提取，以得到第一特征与第二特征，对光流图像
进行时域特征提取，以得到第三特征，将第一特征
、
第二特征与第三特征存入图像特征集中；之后对图像特征集中的特征进行特征融合，以得融合特征图像，对融合特征图像进行目标区域截取，以得到目标图像，对目标图像进行区域分割，以得到目标面部图像与目标躯体图像；再之后提取目标面部图像的关键点，基于关键点截取目标面部图像的关键区域图像，并将关键区域图像存入识别特征集中；然后提取目标躯体图像的骨架点集，对骨架点集进行填充处理，以得到优化骨架点集，基于优化骨架点集确定目标的时空位姿图像，根据帧数对应关系将时空位姿图像存入图像特征集中；最后获取模板行为图像集并将模板行为图像集输入预设行为识别模型中进行训练，将图像特征集输入至训练后的预设行为识别模型中，输出行为识别结果，本专利技术首先提取了图像的三种特征分别为时间
、
空间与序列特征，以此可解决在智能识别真实环境下存在强外界干扰
、
强环境光遮蔽及其他干扰因素时模型存在泛化能力不足
、
鲁棒性不强等问题，同时结合目标的面部特征与驱干特征对目标行为进行分析，可提高目标行为识别分类的准确性，且本专利技术通过对目标的骨骼点进行填充优化，避免因骨骼点过少而导致目标姿态无法准确识别的问题，以此实现了目标行为识别的准确性同时也大幅度提升了目标识别的速度
。
[0006]较佳的，所述对所述目标视频进行单帧切片处理，以得到若干单帧的
RGB
图像，对所述目标视频进行光流提取，以得到若干光流图像的步骤包括：对所述目标视频进行单帧拆分与切片处理，以将所述目标视频拆分为若干连续的单帧的
RGB
图像；提取所述目标视频的单帧空间图像，计算时刻对应的单帧空间图像的第一图像信息与时刻对应的单帧空间图像的第二图像信息：；；式中，为图像的像素中心点，第一系数矩阵，为第二系数矩阵，为第三系数矩阵，为第四系数矩阵，
、
分别为第一标量与第二标量，为像素点的位移量；判断时刻对应的单帧空间图像与时刻对应的单帧空间图像的像素值是否相同；若时刻对应的单帧空间图像与时刻对应的单帧空间图像的像素值相同，则，，；基于所述第一图像信息与所述第二图像信息求解像素点的位移量，基于每个像素点的位移量确定单帧空间图像的光流场信息，以得到若干光流图像，其中，像素点的位移量为：
。
[0007]较佳的，所述对若干所述
RGB
图像进行空域序列特征提取，以得到第一特征与第二特征，对所述光流图像进行时域特征提取，以得到第三特征的步骤包括：将所述
RGB
图像输入第一
2DCNN
中进行空域特征提取，以得到第一特征；
获取所述
RGB
图像的图像路径与类别标签，将所述图像路径与所述类别标签存入
CSV
文件中，将所述
CSV
文件与所述
RGB
图像输入
LSTM
中进行序列特征提取，以得到第二特征；对所述光流图像进行二值化灰度处理，以得到光流灰度图像，采用稠密光流法计算所述光流灰度图像的第一光流场与第二光流场，将所述光流图像
、
所述第一光流场与所述第二光流场输入第二
2DCNN
中进行时域特征提取，以得到第三特征
。
[0008]较佳的，所述提取所述目标面部图像的关键点，基于所述关键点截取所述目标面部图像的关键区域图像，并将所述关键区域图像存入识别特征集中的步骤包括：将所述目标面部图像输入关键点提取网络中进行关键点提取，以得若干关键点，基于所述关键点确定面部关键点矩阵，基于所述面部关键点矩阵确定目标矩阵，其中，所述面部关键点矩阵与所述目标矩阵分别为：；；式中，为面部关键点矩阵中第行第列的元素，为面部关键点矩阵中第行第列的元素，为目标矩阵中第行第列的元素，为目标矩阵中第行第列的元素，为关键点个数；基于所述面部关键点矩阵与所述目标矩阵计算中间矩阵：；；式中，为第一正交矩阵，为第二正交矩阵，为奇异值分解；基于所述中间矩阵确定转换矩阵，基于所述转换矩阵对所述面部关键点矩阵进行变换处理，以得到转换坐标矩阵：；式中，
、
分别为面部关键点矩阵中的第一列向量与第二列向量，
、
为目标矩阵中的第一列向量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于人工智能的行为识别方法，其特征在于，包括：获取目标视频，对所述目标视频进行单帧切片处理，以得到若干单帧的
RGB
图像，对所述目标视频进行光流提取，以得到若干光流图像；对若干所述
RGB
图像进行空域序列特征提取，以得到第一特征与第二特征，对所述光流图像进行时域特征提取，以得到第三特征，将所述第一特征
、
所述第二特征与所述第三特征存入图像特征集中；对所述图像特征集中的特征进行特征融合，以得融合特征图像，对所述融合特征图像进行目标区域截取，以得到目标图像，对所述目标图像进行区域分割，以得到目标面部图像与目标躯体图像；提取所述目标面部图像的关键点，基于所述关键点截取所述目标面部图像的关键区域图像，并将所述关键区域图像存入识别特征集中；提取所述目标躯体图像的骨架点集，对所述骨架点集进行填充处理，以得到优化骨架点集，基于所述优化骨架点集确定目标的时空位姿图像，根据帧数对应关系将所述时空位姿图像存入所述图像特征集中；获取模板行为图像集并将所述模板行为图像集输入预设行为识别模型中进行训练，将所述图像特征集输入至训练后的预设行为识别模型中，输出行为识别结果
。2.
根据权利要求1所述的基于人工智能的行为识别方法，其特征在于，所述对所述目标视频进行单帧切片处理，以得到若干单帧的
RGB
图像，对所述目标视频进行光流提取，以得到若干光流图像的步骤包括：对所述目标视频进行单帧拆分与切片处理，以将所述目标视频拆分为若干连续的单帧的
RGB
图像；提取所述目标视频的单帧空间图像，计算时刻对应的单帧空间图像的第一图像信息与时刻对应的单帧空间图像的第二图像信息：；；式中，为图像的像素中心点，第一系数矩阵，为第二系数矩阵，为第三系数矩阵，为第四系数矩阵，
、
分别为第一标量与第二标量，为像素点的位移量；判断时刻对应的单帧空间图像与时刻对应的单帧空间图像的像素值是否相同；若时刻对应的单帧空间图像与时刻对应的单帧空间图像的像素值相同，则，，；基于所述第一图像信息与所述第二图像信息求解像素点的位移量，基于每个像素点的位移量确定单帧空间图像的光流场信息，以得到若干光流图像，其中，像素点的位移量为：
。
3.
根据权利要求1所述的基于人工智能的行为识别方法，其特征在于，所述对若干所述
RGB
图像进行空域序列特征提取，以得到第一特征与第二特征，对所述光流图像进行时域特征提取，以得到第三特征的步骤包括：将所述
RGB
图像输入第一
2DCNN
中进行空域特征提取，以得到第一特征；获取所述
RGB
图像的图像路径与类别标签，将所述图像路径与所述类别标签存入
CSV
文件中，将所述
CSV
文件与所述
RGB
图像输入
LSTM
中进行序列特征提取，以得到第二特征；对所述光流图像进行二值化灰度处理，以得到光流灰度图像，采用稠密光流法计算所述光流灰度图像的第一光流场与第二光流场，将所述光流图像
、
所述第一光流场与所述第二光流场输入第二
2DCNN
中进行时域特征提取，以得到第三特征
。4.
根据权利要求1所述的基于人工智能的行为识别方法，其特征在于，所述提取所述目标面部图像的关键点，基于所述关键点截取所述目标面部图像的关键区域图像，并将所述关键区域图像存入识别特征集中的步骤包括：将所述目标面部图像输入关键点提取网络中进行关键点提取，以得若干关键点，基于所述关键点确定面部关键点矩阵，基于所述面部关键点矩阵确定目标矩阵，其中，所述面部关键点矩阵与所述目标矩阵分别为：；；式中，为面部关键点矩阵中第行第列的元素，为面部关键点矩阵中第行第列的元素，为目标矩阵中第行第列的元素，为目标矩阵中第行第列的元素，为关键点个数；基于所述面部关键点矩阵与所述目标矩阵计算中间矩阵：；；式中，为第一正交矩阵，为第二正交矩阵，为奇异值分解；基于所述中间矩阵确定转换矩阵，基于所述转换矩阵对所述面部关键点矩阵进行变换处理，以得到转换坐标矩阵：；式中，
、
分别为面部关键点矩阵中的第一列向量与第二列向量，
、
为目标矩阵中的第一列向量与第二列向量；基于所述转换坐标矩阵截取所述目标面部图像的关键区域图像，并将所述关键区域图像存入识别特征集中
。5.
根据权利要求1所述的基于人工智能的行为识别方法，其特征在于，所述提取所述目
标躯体图像的骨架点集，对所述骨架点集进行填充处理，以得到优化骨架点集的步骤包括：将所述目标躯体图像输入骨架点预测网络中，以得到由若干初始骨架点；获取所述骨架点的预测可靠度以及亲和场，对所述预测可靠度...

【专利技术属性】
技术研发人员：李火亮，陈达剑，
申请(专利权)人：江西拓世智能科技股份有限公司，
类型：发明
国别省市：