一种复杂背景下动作分类方法及分类系统技术方案

本发明专利技术公开了一种复杂背景下动作分类方法及动作分类系统，具体公开了一种基于超像素分割、深度学习和脑电波信号复杂背景下动作分类方法及动作分类系统。通过采用CNN类网络对动作时序图像和动作掩模图像提取时刻图像特征，增强了人体动作区域图像特征，然后结合图像的时序信息和脑电波形，进一步增强人体动作行为特征，有效的解决了现有技术中单一视角图像进行人体动作行为的识别，以及单独依靠图像和面对复杂背景情况下易受环境变化影响、识别率和准确度不高、鲁棒性不强等问题。

【技术实现步骤摘要】
一种复杂背景下动作分类方法及分类系统
本专利技术属于图像处理
，具体涉及一种复杂背景下动作分类方法及分类系统。
技术介绍
人体动作识别是目前人工智能研究的热门领域，随着智能监控领域的不断发展，音视频监控设备可以监控人们活动的方方面面，产生了很多可以大量利用的音视频数据，通过这些音视频数据可以分析人类的行为动作，通过人体动作的幅度、面部表情和语音声调判断人体的动作剧烈程度，避免潜在的犯罪活动。人体的动作剧烈程度基本上分为剧烈、平静和柔和三个方面。现有的研究领域主要单独依靠采集的图像识别人体的动作行为，对于真正人体由于情感波动而引起的动作剧烈程度的判定并不十分准确。现有的大部分人体动作识别方法基本上是在单一视角下采集的图像上进行分析处理，并不能有效描述一个人的动作行为状态，容易造成识别不准的情况出现。并且图像之间没有联系，没有有效的时域或频域关联信息。现有技术中关于人体动作识别方法，有通过卷积神经网络获取人体动作光流图和视频的卷积特征图，最后通过支持向量机分类得出人体动作识别结果。该方法只是在单一视角下的图像上进行处理，并且没有结合视频图像的时域信息、多维视角图像和人的情感波动情况，对于人体特征的描述不准确。除此之外，还有通过深度学习提取肢体动作全局特征信息，利用开发的TensorFlow，Python等软件对肢体动作进行分类，并映射到对应的高兴、伤心和中性情绪中去。该方法也只是在单一视角下的图像上进行处理，并且没有结合视频图像的时域信息、多维视角图像和人的情感波动情况，对于人体特征的描述不准确。容易受到图像环境影响，方法鲁棒性不强。目前已有的方法主要是根据单一视角图像进行人体动作行为的识别，易受环境变化影响，方法的鲁棒性低并且准确度不高。
技术实现思路
针对现有技术存在的问题，本专利技术的目的是提供一种复杂背景下动作分类方法与动作分类系统，具体涉及一种基于超像素分割、深度学习和脑电波信号复杂背景下动作分类方法及动作分类系统。解决现有技术中单一视角图像进行人体动作行为的识别，易受环境变化影响，方法的鲁棒性低并且准确度不高的问题。为达到上述目的，本专利技术采用如下技术方案：一种复杂背景下动作分类方法，包括以下步骤：步骤1，采用下采样加速方法对动作时序图像进行超像素分割得到超像素分割结果；根据超像素分割结果对动作时序图像进行下采样得到视觉概要图像；采用深度学习语义分割网络对视觉概要图像进行图像分割得到动作掩模图像；步骤2，采用CNN类网络提取步骤1中的动作时序图像的时刻图像特征与动作掩模图像的时刻图像特征得到时刻特征图谱，然后采用RNN类网络按时间顺序提取时刻特征图谱的时段图像特征得到结合了图像时序信息的特征图谱；步骤3，同时采集步骤1中人体在对应时段做出动作时的脑电波形图像，采用RNN类网络按照时间顺序提取脑电波形图像的图像特征得到脑电波形特征图谱；步骤4，对步骤2中结合了图像时序信息的特征图谱和步骤3中脑电波形特征图谱进行特征图谱合并得到合并后的特征图谱，然后采用CNN类网络对合并后的特征图谱进行分类得出动作分类结果。具体地，步骤1中的下采样加速方法包括像素1:1条件下采样加速方法和像素1:3条件下采样加速方法。进一步地，步骤1中根据超像素分割结果对动作时序图像进行下采样包括：s1，将超像素分割结果结合深度学习平均池化方法，计算每一块超像素中所有像素点的灰度平均值；s2，将s1中计算得到的灰度平均值重新再赋值给所对应的每一块超像素中的像素点，生成视觉概要图像。一种复杂背景下动作分类系统，包括本专利技术所述的复杂背景下动作分类方法。进一步地，包括动作信息采集系统，所述的动作信息采集系统包括摄像头，所述的摄像头至少有4个。本专利技术与现有技术相比具有以下的有益效果：1、本专利技术通过采集四个视角的人体动作图像，对四个视角的动作图像进行分类处理，提高了方法的鲁棒性，克服了在面对多维视角情况下其他方法的不稳定性；2、本专利技术通过图像分割，提取出人体动作区域，增强了图像感兴趣区域，使得在面对复杂背景下影响人体动作区域占比小的问题得到有效解决；3、本专利技术提出了一种结合超像素和深度学习网络图像分割方法，使得图像分割更加注重边缘信息，提高图像分割准确率；4、本专利技术通过结合人体脑电信号，将脑电波形特征和人体动作图像相结合，相对于单独的依靠图像分析人体动作更加有效和准确，提高了人体动作分类效果；5、本专利技术在进行图像分析时添加了时域信息，通过RNN类网络提取整个时段图像特征，提高了人体动作分类的准确性和有效性。附图说明图1是本专利技术人体动作信息采集的示意图；图2是本专利技术采集到的人体图像；图3是本专利技术图像超像素分割结果图；图4是本专利技术中像素1:1条件下采样示意图；图5是本专利技术中像素1:1条件下采样加速方法子区域像素聚类情况示意图；图6是本专利技术中像素1:3条件下采样示意图；图7是本专利技术中像素1:3条件下采样加速方法子区域中心像素聚类情况示意图；图8是本专利技术中人体动作掩模图像；图9是实施例1中人体动作的最终分类结果示意图。以下结合说明书附图和具体实施方式对本专利技术做具体说明。具体实施方式以下给出本专利技术的具体实施例，需要说明的是本专利技术并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本专利技术的保护范围。遵从上述技术方案，如图1至9所示，本专利技术公开了一种复杂背景下动作分类方法及动作分类系统。具体是基于超像素分割、深度学习和脑电波信号复杂背景下人体动作分类方法及动作分类系统。脑机交互是人类大脑与外部环境之间建立一种新型的信息交流与控制通道，实现人脑与外部设备之间的直接交互。脑机设备通过收集大脑的脑电来对人体行为进行分析。人体动作剧烈程度和脑电的波形状态有直接联系。通过采集四个视角的人体动作图像实现多维视角描述同一动作特征，并且通过基于超像素的图像分割，得出主要人体特征区域，关联图像时域信息和在该时域阶段产生的脑电波形，根据RNN类深度学习网络提取相应特征图谱，并将相应特征图谱通过CNN类深度学习网络再进行高维特征提取，最后将得到的高维特征进行分类得出结果，该方法提高了动作分类的准确性和鲁棒性。主要包括以下步骤：步骤1，采用下采样加速方法对动作时序图像进行超像素分割得到超像素分割结果；根据超像素分割结果对动作时序图像进行下采样得到视觉概要图像；采用深度学习语义分割网络对视觉概要图像进行图像分割得到动作掩模图像；步骤2，采用CNN类网络提取步骤1中的动作时序图像的时刻图像特征与动作掩模图像的时刻图像特征得到时刻特征图谱，然后采用RNN类网络按时间顺序提取时刻特征图谱的时段图像特征得到结合了图像时序信息的特征图谱；步骤3，同时采集步骤1中人体在对应时段做出动作时的脑电波形图像，采用RNN类网络按照时间顺序提取脑电波形图像的图像特征得到脑电波形特征图谱；步骤4，对步骤2中结合了图像时序信息的特征图谱和步骤3中脑电波形特征图谱进行特征图谱合并得到合并后的特征图谱，然后采用CNN类网络对合并后的特征图谱进行分类得出动作分类结果。本专利技术中“四个视角”是指在人体站立时，在人体上方设有4个摄像头，这4个摄像头的安装位置与人体形成以人体头部为顶点的四角锥体，此时，从这4个摄像头的视角对人体进行动作拍摄的视角即为“四个视角”。“多维视角”是指相对于现有技术中本文档来自技高网...

【技术保护点】
1.一种复杂背景下动作分类方法，其特征在于，包括以下步骤：步骤1，采用下采样加速方法对动作时序图像进行超像素分割得到超像素分割结果；根据超像素分割结果对动作时序图像进行下采样得到视觉概要图像；采用深度学习语义分割网络对视觉概要图像进行图像分割得到动作掩模图像；步骤2，采用CNN类网络提取步骤1中的动作时序图像的时刻图像特征与动作掩模图像的时刻图像特征得到时刻特征图谱，然后采用RNN类网络按时间顺序提取时刻特征图谱的时段图像特征得到结合了图像时序信息的特征图谱；步骤3，同时采集步骤1中人体在对应时段做出动作时的脑电波形图像，采用RNN类网络按照时间顺序提取脑电波形图像的图像特征得到脑电波形特征图谱；步骤4，对步骤2中结合了图像时序信息的特征图谱和步骤3中脑电波形特征图谱进行特征图谱合并得到合并后的特征图谱，然后采用CNN类网络对合并后的特征图谱进行分类得出动作分类结果。

【技术特征摘要】
1.一种复杂背景下动作分类方法，其特征在于，包括以下步骤：步骤1，采用下采样加速方法对动作时序图像进行超像素分割得到超像素分割结果；根据超像素分割结果对动作时序图像进行下采样得到视觉概要图像；采用深度学习语义分割网络对视觉概要图像进行图像分割得到动作掩模图像；步骤2，采用CNN类网络提取步骤1中的动作时序图像的时刻图像特征与动作掩模图像的时刻图像特征得到时刻特征图谱，然后采用RNN类网络按时间顺序提取时刻特征图谱的时段图像特征得到结合了图像时序信息的特征图谱；步骤3，同时采集步骤1中人体在对应时段做出动作时的脑电波形图像，采用RNN类网络按照时间顺序提取脑电波形图像的图像特征得到脑电波形特征图谱；步骤4，对步骤2中结合了图像时序信息的特征图谱和步骤3中脑电波形特征图谱进行特征图谱合并得到合并后的特征图谱，然后采用CNN...

【专利技术属性】
技术研发人员：曹正文，乔念祖，卜起荣，冯筠，
申请(专利权)人：西北大学，
类型：发明
国别省市：陕西,61