基于卷积神经网络与支持向量机的人体行为识别方法技术

基于卷积神经网络与支持向量机的人体行为识别方法，包括步骤：通过摄像头获取包含人的RGB图像；对RGB图像进行特征提取，形成一组卷积特征图；将提卷积特征图输入双分支深度卷积神经网络模型进行处理，获取RGB图像中人的关节点信息以及关节关联信息，通过关节匹配生成人体骨骼序列数据，关节关联信息是指相邻关节间相互关联的信息；对获得的人体骨骼序列数据进行归一化处理；通过多分类支持向量机对人体骨骼序列图进行识别分类。本发明专利技术通过人体骨骼信息的提取与处理来识别人体行为，具有良好的鲁棒性及准确率，可基于常规视频监控系统所采集的二维图像数据进行实时行为识别分析，在智能安防、生产安全等领域的应用具有普适性和实用意义。

Human behavior recognition method based on convolution neural network and support vector machine

The method of human behavior recognition based on convolution neural network and support vector machine (SVM), including steps: obtaining the human RGB image through the camera, extracting the feature of the RGB image, forming a group of convolution feature maps, and putting the feature map of the convolution into the dual branch depth convolution neural network model to obtain the people in the RGB image. Joint point information and joint association information, through joint matching to generate human skeleton sequence data, joint association information refers to the interrelated information between adjacent joints; the acquired human skeleton sequence data is normalized, and the human skeleton sequence map is classified by multi classification support vector machine. The invention recognizes human behavior through the extraction and processing of human skeleton information. It has good robustness and accuracy. It can be used in real-time behavior recognition and analysis based on the two-dimensional image data collected by the conventional video surveillance system. It is of universal and practical significance in the fields of intelligent security, production security and so on.

【技术实现步骤摘要】
基于卷积神经网络与支持向量机的人体行为识别方法
本专利技术涉及计算机视觉、机器学习和模式识别
，特别涉及一种基于双分支卷积神经网络与多分类支持向量机的可用于RGB图像中人体行为的识别方法。
技术介绍
人体行为识别技术是机器视觉领域的重要分支和前沿性技术，可广泛应用于智能视频监控、机器人视觉、人机交互、游戏控制等，应用市场前景广阔。人的各种行为可由人体各骨骼关节点的相对关系进行表征，因此通过描述人体骨骼关节运动的点来识别人体的行为动作完全有效可行。目前通过深度摄像头RGB-D图像来进行基于人体骨骼的行为识别，但深度摄像头由于包含深度传感器其成本高且不适用普通监控场景，无法针对现有监控摄像头进行识别处理。同时目前常用的识别方法是使用单人检测器来检测识别单个人的行为动作，具有一定的局限，例如若图像中多人之间有接触、自遮挡和物体遮挡的情况下，检测识别容易发生错误，且若图像中人数过多，检测的时间会明显过长。因此，目前现有的行为识别方法难以在视频监控、机器人视觉等领域进行推广与应用。
技术实现思路
本专利技术要解决的技术问题是提供一种基于卷积神经网络与支持向量机的人体行为识别方法，通过人体骨骼本文档来自技高网...

【技术保护点】
基于卷积神经网络与支持向量机的人体行为识别方法，包括以下步骤：S1，通过摄像头获取包含人的RGB图像；S2，对RGB图像进行特征提取，形成一组卷积特征图；S3，将提取的卷积特征图输入双分支深度卷积神经网络模型进行处理，获取RGB图像中人的若干个关节点信息以及关节关联信息，并通过关节匹配生成人体骨骼序列数据，关节关联信息是指相邻关节间相互关联的信息；S4，对获得的人体骨骼序列数据进行归一化处理；S5，通过多分类支持向量机对人体骨骼序列图进行识别分类，从而实现人体行为的识别。

【技术特征摘要】
1.基于卷积神经网络与支持向量机的人体行为识别方法，包括以下步骤：S1，通过摄像头获取包含人的RGB图像；S2，对RGB图像进行特征提取，形成一组卷积特征图；S3，将提取的卷积特征图输入双分支深度卷积神经网络模型进行处理，获取RGB图像中人的若干个关节点信息以及关节关联信息，并通过关节匹配生成人体骨骼序列数据，关节关联信息是指相邻关节间相互关联的信息；S4，对获得的人体骨骼序列数据进行归一化处理；S5，通过多分类支持向量机对人体骨骼序列图进行识别分类，从而实现人体行为的识别。2.根据权利要求1所述的基于卷积神经网络与支持向量机的人体行为识别方法，其特征在于，所述步骤S2具体为：构建16层的VGG神经网络模型，利用该VGG神经网络模型对RGB图像进行分析并生成一组卷积特征图。3.根据权利要求2所述的基于卷积神经网络与支持向量机的人体行为识别方法，其特征在于，所述步骤S3具体包括以下步骤：S3.1，将卷积特征图输入到双分支深度卷积神经网络的两个分支中，在第一阶段中，双分支深度卷积神经网络分别预测生成一组关节点图和一组人体的关节关联部位图，在接下来的阶段t中，t≥2，卷积特征图以及前一阶段生成的关节点图和关节关联部位图作为当前阶段的输入，为当前阶段的每个关节不确定的空间位置置信度和关节的关联域分数进行非参数编码，从而得到当前阶段的优化后的关节点图和关节关联部位图，遍历每个阶段，最终得到RGB图像中所有的关节点信息及关节关联信息；S3.2，在获得RGB图像中所有的关节点和关节关联信息后，采用二分图匹配算法逐步进行局部寻优，最终获得最佳关节匹配，从而获得RGB图像中所有人的人体骨骼序列数据；S3.3，对获得的人体骨骼序列数据进行归一化处理，并通过组合多个支持向量机分类器来实现多分类器的构造，从而实现多种人体行为的识别分类。4.根据权利要求3所述的基于卷积神经网络与支持向量机的人体行为识别方法，其特征在于，所述步骤S3.1中，每个阶段预测生成的关节点和关节关联部位分别由以下式(1)和(2)表示：

【专利技术属性】
技术研发人员：雷欢，程韬波，马敬奇，周志刚，何峰，周广兵，卢杏坚，吴亮生，王楠，钟震宇，
申请(专利权)人：广东省智能制造研究所，
类型：发明
国别省市：广东,44