一种基于关键点检测的多人行为识别系统及工作方法技术方案

本发明专利技术公开了一种基于关键点检测的多人行为识别系统及工作方法，包括：图像预处理模块，被配置为对采集到的图像进行预处理；关键点检测模块，被配置为提取每帧图像的关键点特征；通过人体关键点预测矩阵，判断图像中包含人体的个数以及每个人包含的关节点数；检测两相邻关节点是否在同一肢体上，对同一个人任意相邻的两个关节点间进行连接获取方向向量，依次连接同一肢体上的关节点，得到关节点向量矩阵；姿态估计模块，被配置为用于根据关节点向量矩阵进行姿态判断。本发明专利技术通过对输入原始图像中的多人行为信息进行分析处理，实现对多人的姿态估计和当前行为的分类识别，弥补了现有的单人行为识别方法对实际场景中多人的行为无法检测的缺陷。

A multi person behavior recognition system based on key point detection and its working method

【技术实现步骤摘要】
一种基于关键点检测的多人行为识别系统及工作方法
本专利技术涉及计算机视觉与模式识别
，尤其涉及一种基于关键点检测的多人行为识别系统及工作方法。
技术介绍
本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。计算机视觉是研究计算机如何能像人类的视觉系统一样对外界获取信息进行感知的一门学科，即让计算机看懂世界，而基于图像的人体行为识别是计算机视觉领域的一个研究热点。图像检测和识别是计算机视觉中的基本任务，图像识别是让计算机对图像进行一系列处理、分析，然后再识别各种不同情境下目标和对象的一门技术。图像识别技术从早期对文字进行识别、对数字进行识别逐渐发展到对物体进行识别、对场景进行识别、对人脸进行识别和对人的各种行为进行识别等日常生活的方方面面。当一个人说谎时，我们很难通过语言判断他当前的情绪状态，但是一个人的肢体语言却很难说谎，往往会表达出他们最真实的情感信息。通过检测一个人的行为动作，可以推断出他的情绪变化，并且通过不同场景的分析，比如运动场上运动员的当前动作判断出此时他参赛的项目，学生当前的动作，判断出他当时是否在认真学习。通过对人体的动作进行判断识别，可以得到很多有用的信息，例如当前肢体的行为信息，当前动作的姿态信息等，在人工智能、智能家居、智慧课堂等很多方面都有极大用处。人体行为识别是基于图像识别算法和计算机视觉原理进行实现的，目标是从一个获取的视频或图像序列中自动地分析其正在进行的行为，包括：提取其中的信息、将行为进行分类等。人体行为识别的应用十分广泛，比如公共智能视频监控区域、病人监护系统、人机交互及虚拟现实、智慧家居系统、智能安防、运动员辅助训练等场景。目前，存在较多的行为识别研究大多集中在对单人行为的识别，而在实际生活场景中，单人的场景很少，大部分的公共场合人群较多，对多人的行为识别在公共安全、智能安防、重大活动场所等方面有广泛实际应用需求，包括大型聚会事件、群体暴力、恐怖活动等进行监控，通过判断当前多人行为的种类和数量，从而避免重大事故的发生。目前，多人行为姿态估计与识别系统及方法基本上都是采用自上而下的方法，即先对视野范围内有几个人进行检测，然后根据边缘检测等方法，对检测到的多个人进行分割，分别提取不同检测框内人员的行为信息，再做分类识别。而随着视野范围内人数的增多，该方法的计算量会呈指数式递增，大大降低了识别的效率。并且会存在检测遗漏的问题，即没有检测到视野范围内有这个人，这就会直接造成后面分类识别的失败。由此可见，这种自上而下的识别方法，虽然可以检测到多人的姿态并进行行为分类，但是识别效果并不理想。
技术实现思路
为了解决上述问题，本专利技术提出了一种基于关键点检测的多人行为识别系统及工作方法，用于实时检测当前多人行为并对当前多人行为进行识别；基于二次特征提取和姿态估计的方案，用于提高多人行为识别的准确率。在一些实施方式中，采用如下技术方案：一种基于关键点检测的多人行为识别系统，主要包括：图像预处理模块、关键点检测模块、姿态估计模块、二次特征提取模块、行为估计与应用模块；所述图像预处理模块，用于调整输入图像帧的格式、对输入图像进行滤波和去噪处理。调整输入图像帧的格式包括调整输入图像的尺寸大小、调整输入图像的灰度值、调整输入图像的存储格式；对输入图像通过滤波器降噪处理，再通过平滑去噪操作消除图像中无关信息对后续结果的影响；所述关键点检测模块，包括依次相连的关键点特征提取单元、关键点匹配单元、骨骼关键点向量检测单元，用于检测图像中多个人的关键点，并做出判断；所述关键点特征提取单元，包括对每帧图像进行SIFT(Scale-InvariantFeatureTransform，尺度不变特征变换)和SURF(SpeededUpRobustFeatures，加速鲁棒特征)关键点的特征提取，得到关键点特征矩阵；所述关键点匹配单元，通过预测关键点矩阵S，判断得出每帧图像中不同关键点属于哪个人的骨骼关键点，并通过计算损失函数判断关键点的匹配程度；所述骨骼关键点向量检测单元，用于对同一个人的任意两个骨骼关键点间进行连接并获取方向向量，对方向向量进行检测，做出判断；所述姿态估计模块，用于根据骨骼关键点向量矩阵进行姿态判断。作为进一步的改进方案，还包括：二次特征提取模块，被配置为用于对预处理后的图像进行二次特征提取，得到行为特征矩阵；行为估计与应用模块，被配置为根据关键点预测矩阵、骨骼关键点向量矩阵以及行为特征矩阵，利用神经网络模型进行预测，得到图像中每个人的行为以及所述行为的识别率。在另一些实施方式中，采用如下技术方案：一种基于关键点检测的多人行为识别工作方法，包括：对预处理后的每帧图像进行SIFT和SURF关键点的特征提取；求取关键点预测矩阵，判断图像中包含人体的个数以及每个人包含的骨骼关键点数；检测两相邻骨骼关键点是否在同一肢体上，对同一个人任意相邻的两个骨骼关键点间进行连接获取方向向量，依次连接同一肢体上的骨骼关键点，得到骨骼关键点向量矩阵；根据骨骼关键点向量矩阵的方向和角度判断当前图像帧中不同人的姿态。作为进一步的改进方案，在根据骨骼关键点向量矩阵的方向和角度判断当前图像帧中不同人的姿态之后，还包括：对预处理后的图像进行二次特征提取，得到行为特征矩阵；根据关键点预测矩阵、骨骼关键点向量矩阵以及行为特征矩阵，利用神经网络模型进行预测，得到图像中每个人的行为以及所述行为的识别率。在另一些实施方式中，采用如下技术方案：一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行上述的基于关键点检测的多人行为识别工作方法。在另一些实施方式中，采用如下技术方案：一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述的基于关键点检测的多人行为识别工作方法。与现有技术相比，本专利技术的有益效果是：1、本专利技术提出了一种基于关键点检测的多人行为识别系统及工作方法，通过对输入原始图像中的多人行为信息进行分析处理，实现对多人的姿态估计和当前行为的分类识别，弥补了现有的单人行为识别方法对实际场景中多人的行为无法检测的缺陷。2、本专利技术主要在关键点检测模块，提出了一种多人关键点特征提取、检测及骨骼关键点向量连接的新方法。通过提取的关键点与标注的骨骼关键点计算，得出骨骼关键点预测矩阵；并通过连接两骨骼关键点之间的向量判断是否在某肢体上，更好的区分不同人的不同骨骼关键点和肢体，有效的对多人姿态进行估计并提高多人行为识别的准确率。附图说明图1是本专利技术提出的一种基于关键点检测的多人行为识别系统结构示意图；图2是本专利技术提出的一种基于关键点检测的多人行为识别工作方法流程图；图3是本专利技术提出的一种基于关键点检测的多人行为识别系统中关键点检测模块的原理示意图。...

【技术保护点】
1.一种基于关键点检测的多人行为识别系统，其特征在于，包括：/n图像预处理模块，被配置为对采集到的图像进行预处理；/n关键点检测模块，被配置为提取每帧图像的关键点特征；通过关键点预测矩阵，判断图像中包含人体的个数以及每个人包含的骨骼关键点数；/n检测两相邻骨骼关键点是否在同一肢体上，对同一个人任意相邻的两个骨骼关键点间进行连接获取方向向量，依次连接同一肢体上的骨骼关键点，得到骨骼关键点向量矩阵；/n姿态估计模块，被配置为用于根据骨骼关键点向量矩阵进行姿态判断。/n

【技术特征摘要】
1.一种基于关键点检测的多人行为识别系统，其特征在于，包括：
图像预处理模块，被配置为对采集到的图像进行预处理；
关键点检测模块，被配置为提取每帧图像的关键点特征；通过关键点预测矩阵，判断图像中包含人体的个数以及每个人包含的骨骼关键点数；
检测两相邻骨骼关键点是否在同一肢体上，对同一个人任意相邻的两个骨骼关键点间进行连接获取方向向量，依次连接同一肢体上的骨骼关键点，得到骨骼关键点向量矩阵；
姿态估计模块，被配置为用于根据骨骼关键点向量矩阵进行姿态判断。


2.如权利要求1所述的一种基于关键点检测的多人行为识别系统，其特征在于，还包括：
二次特征提取模块，被配置为用于对预处理后的图像进行二次特征提取，得到行为特征矩阵；
行为估计与应用模块，被配置为根据关键点预测矩阵、骨骼关键点向量矩阵以及行为特征矩阵，利用神经网络模型进行预测，得到图像中每个人的行为以及所述行为的识别率。


3.如权利要求1所述的一种基于关键点检测的多人行为识别系统，其特征在于，所述关键点检测模块具体包括：
关键点特征提取单元，被配置为提取每帧图像的关键点特征；
关键点匹配单元，被配置为通过关键点预测矩阵，判断图像中包含人体的个数以及每个人包含的骨骼关键点数；
骨骼关键点向量检测单元，被配置为检测两相邻骨骼关键点是否在同一肢体上，对同一个人任意相邻的两个骨骼关键点间进行连接获取方向向量，依次连接同一肢体上的骨骼关键点，得到骨骼关键点向量矩阵。


4.如权利要求3所述的一种基于关键点检测的多人行为识别系统，其特征在于，所述关键点特征提取单元对每帧图像进行SIFT和SURF关键点的特征提取，得到关键点特征矩阵。


5.如权利要求4所述的一种基于关键点检测的多人行为识别工作方法，其特征在于，包括：
对预处理后的每帧图像进行SIFT和SURF关键点的特征提取；
求取关键点预测矩阵，判断图像中包含人体的个数以及每个人包含的骨骼关键点数；
检测两相邻骨骼关键点是否在同一肢体上，对同一个人任意相邻的两个骨骼关键点间进行连...

【专利技术属性】
技术研发人员：许宏吉，李梦荷，赵文杰，张贝贝，石磊鑫，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37