一种行为识别方法及装置制造方法及图纸

本发明专利技术涉及一种行为识别方法及装置，以及一种计算机可读存储介质。该行为识别方法包括以下步骤：获取识别对象的多帧连续图像；提取所述识别对象在各所述图像中的姿态特征；按时间顺序联合所述识别对象的各所述姿态特征，以获取所述识别对象在所述多帧连续图像中的行为特征；以及将所述行为特征输入预先训练的行为分析模块，以识别所述识别对象在所述多帧连续图像中的行为。通过实施该行为识别方法，本发明专利技术能够根据多帧连续图像来识别人体的连续行为动作，从而进一步满足智能控制、安防监控、体育竞技、影视娱乐、教育辅助等多个领域对动态行为的实际识别需求，以扩大人体识别技术的应用范围。

【技术实现步骤摘要】
一种行为识别方法及装置
本专利技术涉及计算机视觉(ComputerVision)
，尤其涉及一种基于人体肢体点检测的连续行为的识别方法、一种实施该识别方法的识别装置，以及一种对应的计算机可读存储介质。
技术介绍
姿态识别技术是计算机科学
的一项新兴技术，能够基于人体图像来自动识别其中被识别者的面部表情、身体姿势和手指动作，并输出对应的姿态分类结果，对智能控制、安防监控、体育竞技、影视娱乐、教育辅助等多个领域都具有巨大的商业价值。现有的姿态识别技术主要基于包含人体姿态的静态图像本身来实施。这些方案普遍需要以大量图像中的像素组合方式为训练样本来训练深度学习模型，并基于待识别图像中所有像素的特征数据来识别图像中被识别者的姿态，因此存在特征维度高、数据处理量大的缺陷，而且无法满足各领域对识别人体连续行为的实际需求。为了克服上述缺陷，本领域亟需一种连续行为的识别技术，用于根据多帧连续图像来识别人体的连续行为动作，从而进一步满足智能控制、安防监控、体育竞技、影视娱乐、教育辅助等多个领域对动态行为的实际识别需求，以扩大人体识别技术本文档来自技高网...

【技术保护点】
1.一种行为识别方法，其特征在于，包括以下步骤：/n获取识别对象的多帧连续图像；/n提取所述识别对象在各所述图像中的姿态特征；/n按时间顺序联合所述识别对象的各所述姿态特征，以获取所述识别对象在所述多帧连续图像中的行为特征；以及/n将所述行为特征输入预先训练的行为分析模块，以识别所述识别对象在所述多帧连续图像中的行为。/n

【技术特征摘要】
1.一种行为识别方法，其特征在于，包括以下步骤：
获取识别对象的多帧连续图像；
提取所述识别对象在各所述图像中的姿态特征；
按时间顺序联合所述识别对象的各所述姿态特征，以获取所述识别对象在所述多帧连续图像中的行为特征；以及
将所述行为特征输入预先训练的行为分析模块，以识别所述识别对象在所述多帧连续图像中的行为。


2.如权利要求1所述的行为识别方法，其特征在于，所述提取所述识别对象在各所述图像中的姿态特征的步骤包括：
获取所述识别对象的多个肢体点在各所述图像中的坐标信息；以及
根据所述多个肢体点的坐标信息确定所述识别对象在各所述图像中的姿态特征。


3.如权利要求2所述的行为识别方法，其特征在于，所述获取所述识别对象的多个肢体点在各所述图像中的坐标信息的步骤包括：
将各所述图像分别输入姿态估计模块，以分别获取每帧所述图像对应的多张置信度图，其中，每张所述置信度图对应一类所述肢体点；以及
根据每帧所述图像的各所述置信度图中的置信度峰值，确定所述识别对象的各类对应肢体点在各所述图像中的坐标信息。


4.如权利要求2所述的行为识别方法，其特征在于，所述根据所述多个肢体点的坐标信息确定所述识别对象在各所述图像中的姿态特征的步骤包括：
根据每两个相邻的所述肢体点确定所述识别对象的一段肢体，以确定所述识别对象的多段所述肢体；
根据各段所述肢体的第一肢体点及第二肢体点在一帧所述图像中的坐标信息，确定各段所述肢体对应于该帧图像的角度信息；
根据各段所述肢体对应于该帧图像及前一帧图像的角度信息，计算各段所述肢体对应于该帧图像的角度差值信息；
根据各段所述肢体的所述第一肢体点在该帧图像及所述前一帧图像中的坐标信息，计算各段所述肢体对应于该帧图像的肢体点差值信息；以及
根据所述识别对象的各段所述肢体对应于该帧图像的角度信息、角度差值信息及肢体点差值信息，确定所述识别对象在该帧图像中的姿态特征。


5.如权利要求4所述的行为识别方法，其特征在于，所述肢体点包括：左腕、左肘、左肩、右腕、右肘、右肩、左踝、左膝、左胯、右踝、右膝及右胯，
所述肢体包括：左小臂、左大臂、右小臂、右大臂、左小腿、左大腿、右小腿及右大腿。


6.如权利要求3所述的行为识别方法，其特征在于，所述多帧连续图像中包括多个所述识别对象，所述获取所述识别对象的多个肢体点在各所述图像中的坐标信息的步骤还包括：
将各所述图像分别输入所述姿态估计模块，以分别获取每帧所述图像对应的多张关联图，其中，每张所述关联图指示从一段肢体的第一肢体点到其第二肢体点的方向信息；以及
根据每帧所述图像的各所述关联图，确定各段对应肢体的所述第一肢体点及所述第二肢体点所属的识别对象。


7.如权利要求2所述的行为识别方法，其特征在于，所述获取所述识别对象的多个肢体点在各所述图像中的坐标信息的步骤包括：
根据属于同一所述识别对象的所述多个肢体点在一帧所述图像中的坐标信息，确定所述识别对象在该帧图像中的人体边界框；
将该帧图像中所述识别对象的人体边界框，分别与前一帧图像中的各人体边界框做交并比运算，以计算该帧图像中所述识别对象的人体边界框与所述前一帧图像中的各所述人体边界框的重合度；以及
根据所述重合度对所述识别对象在各所述图像中的位置进行追踪。


8.如权利要求7所述的行为识别方法，其特征在于，所述根据所述重合度对所述识别对象在各所述图像中的位置进行追踪的步骤包括：
在所述前一帧图像中，将与该帧图像中所述识别对象的人体边界框的重合度最大的人体边界框确定为候选边界框；
对该帧图像中所述识别对象的人体边界框中的图像做特征提取，以获取第一编码特征；
对所述候选边界框中的图像做特征提取，以获取第二编码特征；
计算所述第一编码特征与所述第二编码特征的余弦值；以及
响应于所述余弦值大于或等于预设的余弦阈值，将该帧图像中的所述识别对象确定为所述前一帧图像中所述候选边界框对应的识别对象。


9.如权利要求1所述的行为识别方法，其特征在于，还包括以下步骤：
确定所述行为分析模块的识别帧率；
根据所述识别帧率及待识别行为的持续时间，以对应数量的lstm单元构建LSTM模块；
以全连接输入层、所述LSTM模块及全连接输出层构建所述行为分析模块；以及
根据多组符合所述识别帧率的行为图像样本及其对应的标注数据训练所述行为分析模块，以使其具备根据输入的多帧连续图像输出对应行为分类的功能，其中，每组所述行为图像样本中包括多帧连续图像样本，每帧所述图像样本中包...

【专利技术属性】
技术研发人员：程斌，
申请(专利权)人：希亚思上海信息技术有限公司，
类型：发明
国别省市：上海;31