【技术实现步骤摘要】
一种基于深度学习的人体行为识别方法及识别系统
[0001]本专利技术属于行为识别
，尤其涉及一种基于深度学习的人体行为识别方法及识别系统。
技术介绍
[0002]众所周知，行为识别研究的是视频中目标的动作，比如判断一个人是在走路，跳跃还是挥手。在视频监督，视频推荐和人机交互中有重要的应用。近几十年来，随着神经网络的兴起，发展出了很多处理行为识别问题的方法。不同于目标识别，行为识别除了需要分析目标的空间依赖关系，还需要分析目标变化的历史信息。这就为行为识别的问题增加了难度。输入一系列连续的视频帧，机器首先面临的问题是如何将这一系列图像依据相关性进行分割，比如一个人可能先做了走路的动作，接下来又做了挥手，然后又跳跃。机器要判断这个人做了三个动作，并且分离出对应时间段的视频单独进行判断。其次机器要解决的问题是从一幅图像中分离出要分析的目标，比如一个视频中有一个人和一条狗，需要分析人的行为而忽略狗的行为。最后是将一个人在一个时间段的行为进行特征提取，进行训练，对动作做判断。这些问题是机器需要面临的问题，当然在实际运用中，这些问...
【技术保护点】
【技术特征摘要】
1.一种基于深度学习的人体行为识别方法，其特征在于，包括如下步骤：S1、获取基础数据；所述基础数据包括：具有人、香烟、电话目标的目标检测数据集；将目标检测数据集存储为COCO标注格式，并划分为训练集和测试集；具有抬手动作、正常动作、摔倒动作的动作识别数据集；将动作识别数据集存储为COCO标注格式，并划分为训练集和测试集；具有正常人姿态、打电话姿态、抽烟姿态、摔倒姿态的姿态识别数据集；按照COCO格式手工标注姿态识别数据集；S2、数据预处理；对目标检测数据集的训练集进行的数据预处理包括：数据增强、像素变换、引入多尺度机制、添加噪声和扰动；S3、训练人体行为识别网络；具体包括：S301、目标检测：采用YOLOv3模型，Darknet53
‑
CSP作为backbone，识别出人、香烟、电话的bounding box；S302、姿态识别；使用mmpose框架的自顶向下的HRNet模型，采用MobileNetv2作为backbone；以S301识别出的人的bounding box作为输入，输出人体关键点的heatmap；S303、动作分类；设计分类神经网络，以S302中生成的heatmap作为输入，输出为人体的动作，动作包括摔倒、抬手、其他动作；S304、进行后处理，利用S301中对香烟和电话的识别结果，结合S303的摔倒和抬手的动作标签，生成人体行为识别模型的最终预测结果，最终预测结果包括正常人、打电话、抽烟、摔倒四类；S4、利用人体行为识别网络进行图像识别。2.根据权利要求1所述的基于深度学习的人体行为识别方法，其特征在于：所述目标检测数据集的获取过程为：首先从COCO2017数据集中搜索所有人、电话图片得到人物数据集和电话数据集，在人物数据集当中加入网络上收集的摔倒图片数据集，并获取对应标签文件；其次，从网络收集第三方数据集以及爬取香烟图片，并进行框级标注；最后，将目标检测数据集存储为COCO标注格式，并按照设定的比例划分为训练集和测试集。3.根据权利要求2所述的基于深度学习的人体行为识别方法，其特征在于：所述动作识别数据集的获取过程为：从所述目标检测数据集中，选取具有抬手动作、正常动作和摔倒动作的图片制作动作识别数据集，将动作识别数据集存储为COCO标注格式，并按照设定比例划分为训练集和测试集。4.根据权利要求3所述的基于深度学习的人体行为识别方法，其特征在于：所述姿态识别数据集的获取过程为：从所述目标检测数据集的测试集中采集正常人姿态、打电话姿态、抽烟姿态和摔倒的姿态识别数据集。5.根据权利要求4所述的基于深度学习的人体行为识别方法，其特征在于：图像预处理中：数据增强是对目标检测数据集的训练集图像进行翻转，对图像平移和裁剪，对图像实施色彩变化；
像素变换是从目标检测数据集的训练集图像中随机选取2个样本进行随机加权求和，样本的标签也对应于加权求和；从训练集中随机选取四张图片，进行随机裁剪，再拼接到一张图像上作为训练数据；引入多尺度机制是将目标检测数据集的训练集图像等比缩放到320和608的尺寸；添加噪声和扰动是对目标检测数据集的训练集图像添加高斯、椒盐噪声；对图像施加对抗扰动。6.根据权利要求4所述的基于深度学习的人体行为识别方法，其特征在于：在S301中，在神经网络架构中加入特征金字塔，以分治的策略处理小、中、大型目标，所述YOLOv3模型在mmdetection框架上进行实现，在数据预处理部分使用最小IoU随机裁切、...
【专利技术属性】
技术研发人员：庞文魁，李梦鸽，郑亚娟，张艺楠，武进军，
申请(专利权)人：天津安捷物联科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。