一种基于人体骨架的顾客异常行为识别方法技术

本发明专利技术公开了一种基于人体骨架的顾客异常行为识别方法，获取顾客行为图像，通过多任务学习姿态估计模型对顾客行为图像进行识别，其中多任务学习姿态估计模型包括人体骨架检测任务和目标检测任务，经模型识别后输出顾客异常行为识别结果。本发明专利技术结合了由上而下和由下而上的人体骨架检测算法，在人体骨架检测模型的基础上提出了一种包含人体骨架检测和目标检测两大检测任务的多任务联合学习姿态估计模型模型，用于监控场景的姿态估计，有效提高了人体骨架检测的泛化能力和准确率，可以对超市监控视频中顾客的人体关键部位或主要关节进行姿态估计检测，识别顾客是否有异常行为，避免安全事故的发生。避免安全事故的发生。避免安全事故的发生。

【技术实现步骤摘要】
一种基于人体骨架的顾客异常行为识别方法


[0001]本专利技术涉及机器和计算机视觉领域，尤其涉及一种基于人体骨架的顾客异常行为识别方法。

技术介绍

[0002]新型的智能安防监控系统通过计算机视觉技术对超市中顾客群体进行监控。智能监控通过人体骨架检测算法，对视频中的多个人进行识别、分类和分析，不仅能识别人群中特殊个体的行为，还能识别和分析群体行为，并对监控视频中的个体或群体的异常行为进行判断和预警，自动发出报警提醒工作人员，极大的提高了视频监控的实时性和实用性。智能安防监控系统还可以针对特定的要求对视频进行初筛和浓缩提取，从而减轻值守人员的工作量，对人们的生命财产安全进行了最大化的保护。
[0003]但在实际应用中，对顾客行为的检测场景是极其复杂的，场景中可能有很多噪声的影响，而且亮度随着昼夜、阴晴的交替更是不可能不变的，所以此类算法在实际应用中会存在准确率不高、实时性差、鲁棒性差等问题，严重影响了检测模型实际部署的效果。

技术实现思路

[0004]为了解决上述现有技术中存在的不足，本专利技术提供一种基于人体骨架的顾客异常行为方法，其可以高效地完成顾客异常行为识别任务，解决现有技术中存在的准确率低、鲁棒性差的缺陷。
[0005]本专利技术解决上述技术问题所采用的技术方案为：获取顾客行为图像；通过多任务学习姿态估计模型对顾客行为图像进行识别，其中所述多任务学习姿态估计模型包括人体骨架检测任务和目标检测任务；输出顾客异常行为识别结果。
[0006]进一步的，多任务学习姿态估计模型包括特征提取模块、多任务共享模块、姿态估计模块以及目标检测模块；其中
[0007]特征提取模块基于VGG16网络，其提取顾客行为图像中人体骨骼关节点，形成图像数据集；
[0008]多任务共享模块也基于VGG16网络，其对图像数据集根据顾客目标检测及顾客骨架模型检测，得到每个顾客的骨骼模型；
[0009]姿态估计模块基于OpenPose网络，其对骨骼模型中的人体姿态进行估计，提取出人体骨骼关键点；
[0010]目标检测模块将人体骨骼关键点带入到判断模型中，判断顾客是否存在异常行为，并输出检测结果。
[0011]进一步的，多任务学习姿态估计模型中的目标检测模块基于特征提取模块的人体特征提取输出结果进行目标检测，并利用检测框进行框定，得到至少一个目标检测框。
[0012]进一步的，根据特征提取模块提取的任一人体关键点信息和候选目标检测框的位置，计算目标检测框与人体关键点信息的距离。当人体关键点信息与候选目标检测框的距
离不大于预设阈值时，人体关键点信息与候选目标检测框匹配。
[0013]进一步的，特征提取模块包括深度可分离卷积模块、逆残差模块以及轻量型注意力模块，其中，所述轻量型注意力模块包括SE结构。
[0014]进一步的，轻量型注意力模块位于深度可分离卷积模块之后，用于加在深度可分离卷积模块之后使多任务学习姿态估计模型在不显著增加计算量的同时提升检测精度以及保持原有的灵敏度。
[0015]进一步的，目标检测模块在异常行为识别阶段，保留多任务学习姿态估计模型中预测网络的第一阶段的网络结构不变，将剩余所有阶段的网络结构进行剪枝，保留预测网络中两个预测分支中的第一预测分支的卷积核来同时处理两个预测分枝的信息流输入，在每一预测分支的末端保留两层1x1的卷积核作为输出，得到人体关键点的热力图以及关键点的亲和力场图，并判断顾客是否存在异常行为，输出顾客异常行为识别结果。
[0016]进一步的，获取历史时期内的顾客行为图像，进行标注并存储为多任务学习姿态估计模型的图像数据集。对图像数据集中图像进行数据增强处理，其中数据增强处理包括图像随机角度翻转、裁剪、镜像处理中至少一种，获得数据增强处理后的图像数据集。使用数据增强处理后的图像数据集中的图像对多任务学习姿态估计模型进行训练。
[0017]与现有技术相比，本专利技术的优点在于：
[0018]1、将人体骨架检测和目标检测统一在一个网络框架下进行处理，通过两个任务之间的高参数共享，使检测模型能够同时、无缝地利用不同类别的数据进行训练，提高了检测模型的准确率。
[0019]2、在原有的姿态估计模块中，引入一种基于运动感知的新的姿态优化网络，改善视频姿态估计的平滑性，同时提高每帧精度，有效地减轻了长期抖动对姿态估计结果的影响。
[0020]3、采用带有注意力机制的轻量化结构来对姿态估计模块的特征提取模块进行优化，将原本特征提取模块的复杂结构迁移到一个结构更简单更轻量的网络中，在保证精度的前提下大幅度减少检测模型的运算量和参数量。
[0021]4、利用结构剪枝，并且采用空洞卷积进一步减少检测模型的运算量。
附图说明
[0022]图1为本专利技术的原理框图；
[0023]图2为多任务学习姿态估计模型的原理框图；
[0024]图3为姿态优化网络原理图；
[0025]图4为特征提取模块的原理框图；
[0026]图5为姿态估计模块的预测网络结构优化原理图。
具体实施方式
[0027]为使本领域技术人员更好地理解本专利技术的技术方案，下面结合附图和具体实施方式对本专利技术作进一步详细描述，但不作为对本专利技术的限定。
[0028]本专利技术提供一种基于人体骨架的顾客异常行为识别方法，该方法不易受场景因素的干扰，具有较高的鲁棒性以及准确率。
[0029]实施例一：参照图1，图1示出了本专利技术公开的于人体骨架的顾客异常行为识别方法，包括：
[0030]S10获取顾客行为图像；
[0031]优选的，所述获取顾客行为图像，包括：利用摄像设备采集顾客在超市等场所的视频信息，从视频信息中提取顾客的行为图像；
[0032]现有的购物场所中，布设有摄像设备，例如摄像头。顾客行为图像包括顾客进入场所中至离开场所期间的包含行为信息的图像。只要顾客进入，其行为都会被摄像设备采集。通过在场所中布设多个摄像设备，实现无死角的采集顾客行为图像。
[0033]优选的，所有采集的顾客行为图像都进行行为标注并存储在图像数据集中用于对多任务学习姿态估计模型进行训练以不断提高模型识别的准确率。
[0034]除了日常采集顾客行为图像外，为了增加数据训练样本，还可对图像数据集中已存储图像进行数据增强处理，处理方式包括但不限于图像随机角度翻转、裁剪、镜像处理中的至少一种。
[0035]S20通过多任务学习姿态估计模型对顾客行为图像进行识别，其中所述多任务学习姿态估计模型包括人体骨架检测任务和目标检测任务。
[0036]示例性地，通过模型提取人体关键点(关节点)的位置坐标进行人体姿态估计。例如，提取脖子、胸部、头部、右肩、左肩、右臀部、左臀部、右手肘、左手肘、右膝盖、左膝盖、右手腕、左手腕、右脚踝和左脚踝这15个关键点的位置坐标，通过关键点的位置坐标获得人体姿态。
[0037]S30.输出顾客异常行为识别结果。
[0038]顾客异常本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人体骨架的顾客异常行为识别方法，其特征在于，包括：获取顾客行为图像；通过多任务学习姿态估计模型对顾客行为图像进行识别；其中所述多任务学习姿态估计模型包括人体骨架检测任务和目标检测任务；输出顾客异常行为识别结果。2.根据权利要求1所述的一种基于人体骨架的顾客异常行为识别方法，其特征在于：所述多任务学习姿态估计模型包括特征提取模块、多任务共享模块、姿态估计模块以及目标检测模块；其中特征提取模块基于VGG16网络，其提取顾客行为图像中人体骨骼关节点，形成图像数据集；所述多任务共享模块也基于VGG16网络，其对图像数据集根据顾客目标检测及顾客骨架模型检测，得到每个顾客的骨骼模型；所述姿态估计模块基于OpenPose网络，其对骨骼模型中的人体姿态进行估计，提取出人体骨骼关键点；所述目标检测模块将人体骨骼关键点带入到判断模型中，判断顾客是否存在异常行为，并输出检测结果。3.根据权利要求2所述的一种基于人体骨架的顾客异常行为识别方法，其特征在于：所述目标检测模块基于所述特征提取模块的人体特征提取输出结果进行目标检测，并利用检测框进行框定，得到至少一个目标检测框。4.根据权利要求3所述的一种基于人体骨架的顾客异常行为识别方法，其特征在于：根据所述特征提取模块提取的任一人体关键点信息和候选目标检测框的位置，计算所述目标检测框与所述人体关键点信息的距离；当所述人体关键点信息与所述候选目标检测框的距离不大于预设阈值时，所述人体关键点信息与所述候选目标检测框匹配。5.根据权利要求...

【专利技术属性】
技术研发人员：汪朵拉，
申请(专利权)人：河海大学，
类型：发明
国别省市：