一种物联网边缘服务环境下深度感知的人体行为分析方法技术

技术编号:35062368 阅读:13 留言:0更新日期:2022-09-28 11:17
本发明专利技术公开了一种物联网边缘服务环境下深度感知的人体行为分析方法,包括:S1,图像预处理;S2,姿态点提取,提取出人体骨骼关键点;S3,基于姿态点置信度,对人体姿态进行预筛选;S4,通过人体两侧姿态点深度信息得到的不对称关系来确定出人体偏转角,通过所得偏转角来纠正人体姿态点二维坐标信息,得到正面人体姿态点二维坐标信息;S5,基于LSTM网络构建骨架行为识别模型,采用骨架行为识别模型对指定阶段内的人体关节数据序列进行处理,对其中包含的异常行为进行识别分析。本发明专利技术能够确保检测结果的实时性和精准性。果的实时性和精准性。果的实时性和精准性。

【技术实现步骤摘要】
一种物联网边缘服务环境下深度感知的人体行为分析方法


[0001]本专利技术属于人工智能目标识别,具体涉及一种物联网边缘服务环境下深度感知的人体行为分析方法。

技术介绍

[0002]计算机视觉领域中的人体行为识别方向在生活的诸多领域中都有着重大的应用价值,很多学者也对此展开了崇论宏议。人体行为识别中最热门的研究领域之一便是人体异常行为识别/检测。现实生活中,异常行为的表现方式各式各样,比如地铁里人群踩踏、马路上乱闯红绿灯、校园里打架斗殴、深水区游泳等。除此以外,异常行为定义与场景和时间息息相关。不同的时间,不同的场景中,同一种行为的定义也会随着不同。比如在餐厅的吃饭属于正常行为,但是在课堂中的吃饭却属于异常行为。因此,异常行为检测需要因地因时制宜,具体问题具体对待,设计不同解决方案。
[0003]目前,常见的异常行为检测方法主要有3种:1)基于环境设备的检测方法,根据人体产生异常行为时形成的环境噪声进行检测,如感知物体压力和声音的变化检测,误报率较高,极少被采纳使用。2)基于穿戴式传感器的检测方法,利用加速度计和陀螺仪检测跌倒等异常行为,长时间配戴传感器影响人的生活舒适度,会增加老年人机体负担,从事复杂活动时误报率较高。3)基于视觉识别的检测方法,可分为两类:一类是传统机器视觉方法提取有效的异常行为特征,对硬件要求低,但易受背景、光线变化等环境因素的影响,鲁棒性差;一类是人工智能方法,将相机图像数据用于卷积神经网络的训练和推理,虽然识别精度高,但高效的性能往往伴随着高昂的硬件成本,极大的限制了落地应用。近年来移动终端和小型嵌入式设备也具备了令人青睐的算力,且价格低廉,为人工智能算法的迁移部署提供了可能性。

技术实现思路

[0004]解决的技术问题:针对在物联网边缘服务环境下当光线不足或不均匀的情况时拍摄的图像显示亮度低、对比度差、局部细节模糊、颜色保真度差、亮度突然变化;以及针对无法处理帧退化(快速运动造成的模糊)、视频散焦或姿势遮挡、检测目标过小等问题,本专利技术提出一种物联网边缘服务环境下的人体行为分析方法,依次进行图像预处理、姿态点提取、姿态预筛选、姿态点矫正、人体行为分析,确保检测结果的实时性和精准性。
[0005]技术方案:
[0006]一种物联网边缘服务环境下深度感知的人体行为分析方法,所述人体行为分析方法包括以下步骤:
[0007]S1,图像预处理:将采集得到的视频流转化为图像帧,针对不同环境参数下的图像的各个像素点灰度值的变化,对图像的对比度做出自适应调整;
[0008]S2,姿态点提取:基于YOLOv5s网络构建目标检测模型,采用目标检测模型进行目标检测,识别出图像中的人体目标,标记各个人体区域矩形框;对各个人体区域矩形框中的
人体姿态进行估计,提取出人体骨骼关键点;
[0009]S3,姿态预筛选:基于姿态点置信度,对人体姿态进行预筛选,对于任意一个人体姿态,当其所对应的人体骨骼关键点置信度为0的数目大于预设阈值时,忽略此人体姿态;
[0010]S4,正面人体姿态点二维坐标信息计算:针对每个预筛选的人体姿态,获取其所对应的目标姿态点深度信息,通过人体两侧姿态点深度信息得到的不对称关系来确定出人体偏转角,通过所得偏转角来纠正人体姿态点二维坐标信息,得到正面人体姿态点二维坐标信息;
[0011]S5,异常行为识别:根据正面人体姿态点二维坐标信息统计得到人体关节数据序列,基于LSTM网络构建骨架行为识别模型,采用骨架行为识别模型对指定阶段内的人体关节数据序列进行处理,对其中包含的异常行为进行识别分析。
[0012]进一步地,步骤S1中,图像预处理的过程包括以下步骤:
[0013]S11,加载原始RGB彩色图像S(x,y),将其转化为HSI颜色模型,得到对应的强度图像S
I
(x,y);
[0014]S12,提高强度图像S
I
(x,y),具体地:
[0015]S121,估计强度的光照分量S
IL
(x,y):
[0016][0017]式中,和都是以像素i为中心的w
i
窗口中的线性系数,i=1,2,3...N,N为窗口总个数;
[0018]S122,使用自适应伽马函数校正光照分量:
[0019]S
ILG
(x,y)=S
IL
(x,y)
φ(x,y)

[0020][0021]通过光照分量各个像素点的灰度值计算得到自适应系数a的表达式:
[0022][0023]式中,S
ILG
(x,y)为纠正后的照明分量,φ(x,y)为伽马矫正函数,m和n为图像的高度和宽度,参数a由灰度值自适应导出;
[0024]S13,采用下述公式执行全局线性拉伸:
[0025][0026]式中,min(S
ILG
(x,y))和max(S
ILG
(x,y))分别是图像中的最小和最大像素值;
[0027]S14,采用下述公式计算反射分量:
[0028]S
IR
(x,y)=S
I
(x,y)/S
IL
(x,y);
[0029]S15,使用WGIF去噪反射组件去除图像噪声:
[0030][0031]S16,进行图像融合操作:
[0032]S161,采用下述公式计算增强的强度图像:
[0033]S
IE
(x,y)=S
ILGf
(x,y)S
IRH
(x,y);
[0034]S162,利用s

双曲正切函数提高融合图像的亮度:
[0035][0036][0037]式中,b*是S
IE
的平均强度;
[0038]S17,进行颜色恢复,具体地:
[0039]S171,计算亮度增益系数α(x,y):
[0040]α(x,y)=S
IEf
(x,y)/S
I
(x,y);
[0041]S172,通过线性颜色恢复将增强的HSI图像转换为RGB:
[0042]R1(x,y)=α(x,y)R0(x,y);
[0043]G1(x,y)=α(x,y)G0(x,y);
[0044]B1(x,y)=α(x,y)B0(x,y);
[0045]式中,原始和增强彩色图像的RGB通道分别表示为[R0,G0,B0]和[R1,G1,B1]。
[0046]进一步地,步骤S2中,目标检测模型的损失函数为:
[0047][0048]式中,M为所有正样本的集合,|M|为正样本数,b表真实目标,b

表示目标框,b∩表示两者之间的交集区域,b∪b

分别表示两者之间并集区域,F
PIOU
函数的计算公式如下:
[0049]本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种物联网边缘服务环境下深度感知的人体行为分析方法,其特征在于,所述人体行为分析方法包括以下步骤:S1,图像预处理:将采集得到的视频流转化为图像帧,针对不同环境参数下的图像的各个像素点灰度值的变化,对图像的对比度做出自适应调整;S2,姿态点提取:基于YOLOv5s网络构建目标检测模型,采用目标检测模型进行目标检测,识别出图像中的人体目标,标记各个人体区域矩形框;对各个人体区域矩形框中的人体姿态进行估计,提取出人体骨骼关键点;S3,姿态预筛选:基于姿态点置信度,对人体姿态进行预筛选,对于任意一个人体姿态,当其所对应的人体骨骼关键点置信度为0的数目大于预设阈值时,忽略此人体姿态;S4,正面人体姿态点二维坐标信息计算:针对每个预筛选的人体姿态,获取其所对应的目标姿态点深度信息,通过人体两侧姿态点深度信息得到的不对称关系来确定出人体偏转角,通过所得偏转角来纠正人体姿态点二维坐标信息,得到正面人体姿态点二维坐标信息;S5,异常行为识别:根据正面人体姿态点二维坐标信息统计得到人体关节数据序列,基于LSTM网络构建骨架行为识别模型,采用骨架行为识别模型对指定阶段内的人体关节数据序列进行处理,对其中包含的异常行为进行识别分析。2.根据权利要求1所述的物联网边缘服务环境下深度感知的人体行为分析方法,其特征在于,步骤S1中,图像预处理的过程包括以下步骤:S11,加载原始RGB彩色图像S(x,y),将其转化为HSI颜色模型,得到对应的强度图像S
I
(x,y);S12,提高强度图像S
I
(x,y),具体地:S121,估计强度的光照分量S
IL
(x,y):式中,和都是以像素i为中心的w
i
窗口中的线性系数,i=1,2,3...N,N为窗口总个数;S122,使用自适应伽马函数校正光照分量:S
ILG
(x,y)=S
IL
(x,y)
φ(x,y)
;通过光照分量各个像素点的灰度值计算得到自适应系数a的表达式:式中,S
ILG
(x,y)为纠正后的照明分量,φ(x,y)为伽马矫正函数,m和n为图像的高度和宽度,参数a由灰度值自适应导出;S13,采用下述公式执行全局线性拉伸:
式中,min(S
ILG
(x,y))和max(S
ILG
(x,y))分别是图像中的最小和最大像素值;S14,采用下述公式计算反射分量:S
IR
(x,y)=S
I
(x,y)/S
IL
(x,y);S15,使用WGIF去噪反射组件去除图像噪声:S16,进行图像融合操作:S161,采用下述公式计算增强的强度图像:S
IE
(x,y)=S
ILGf
(x,y)S
IRH
(x,y);S162,利用s

双曲正切函数提高融合图像的亮度:双曲正切函数提高融合图像的亮度:式中,b*是S
IE
的平均强度;S17,进行颜色恢复,具体地:S171,计算亮度增益系数α(x,y):α(x,y)=S
IEf
(x,y)/S
I
(x,y);S172,通过线性颜色恢复将增强的HSI图像转换为RGB:R1(x,y)=α(x,y)R0(x,y);G1(x,y)=α(x,y)G0(x,y);B1(x,y)=α(x,y)B0(x,y);式中,原始和增强彩色图像的RGB通道分别表示为[R0,G0,B0]和[R1,G1,B1]。3.根据权利要求1所述的物联网边缘服务环境下深度感知的人体行为分析方法,其特征在于,步骤S2中,目标检测模型的损失函数为:式中,M为所有正样本的集合,|M|为正样本数,b表真实目标,b

表示目标框,b∩表示两者之间的交集区域,b∪分别表示两者之间并集区域,F
PIOU
函数的计算公式如下:式中,S
b∩b

表示经损失函数内核函数处理后,目标b和目标框b

交集的像素量数;S
b∪
表示两者并集的像素量数。4.根据权利要求1所述的物联网边缘服务环境下深度感知的人体行为分析方法,其特征在于,在目标检测模型中,FPN聚合相邻特征图层的方式公式如下:式中,f
inner
是1*1的卷积操作实现通道匹配,f
upsample
代表2倍上采样操作实现特征图大小匹配,利用数据集的统计信息计算平衡因子
式中,和N
pi
分别代表p
i+1
和p
i
层的数量。5.根据权利要求4所述的物联网边缘服务环境下深度感知的人体行为分析方法,其特征在于,步骤S2中,采用DCPose框架对各个人体区域矩形框中的人体姿态进行估计,提取出人体骨骼关键点;所述DCPose框架包括姿态时间合并模块、姿态残差融合模块和姿态矫正模块;所述姿态时间合并模块用于定位关键点的搜索范围,定位过程包括以下步骤:将前一帧、这一帧和后一帧的预测热图结合得到新的热图,根据时间分配权重,得到初始的权重,时间上更接近当前帧的帧显式分配更高的权重:式中h
i
(p)、h
i
(c)和h
i
(n
*
)表示初始关键点热图,p、c和n
*
表示帧索引;利用神经网络对权值进行调整,对于每个关节,仅包括其自己特定时...

【专利技术属性】
技术研发人员:张晖杜新宇赵海涛朱洪波
申请(专利权)人:南京邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1