融合面部表情的居家老人摔倒检测方法技术

本发明专利技术涉及老人摔倒检测技术领域，且公开了融合面部表情的居家老人摔倒检测方法，包括以下步骤：1)收集监控视频数据集；2)提取视频中的前景人体目标；3)获取人体头部骨骼点坐标并提取人体头部骨骼点的位移时序特征，同时获取监控视频中人体的面部图像；4)将头部骨骼点的位移时序特征与面部图像分别输入位移时序特征注意力模块与面部表情识别模块；5)获取特征权重，对两个神经网络模块的输出张量特征采用自适应加权特征融合方式进行融合；6)融合后的特征经过分类器进行判断是否为摔倒。该融合面部表情的居家老人摔倒检测方法，通过将面部表情特征与头部骨骼点的位移特征自适应加权特征融合，提高了检测的准确性。提高了检测的准确性。提高了检测的准确性。

【技术实现步骤摘要】
融合面部表情的居家老人摔倒检测方法


[0001]本专利技术涉及老人摔倒检测
，具体为一种融合面部表情的居家老人摔倒检测方法。

技术介绍

[0002]日常生活中，导致人体摔倒的原因主要有两种，一种是因腿脚不方便被绊倒或滑到，另一种是因疾病引起的摔倒，摔倒时如果没有得到及时的救助，往往会导致伤情加重，甚至付出生命代价，因此，对于人体的摔倒进行检测显得尤为重要。
[0003]目前，针对老年人摔倒检测多基于人体动作的特征，常见的人体摔倒检测技术可分为三类，包括基于穿戴式，基于环境传感器以及基于视频，例如中国专利CN 109584506 A公开了一种基于云平台居家老人摔倒监测系统及方法，该专利通过利用嵌入式、云平台技术构造出一个智能居家老人摔倒监测系统，从而为广大老人的居家养老服务，采用可穿戴式检测摔倒设备，成本低，私密性高，但是这些方法需穿戴传感器，舒适性较差，或者容易受周围环境的偶然性与不确定性影响，并且有时会因老人下蹲以及其他一些行为而产生误判，故而，提出一种融合面部表情的居家老人摔倒检测方法来解决上述问题。/>
技术实现思路
...

【技术保护点】

【技术特征摘要】
1.融合面部表情的居家老人摔倒检测方法，其特征在于，包括以下步骤：1)收集监控视频数据集；2)提取视频中的前景人体目标；3)采用OpenPose算法获取人体头部骨骼点坐标并提取人体头部骨骼点的位移时序特征，利用OpenCV自带的Haar特征人脸检测器，获取监控视频中人体的面部图像；4)将头部骨骼点的位移时序特征与面部图像分别输入位移时序特征注意力模块与面部表情识别模块，分别得到包含位移关键帧信息的第一输出张量特征与包含面部表情信息的第二输出张量特征；5)获取特征权重，对两个神经网络模块的输出张量特征采用自适应加权的特征融合方式进行融合；6)融合后的特征经过由全连接层与Sigmoid激活函数组成的分类器进行判断是否为摔倒。2.根据权利要求1所述的融合面部表情的居家老人摔倒检测方法，其特征在于，所述步骤2)采用ViBe方法提取前景人体目标，为后续的头部骨骼点位移检测与面部表情检测做准备。3.根据权利要求1所述的融合面部表情的居家老人摔倒检测方法，其特征在于，所述步骤3)首先通过OpenPose算法采集得到头部骨骼点的坐标，计算前后相邻两帧头部骨骼点的位移量，将视频中头部骨骼点的坐标逐帧计算位移量，组合成一个头部骨骼点位移序列，同时利用OpenCV自带的Haar特征人脸检测器，获取监控视频中人体的面部图像，将得到的头部骨骼点的位移时序特征送入位移时序特征注意力模块，获取的面部图像送入由卷积神经网络(CNN)为主干网络，并在相邻网络层之间引入通道注意力网络(SENet)构建的面部表情识别模块，将两个模块的输出特征进行自适应加权特征融合后送入分类器进行判断是否为摔倒。所述计算头部骨骼点的位移时序特征的具体步骤如下：a.假设t时刻头部骨骼点的坐标为(x
t
,y
t
)，t+1时刻的头部骨骼点坐标为(x
t+1
,y
t+1
)，d代表t时刻与t+1时刻时间跨度内头部骨骼点的位移量，计算公式为：b.计算由连续时刻构成序列长度为T的头部骨骼点的位移时序特征Q：Q＝{d
p
|p＝1,2
…
...

【专利技术属性】
技术研发人员：张小瑞，解其健，孙伟，刘青山，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：