一种基于轻量级姿态评估网络的跌倒检测方法技术

本发明专利技术公开了一种基于轻量级姿态评估网络的跌倒检测方法，属于行为识别技术领域。本发明专利技术包括：对于获取的关于人体行为图像，首先利用目标检测网络检测出人体的包围框，将人体包围框所在区域切割出来作为轻量级姿态评估网络的输入，以实时得到人体骨骼关键点信息，再将关键点按照预设顺序进行连接以获取二值化的人体骨架图，并计算出骨架图的宽高比值。然后，将人体骨架图输入基于全局平均池化的卷积神经网络二分类模型进行特征提取。最后由Softmax函数输出的分类结果结合骨架宽高比来判断人体是否发生跌倒。本发明专利技术在降低网络模型参数量和计算量以保证实时性的同时兼顾了检测准确率。测准确率。测准确率。

【技术实现步骤摘要】
一种基于轻量级姿态评估网络的跌倒检测方法


[0001]本专利技术涉及计算机视觉中的行为识别
，具体一种基于轻量级姿态评估网络的跌倒检测方法。

技术介绍

[0002]随着世界人口老龄化程度不断加深，老年人口数量庞大且增长速度快，由于老年人的身体平衡能力、各种慢性疾病等原因，老人又属于易跌倒人群，所以在许多疾病突发时，能及时发现，及时送医对挽救老人的生命、防止老人病情恶化造成无法挽救的后果十分重要。因此，各式各样的跌倒检测方法应运而生。
[0003]目前针对老年人跌倒检测的研究主要分为基于可穿戴设备、基于环境传感器、基于计算机视觉三种方式。前两种方式存在着设备复杂、成本较高等技术问题。
[0004]基于计算机视觉的跌倒检测方法又分为传统几何特征方法和机器学习方法。机器学习方法中利用的人体姿态识别项目是基于卷积神经网络和监督学习开发的，其可以实现人体动作、面部表情、手指运动等姿态估计。适用于单人和多人，具有极好的准确性和鲁棒性，但其所使用的特征提取网络耗费大量计算资源，并且使用了很多的参数，导致内存占用过大。随后相继提出了很多轻量化网络，虽然大大减少了网络的计算量和参数数量，但代价是损失了一定精度。
[0005]跌倒检测时常使用机器学习机（SVM）等分类器或卷积神经网络（CNN）算法结合长短期记忆网络（LSTM）来检测跌倒，虽然精度高但并行处理能力较差，将耗费大量的运算时间和机器内存，而单纯使用全连接层分类又会因参数量过大而容易导致过拟合，且精度较低。

技术实现思路

[0006]本专利技术提供了一种基于轻量级姿态评估网络的跌倒检测方法，在降低网络模型参数量和计算量以保证实时性的同时兼顾检测准确率。
[0007]本专利技术采用的技术方案为：一种基于轻量级姿态评估网络的跌倒检测方法，该方法包括下列步骤：步骤S1，采集包含人体行为的图像作为训练图像集，并设置各幅图像的跌倒标签；步骤S2，将训练图像集中的图像输入预置的人体检测网络中进行人体检测，当检测到人体时，提取人体区域得到人体图像；步骤S3，将人体图像输入预置的姿态评估网络中，提取人体关键点信息；按照预置顺序连接所提取的人体关键点生成二值化的人体骨架图；所述姿态评估网络包括特征提取网络和人体关键点提取网络，特征提取网络用于提取人体图像的特征信息并输入人体关键点提取网络，人体关键点提取网络用于预测人体关键点的位置信息；步骤S4，构建及训练用于跌倒检测的二分类模型，得到跌倒检测分类器；
所述二分类模型为基于全局平均池化的卷积神经网络，其输入为二值化的人体骨架图，输出为是否跌倒的跌倒分类结果；步骤S5，基于跌倒检测分类器获取目标图像的跌倒检测结果：将待检测的目标图像输入人体检测网络，当检测到人体时，提取人体区域得到待识别人体图像；否则，继续输入下一幅待检测的目标图像；将待识别人体图像输入姿态评估网络，得到目标对象的二值化的人体骨架图，并计算人体骨架的宽高比；将目标对象的二值化的人体骨架图输入跌倒检测分类器，得到目标对象的跌倒分类结果；基于目标对象的跌倒分类结果与人体骨架的宽高比的加权融合得到目标对象的跌倒检测值，若跌倒检测值大于或等于预置的检测阈值，则判定目标对象发生跌倒。
[0008]进一步的，二分类模型依次包括多层堆叠的卷积层、一层全局平均池化层和Softmax函数层，其中，多层堆叠的卷积层用于提取二值化的人体骨架图的图像特征，全局平均池化层对提取的图像特征进行池化计算，得到对应输出类别的置信值，再经Softmax函数层输出跌倒分类结果，即置信值最大的输出类别。
[0009]进一步的，步骤S4中，对二分类模型的训练具体为：随机抽取步骤S3得到的二值化的人体骨架图，将抽取出的二值化的人体骨架图划分为训练集和测试集；并在训练集和测试集下划分跌倒和非跌倒的数据集。
[0010]对二分类模型，设置不同的模型初始参数，基于训练集中的二值化的人体骨架图对不同模型初始参数的二分类模型分别进行多次训练，得到多个训练好的候选二分类模型；对各候选二分类模型，分别基于测试集测试其跌倒检测准确率，将最高跌倒检测准确率所对应的候选二分类模型作为跌倒检测分类器。
[0011]进一步的，姿态评估网络的特征提取网络的网络结构依次包括：第一卷积块，多个倒残差块组成的堆叠结构、第二卷积块、平均池化层、全连接块和全连接层；其中，第一卷积块包括卷积操作、批归一化操作和采用H
‑
swish激活函数的映射；倒残差块包括深度可分离卷积层和残差连接，且堆叠结构中的部分倒残差块还包括通道注意力机制。
[0012]全连接块包括全连接操作，批归一化操作和采用H
‑
swish激活函数的映射；第二卷积块包括卷积操作、批归一化操作、采用H
‑
swish激活函数的映射以及通道注意力机制。
[0013]进一步的，姿态评估网络的特征提取网络的堆叠结构包括11个倒残差块，按照前向传播的方向，第1至第3个倒残差块的激活函数设置为RELU激活函数，且采用的卷积核大小均设置为3
×
3，第4至第11个倒残差块激活函数设置为H
‑
swish激活函数；且采用的卷积核大小均设置为5
×
5；且除第2和第3个倒残差块外，其余倒残差块均包括通道注意力机制。
[0014]进一步的，姿态评估网络的特征提取网络的堆叠结构包括15个倒残差块，按照前向传播的方向，第1至第6个倒残差块的激活函数设置为RELU激活函数，第7至第15个倒残差块激活函数设置为H
‑
swish激活函数；第1至第3个，以及第7个至第12个倒残差块均采用3
×
3的卷积核；第4个至第6个，以及第13至第15个倒残差块均采用5
×
5的卷积核；且第4个至第
6个，以第11至第15个倒残差块均包括通道注意力机制。
[0015]进一步的，所述二分类模型包括5层卷积层，且每一层卷积层的卷积核大小设置为3
×
3，填充值设置为1，步长设置为1，第1至第5层卷积层的输出通道数依次设置为：64、128、256、512、512；并在每两层卷积层之间依次设置批归一化层和RELU激活函数。
[0016]进一步的，计算人体骨架的宽高比具体为：计算人体骨架的宽度W：获取所有人体关键点的横坐标的最大值和最小值，再基于横坐标的最大值与最小值之差得到宽度W；计算人体骨架的高度H：获取所有人体关键点的纵坐标的最大值和最小值，再基于纵坐标的最大值与最小值之差得到高度H；根据R=W/H得到人体骨架的宽高比R。
[0017]进一步的，步骤S5中，目标对象的跌倒检测值的计算方式为：E=a
×
c+b
×
（R
‑
1）；其中，E表示目标对象的跌倒检测值，c表示目标对象的跌倒分类结果，R表示人体骨架的宽高比，a和b分别表示目标对象的跌倒分类结果和人体骨架的宽高比的权重，且满足a+b=1。
[0018]本专利技术提供的技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于轻量级姿态评估网络的跌倒检测方法，其特征在于，包括下列步骤：步骤S1，采集包含人体行为的图像作为训练图像集，并设置各幅图像的跌倒标签；步骤S2，将训练图像集中的图像输入预置的人体检测网络中进行人体检测，当检测到人体时，提取人体区域得到人体图像；步骤S3，将人体图像输入预置的姿态评估网络，提取人体关键点信息；按照预置顺序连接所提取的人体关键点并生成二值化的人体骨架图；所述姿态评估网络包括特征提取网络和人体关键点提取网络，特征提取网络用于提取人体图像的特征信息并输入人体关键点提取网络，人体关键点提取网络用于预测人体关键点的位置信息；步骤S4，构建及训练用于跌倒检测的二分类模型，得到跌倒检测分类器；所述二分类模型为基于全局平均池化的卷积神经网络，其输入为二值化的人体骨架图，输出为是否跌倒的跌倒分类结果；步骤S5，基于跌倒检测分类器获取目标图像的跌倒检测结果：将待检测的目标图像输入人体检测网络，当检测到人体时，提取人体区域得到待识别人体图像；否则，继续输入下一幅待检测的目标图像；将待识别人体图像输入姿态评估网络，得到目标对象的二值化的人体骨架图，并计算人体骨架的宽高比；将目标对象的二值化的人体骨架图输入跌倒检测分类器，得到目标对象的跌倒分类结果；基于目标对象的跌倒分类结果与人体骨架的宽高比的加权融合得到目标对象的跌倒检测值，若跌倒检测值大于或等于预置的检测阈值，则判定目标对象发生跌倒。2.如权利要求1所述的一种基于轻量级姿态评估网络的跌倒检测方法，其特征在于，二分类模型依次包括多层堆叠的卷积层、一层全局平均池化层和Softmax函数层，其中，多层堆叠的卷积层用于提取二值化的人体骨架图的图像特征，全局平均池化层对提取的图像特征进行池化计算，得到对应输出类别的置信值，再经Softmax函数层输出跌倒分类结果。3.如权利要求1所述的一种基于轻量级姿态评估网络的跌倒检测方法，其特征在于，步骤S4中，对二分类模型的训练具体为：随机抽取步骤S3得到的二值化的人体骨架图，将抽取出的二值化的人体骨架图划分为训练集和测试集；并在训练集和测试集下划分跌倒和非跌倒的数据集；对二分类模型，设置不同的模型初始参数，基于训练集中的二值化的人体骨架图对不同模型初始参数的二分类模型分别进行多次训练，得到多个训练好的候选二分类模型；对各候选二分类模型，分别基于测试集测试其跌倒检测准确率，将最高跌倒检测准确率所对应的候选二分类模型作为跌倒检测分类器。4.如权利要求1所述的一种基于轻量级姿态评估网络的跌倒检测方法，其特征在于，姿态评估网络的特征提取网络的网络结构依次包括：第一卷积块，多个倒残差块组成的堆叠结构、第二卷积块、平均池化层、全连接块和全连接层；其中，第一卷积块包括卷积操作、批归一化操作和采用H
‑
swish激活函数的映射；倒残差块包括深度可分离卷积层和残差连接，且堆叠结构...

【专利技术属性】
技术研发人员：李时，贾海涛，胡佳丽，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：