基于骨骼点的跌倒检测方法及其跌倒检测装置制造方法及图纸

本发明专利技术提供一种基于骨骼点的跌倒检测方法及其装置，所述方法包括：通过第一图片样本训练第一特征提取神经网络，所述第一特征提取神经网络用于提取表征人体上的关键骨骼点的多个第一特征点；将第二视频样本输入训练好的所述第一特征提取神经网络，得到表征所述第二视频样本中的人体的关键骨骼点的多个第二特征点；对所述多个第二特征点进行编码生成预测特征图；通过所述预测特征图训练第二行为分类神经网络，所述第二行为分类神经网络用于对所述预测特征图中表示的行为进行分类；将被监测对象的视频数据依次输入训练好的所述第一特征提取神经网络和所述第二行为分类神经网络，以输出所述被监测对象的行为类别。

Fall Detection Method Based on Bone Point and Its Fall Detection Device

The present invention provides a fall detection method based on skeleton points and its device. The method includes: training the first feature extraction neural network through the first picture sample, extracting the first feature neural network for extracting multiple first feature points representing key skeletal points on human body, and inputting the second video sample into the trained first feature extraction neural network to obtain the first feature. Several second feature points representing the key skeletal points of the human body in the second video sample are represented; the prediction feature map is generated by coding the multiple second feature points; the second behavior classification neural network is trained by the prediction feature map, and the second behavior classification neural network is used to classify the behavior represented in the prediction feature map; and the video number of the monitored object is used to classify the behavior represented in the prediction feature map. The first trained feature extraction neural network and the second behavioral classification neural network are input in turn to output the behavioral category of the monitored object.

【技术实现步骤摘要】
基于骨骼点的跌倒检测方法及其跌倒检测装置
本专利技术涉及机器视觉深度学习
，尤其涉及一种基于骨骼点的跌倒检测方法、装置、计算机设备及存储介质。
技术介绍
随着我国进入老龄化社会，养老问题日趋严峻。老年人的各项身体机能指标下降，活动能力降低，特别是平衡力、反应能力和协同能力的不足可能造成意外跌倒情况发生。当老人发生跌倒后，如果没有获得及时的援助甚至可能因此在家中身亡。因此，家庭或者其他环境中针对老人的跌倒检测是计算机视觉和机器学习领域中一个很有意义的研究问题。目前现有的跌倒检测主要有三种方法，分别为基于穿戴式设备的跌倒检测、基于深度摄像头的跌倒检测和基于普通摄像头的跌倒检测。其中基于穿戴式设备的方法必须时刻携带，给使用者带来很大不便，实际应用价值不大；基于深度摄像头的方法由于成本昂贵，实际推广难度大；而基于普通摄像头的方法成本便宜、使用方便，但对算法的要求较高。由于普通摄像头能够覆盖各个地方，因此其硬件基础是成熟的。目前业内利用普通摄像头进行跌倒检测已经提出了很多方法。例如，直接利用图像序列的信息对跌倒行为进行分类，利用检测算法对人物的边框变化进行分类。但是目前跌倒检测的数据较少，场景单一，不能应用在各种实际场景中。对于利用图像序列的分类方法，由于数据少，不能够训练出优秀的网络。对于利用检测算法对人物边框分类的方法，利用了大量其他数据集的信息，能够有效检测到人，但是在利用边框信息分类的时候，由于边框信息有限，不能得到泛化性好的网络。
技术实现思路
本专利技术的目的是提供一种基于骨骼点的跌倒检测方法、装置、计算机设备及存储介质，用于解决现有技术存在的问题。为实现上述目的，本专利技术提供一种基于骨骼点的跌倒检测方法，包括以下步骤：通过第一图片样本训练第一特征提取神经网络，所述第一特征提取神经网络用于提取所述第一图片样本中的多个第一特征点，所述第一特征点表征人体上的关键骨骼点；将第二视频样本输入训练好的所述第一特征提取神经网络，得到表征所述第二视频样本中的人体的关键骨骼点的多个第二特征点；对所述多个第二特征点进行编码生成预测特征图；通过所述预测特征图训练第二行为分类神经网络，所述第二行为分类神经网络用于对所述预测特征图中表示的行为进行分类；将被监测对象的视频数据依次输入训练好的所述第一特征提取神经网络和所述第二行为分类神经网络，以输出所述被监测对象的行为类别。进一步地，所述通过第一图片样本训练第一特征提取神经网络，包括：所述第一图片样本输入Resnet残差网络，得到第一提取数据；所述第一提取数据分别通过多个具有不同膨胀系数的卷积模块，得到多个具有不同特征通道的第二提取数据；所述多个具有不同特征通道的第二提取数据组合后进入以残差卷积堆积起来的第一卷积层，得到多个具有不同感知野的第三提取数据；对所述多个具有不同感知野的第三提取数据进行融合，然后进入以残差模块堆积起来的第二卷积层，最终输出表征人体上的关键骨骼点的多个第一特征点；通过第一损失函数对所述第一特征提取网络进行反向训练。进一步地，所述通过所述预测特征图训练第二行为分类神经网络，包括：所述预测特征图通过常规卷积模块，得到第一分类数据；所述第一分类数据分别通过多个具有不同膨胀系数的卷积模块，得到多个具有不同特征通道的第二分类数据；所述多个具有不同特征通道的第二分类数据组合后依次通过三个常规卷积模块，最终输出行为分类。进一步地，所述第一损失函数F为：其中xp、yp代表所述第一特征提取神经网络提取到的第一特征点的预测坐标，xg、yg代表所述第一特征点的实际坐标。进一步地，所述第二损失函数L为：其中，所述xk代表第k种行为类别的参数值，zk代表第k中行为类别的预测概率，L2代表防止发生过拟合的正则项。进一步地，所述卷积模块由以下层依次串联组成：卷积层、批次正则化层、Relu激活函数层、卷积层、批次正则化层、Relu激活函数层、池化层。进一步地，所述对所述多个第二特征点进行编码生成预测特征图，包括：对所述多个第二特征点进行两两配对；计算每两个第二特征点之间的距离和速度:vxit＝xit-xi(t-1)vyit＝yit-yi(t-1)上式中，xit、yit分别代表t时刻的第i个第二特征点的横、纵坐标；lxjt代表t时刻第i个第二特征点和第j个第二特征点的欧拉距离，vxit代表第i个第二特征点在t时刻在x方向上的速度，vyit代表第i个第二特征点在y方向上的速度；将所有计算得到的距离和速度数据组合形成预测特征图。为实现上述目的，本专利技术还提出一种基于骨骼点的跌倒检测装置，包括：第一神经网络训练模块，适用于通过第一图片样本训练第一特征提取神经网络，所述第一特征提取神经网络用于提取所述第一图片样本中的多个第一特征点，所述第一特征点表征人体上的关键骨骼点；特征点提取模块，适用于将第二视频样本输入训练好的所述第一特征提取神经网络，得到表征所述第二视频样本中的人体的关键骨骼点的多个第二特征点；特征图生成模块，适用于对所述多个第二特征点进行编码生成表征所述多个第二特征点的分布情况的预测特征图；第二神经网络训练模块，适用于通过所述预测特征图训练第二行为分类神经网络，所述第二行为分类神经网络用于对所述预测特征图中表示的行为进行分类；分类模块，适用于将被监测对象的视频数据依次输入训练好的所述第一特征提取神经网络和所述第二行为分类神经网络，以输出所述被监测对象的行为类别。为实现上述目的，本专利技术还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。为实现上述目的，本专利技术还提供计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。本专利技术针对现有技术中跌倒检测数据不足的问题，利用其他数据训练人体骨骼点特征提取神经网络；针对利用边框信息不足以检测出跌倒行为的问题，利用骨骼点信息对跌倒行为进行分类。本专利技术通过图片样本库训练第一特征提取神经网络，用于提取人体中的关键骨骼点信息；通过视频样本库训练第二行为分类神经网络，在已提取关键骨骼点信息的基础上，判断视频中的人体动作是否属于跌倒行为。通过本专利技术训练出的第一特征提取神经网络和第二行为分类神经网络，能够准确地提取被监测对象的骨骼点信息，并根据骨骼点信息及时判断被监测对象是否发生了跌倒行为，能够为行动不便的老人、伤残人士等提供及时有效地看护，有利于提高人们的生活质量。附图说明图1为本专利技术基于骨骼点的跌倒检测方法实施例一的流程图；图2为本专利技术实施例一中的第一特征提取神经网络的结构示意图；图3为本专利技术实施例一中的第二行为分类神经网络的结构示意图；图4为本专利技术基于骨骼点的跌倒检测装置实施例一的程序模块示意图；图5为本专利技术内存共享装置实施例一的硬件结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提供的跌倒检测方法、装置、计算机设备及存储介质，适用于机器视觉
，为独居情况下的老人或本文档来自技高网...

【技术保护点】
1.一种基于骨骼点的跌倒检测方法，其特征在于，包括以下步骤：通过第一图片样本训练第一特征提取神经网络，所述第一特征提取神经网络用于提取表征人体上的关键骨骼点的多个第一特征点；将第二视频样本输入训练好的所述第一特征提取神经网络，得到表征所述第二视频样本中的人体的关键骨骼点的多个第二特征点；对所述多个第二特征点进行编码生成预测特征图；通过所述预测特征图训练第二行为分类神经网络，所述第二行为分类神经网络用于对所述预测特征图中表示的行为进行分类；将被监测对象的视频数据依次输入训练好的所述第一特征提取神经网络和所述第二行为分类神经网络，输出所述被监测对象的行为类别。

【技术特征摘要】
1.一种基于骨骼点的跌倒检测方法，其特征在于，包括以下步骤：通过第一图片样本训练第一特征提取神经网络，所述第一特征提取神经网络用于提取表征人体上的关键骨骼点的多个第一特征点；将第二视频样本输入训练好的所述第一特征提取神经网络，得到表征所述第二视频样本中的人体的关键骨骼点的多个第二特征点；对所述多个第二特征点进行编码生成预测特征图；通过所述预测特征图训练第二行为分类神经网络，所述第二行为分类神经网络用于对所述预测特征图中表示的行为进行分类；将被监测对象的视频数据依次输入训练好的所述第一特征提取神经网络和所述第二行为分类神经网络，输出所述被监测对象的行为类别。2.根据权利要求1所述的跌倒检测方法，其特征在于，所述通过第一图片样本训练第一特征提取神经网络，包括：所述第一图片样本输入Resnet残差网络，得到第一提取数据；所述第一提取数据分别通过多个具有不同膨胀系数的卷积模块，得到多个具有不同特征通道的第二提取数据；所述多个具有不同特征通道的第二提取数据组合后进入以残差卷积堆积起来的第一卷积层，得到多个具有不同感知野的第三提取数据；对所述多个具有不同感知野的第三提取数据进行融合，然后进入以残差模块堆积起来的第二卷积层，最终输出表征人体上的关键骨骼点的多个第一特征点；通过第一损失函数对所述第一特征提取网络进行反向训练。3.根据权利要求1所述的跌倒检测方法，其特征在于，所述通过所述预测特征图训练第二行为分类神经网络，包括：所述预测特征图通过常规卷积模块，得到第一分类数据；所述第一分类数据分别通过多个具有不同膨胀系数的卷积模块，得到多个具有不同特征通道的第二分类数据；所述多个具有不同特征通道的第二分类数据组合后依次通过三个常规卷积模块，最终输出行为分类。4.根据权利要求2所述的跌倒检测方法，其特征在于，所述第一损失函数F为：其中xp、yp代表所述第一特征提取神经网络提取到的第一特征点的预测坐标，xg、yg代表所述第一特征点的实际坐标。5.根据权利要求3所述的跌倒检测方法，其特征在于，所述第二损失函数L为：其中，所述xk代表第k种行为类别的参数值，zk代...

【专利技术属性】
技术研发人员：周涛涛，周宝，陈远旭，肖京，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44