基于FPGA和深度学习的老人室内跌倒检测方法及装置制造方法及图纸

基于FPGA和深度学习的老人室内跌倒检测方法及装置，获取人体在预设姿态下的姿态图片数据，在姿态图片中标识出人体框的位置；构建人体框的深度学习网络模型，利用标注完毕的姿态图片进行深度学习网络模型的训练，得到训练完毕的深度学习网络模型以用于老人室内跌倒检测；将训练完毕的深度学习网络模型加载到FPGA平台中识别待检测的视频流图片；当判断视频流图片中某一帧图片人体状态为跌倒时，输出预警信号进行语音提醒和报警。本发明专利技术充分利用FPGA高速、大数据处理能力和硬件编程设计等特点，将深度学习算法植入到FPGA中，增强了人体跌倒检测的实时性和隐私性；本发明专利技术采用深度学习神经网络模型自动提取人体框坐标，准确度高。高。高。

【技术实现步骤摘要】
基于FPGA和深度学习的老人室内跌倒检测方法及装置


[0001]本专利技术涉及数据处理
，具体涉及一种基于FPGA和深度学习的老人室内跌倒检测方法及装置。

技术介绍

[0002]根据第七次全国人口普查数据，我国60岁及以上人口达到2.6亿，占我国人口总数的18.7％，其中65岁及以上人口比重达到13.5％，我国已进入深度老龄化社会。对于老年人，行动不便导致摔倒是损害健康的一种。卫生部公布的《老年人跌倒干预技术指南》指出“跌倒是我国65岁以上老年人伤害死亡的首位原因”。如果老人跌倒后，不进行及时的救助，可能会使结果恶化。如何能够检测老人跌倒，并在老人跌倒时能够及时报警并通知救护人员，具有极大的市场价值。
[0003]传统技术中，老人跌倒检测方法有三大类：穿戴式传感器法、声学信号法和视频图像法。
[0004]穿戴式传感器法将加速度传感器和陀螺仪等装置嵌入可穿戴设备中，实时采集人体角速度、加速度等参数。当这些特征参数发生较大变化时，可通过一定的算法判断是否发生了跌倒事件。穿戴式传感器方法需要老年人佩戴专用的检测设备，而老年人由于记忆功能衰退，往往容易遗忘，同时穿戴设备可使老年人感觉不舒适，因此，穿戴式传感器方法市场接受度比较小。
[0005]声学信号法通过识别老人跌倒时发出的声音来判定跌倒状态，这种方法对环境有很高的要求，在某些环境噪声下难以进行精确检测。
[0006]视频图像法使用图像处理技术来构建人体跌倒模型以检测跌倒状态。而基于深度学习的视频图像处理算法可准确地对人体行为进行姿态识别。然而，深度学习算法对算力要求高，往往在云端进行处理，而将含有人体姿态的视频流传输到云端处理具有隐私隐患，且时延长。

技术实现思路

[0007]为此，本专利技术提供一种基于FPGA和深度学习的老人室内跌倒检测方法及装置，实现老人的跌倒状态检测预警，解决传统检测技术复杂、精确度及效率低及缺少隐私保护的问题。
[0008]为了实现上述目的，本专利技术提供如下技术方案：基于FPGA和深度学习的老人室内跌倒检测方法，包括以下步骤：
[0009]S1、获取人体在预设姿态下的姿态图片数据，在所述姿态图片中标识出人体框的位置；
[0010]S2、构建所述人体框的深度学习网络模型，利用标注完毕的姿态图片进行所述深度学习网络模型的训练，得到训练完毕的深度学习网络模型以用于老人室内跌倒检测；
[0011]S3、将训练完毕的深度学习网络模型加载到FPGA平台中；利用所述FPGA平台识别
待检测的视频流图片；
[0012]S4、当所述FPGA平台判断所述视频流图片中某一帧图片人体状态为跌倒时，输出预警信号进行语音提醒和报警。
[0013]作为基于FPGA和深度学习的老人室内跌倒检测方法的优选方案，步骤S1中，所述预设姿态下的姿态图片数据包括MSCOCO、MPII、LSP和FLIC公开人体姿态数据集，预设姿态下的姿态图片数据还包括用户自身采集的人体姿态数据集；
[0014]所述人体框的位置标识采用语义分割标注工具labelme进行标识，所述人体框为包含人体的矩形框。
[0015]作为基于FPGA和深度学习的老人室内跌倒检测方法的优选方案，步骤S2包括以下步骤：
[0016]S21、标注所述人体框的位置后，得到矩形的所述人体框中心点坐标(Xc,Yc)、宽度W和高度H；
[0017]S22、将标注好的姿态图片作为深度学习网络的输入，对每张姿态图片利用卷积神经网络CNN进行特征提取得到特征图；
[0018]S23、对所述特征图利用全连接层FC进行运算，得到矩形的所述人体框的坐标。
[0019]作为基于FPGA和深度学习的老人室内跌倒检测方法的优选方案，步骤S22中，通过所述卷积神经网络CNN对输入的姿态图片数据进行归一化处理并调整图像大小，对每张姿态图片利用八层卷积神经网络进行特征提取：
[0020]第一层为卷积层；
[0021]第二层为最大池化层；
[0022]第三层为卷积层；
[0023]第四层为最大池化层；
[0024]第五层为卷积层；
[0025]第六层为卷积层，第六层和第五层的卷积核大小和步长相同；
[0026]第七层为卷积层，第七层和第五层的卷积核大小和步长相同；
[0027]第八层为最大池化层。
[0028]作为基于FPGA和深度学习的老人室内跌倒检测方法的优选方案，步骤S23中，所述特征图经过全连接层FC得到矩形人体框的四个坐标(X`,Y`，X``,Y``)，(X`,Y`)代表中心点坐标，X``代表矩形人体框的宽，Y``代表矩形人体框的高；
[0029]矩形人体框的四个坐标(X`,Y`,X``,Y``)均采用归一化的处理方式，即横纵坐标值分别除以图像像素的宽和高。
[0030]作为基于FPGA和深度学习的老人室内跌倒检测方法的优选方案，判断老人跌倒状态下的依据为：
[0031]当前人体的宽高比(X``/Y``)<1，且人体的重心下降速度Vy>5m/s；
[0032]所述人体重心下降速度计算方法Vy＝S
×
(Y``
t
‑
Y``
t
‑1)
×
FP；
[0033]式中:S为每一个像素所代表的实际长度，Y``
t
‑1为视频流中前一帧人体的中心点坐标，Y``
t
为视频流中当前帧人体的中心点坐标，FP为视频的帧率。
[0034]本专利技术还提供一种基于FPGA和深度学习的老人室内跌倒检测装置，包括：
[0035]图像获取模块，用于获取人体在预设姿态下的姿态图片数据；
[0036]人体框标识模块，用于在所述姿态图片中标识出人体框的位置；
[0037]模型训练模块，用于构建所述人体框的深度学习网络模型，利用标注完毕的姿态图片进行所述深度学习网络模型的训练，得到训练完毕的深度学习网络模型以用于老人室内跌倒检测；
[0038]跌倒检测模块，用于将训练完毕的深度学习网络模型加载到FPGA平台中；利用所述FPGA平台识别待检测的视频流图片；
[0039]预警模块，用于当所述FPGA平台判断所述视频流图片中某一帧图片人体状态为跌倒时，输出预警信号进行语音提醒和报警。
[0040]作为基于FPGA和深度学习的老人室内跌倒检测装置的优选方案，图像获取模块中，所述预设姿态下的姿态图片数据包括MSCOCO、MPII、LSP和FLIC公开人体姿态数据集，预设姿态下的姿态图片数据还包括用户自身采集的人体姿态数据集；
[0041]人体框标识模块中，所述人体框的位置标识采用语义分割标注工具labelme进行标识，所述人体框为包含人体的矩形框。
[0042]作为基于FPGA和深度学习的老人室内跌倒检测装置的优选方案，所述模型训练模块包括：
[0043]第一数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于FPGA和深度学习的老人室内跌倒检测方法，其特征在于，包括以下步骤：S1、获取人体在预设姿态下的姿态图片数据，在所述姿态图片中标识出人体框的位置；S2、构建所述人体框的深度学习网络模型，利用标注完毕的姿态图片进行所述深度学习网络模型的训练，得到训练完毕的深度学习网络模型以用于老人室内跌倒检测；S3、将训练完毕的深度学习网络模型加载到FPGA平台中；利用所述FPGA平台识别待检测的视频流图片；S4、当所述FPGA平台判断所述视频流图片中某一帧图片人体状态为跌倒时，输出预警信号进行语音提醒和报警。2.根据权利要求1所述的基于FPGA和深度学习的老人室内跌倒检测方法，其特征在于，步骤S1中，所述预设姿态下的姿态图片数据包括MSCOCO、MPII、LSP和FLIC公开人体姿态数据集，预设姿态下的姿态图片数据还包括用户自身采集的人体姿态数据集；所述人体框的位置标识采用语义分割标注工具labelme进行标识，所述人体框为包含人体的矩形框。3.根据权利要求1所述的基于FPGA和深度学习的老人室内跌倒检测方法，其特征在于，步骤S2包括以下步骤：S21、标注所述人体框的位置后，得到矩形的所述人体框中心点坐标(Xc,Yc)、宽度W和高度H；S22、将标注好的姿态图片作为深度学习网络的输入，对每张姿态图片利用卷积神经网络CNN进行特征提取得到特征图；S23、对所述特征图利用全连接层FC进行运算，得到矩形的所述人体框的坐标。4.根据权利要求3所述的基于FPGA和深度学习的老人室内跌倒检测方法，其特征在于，步骤S22中，通过所述卷积神经网络CNN对输入的姿态图片数据进行归一化处理并调整图像大小，对每张姿态图片利用八层卷积神经网络进行特征提取：第一层为卷积层；第二层为最大池化层；第三层为卷积层；第四层为最大池化层；第五层为卷积层；第六层为卷积层，第六层和第五层的卷积核大小和步长相同；第七层为卷积层，第七层和第五层的卷积核大小和步长相同；第八层为最大池化层。5.根据权利要求3所述的基于FPGA和深度学习的老人室内跌倒检测方法，其特征在于，步骤S23中，所述特征图经过全连接层FC得到矩形人体框的四个坐标(X`,Y`
’
X``,Y``)，(X`,Y`)代表中心点坐标，X``代表矩形人体框的宽，Y``代表矩形人体框的高；矩形人体框的四个坐标(X`,Y`
’
X``,Y``)均采用归一化的处理方式，即横纵坐标值分别除以图像像素的宽和高。6.根据权利要求5所述的基于FPGA和深度学习的老人室内跌倒检测方法，其特征在于，判断老人跌倒状态下的依据为：当前人体的宽高比(X``
/
Y``)<1，且人体的重心下降速度Vy>5m/s；
所述人体重心下降速度计算方法Vy＝S
×
(Y``
t
‑
Y``
t
‑1)
×
FP；式中:S为每一个像素所代表的实际长度，Y``
t
‑1为视频流中前一帧人体的中心点坐标，Y``
t
为视频流中当前帧人体的中心点坐标，FP为视...

【专利技术属性】
技术研发人员：李卫东，刘平涛，张招，罗博文，
申请(专利权)人：武汉莱克斯瑞科技发展有限公司，
类型：发明
国别省市：