一种基于FPGA异构加速的老人跌倒检测方法技术

本发明专利技术公开了一种基于FPGA异构加速的老人跌倒检测方法，属于目标识别技术领域，所述方法包括融合算法部分和硬件加速部分，整体以神经网络作为基础框架，结合FPGA硬件加速技术，通过量化编译移植实现算法嵌入式移植，人体检测部分采用YOLOv3网络，通过双向剪枝和改进损失函数实现了可移植的改进型轻量化YOLOv3网络；跌倒检测算法部分采用了轻量化SqueezeNet网络，通过引入人体矩形高宽比结合主要关键点欧式距离综合判定的方法实现老人跌倒检测；硬件部分选择了Xilinx公司的mpsoc架构板卡ultra96

【技术实现步骤摘要】
一种基于FPGA异构加速的老人跌倒检测方法


[0001]本专利技术涉及目标识别
，尤其是一种基于FPGA异构加速的老人跌倒检测方法。

技术介绍

[0002]伴随着社会的发展，我国人口老龄化的问题正在逐年加重。截止到2020年我国60岁以上(含60岁)的老年人口已经突破2.43亿，已经成为了世界上老年人口最多的国家，并预计2030年将突破4亿大关。同时在老人看护等相关方面存在着医护人员缺口大、检测设备不够智能化的问题，有数据显示，跌倒已经成为我国65岁以上老年人因伤致死的首位原因。医学表明，跌倒事件在能够得到及时救治的情况下能够降低80％的死亡风险，提高老年人的存活率，因此，实时、准确的检测跌倒事件的发生具有重大的社会与科研意义。
[0003]当前，常见的老人跌倒检测方法主要有3种：
[0004]一是基于周围环境信号的检测方法，此方法主要依托于周围环境中布置的传感器，根据人体跌倒时产生的声音、墙体地面压力的变化进行检测，极易受到周围其他环境因素的干扰导致误报，效率极低，因此很少被采纳。
[0005]二是基于可穿戴设备的检测方法，利用穿戴设备上安装的陀螺仪与加速度传感器参数变化检测跌倒，但长时间的佩戴既增加了老人的身体负重，同时对老人日常活动造成了影响。
[0006]三是基于计算机视觉的检测方法：一类是传统机器视觉方法，通过对跌倒特征提取进行判断，极易受到环境光线、背景影响；一类是人工智能方法，将采集设备提取到视频信息输入到神经网络中进行训练和预测，识别精度较高，但是对设备性能要求较高，导致了高昂的设备成本。
[0007]基于上述方法存在的不足，有必要研发一种基于FPGA异构加速的老人跌倒检测方法。

技术实现思路

[0008]本专利技术需要解决的技术问题是提供一种基于FPGA异构加速的老人跌倒检测方法，该方法是将传统人工智能老人跌倒检测方法中的网络结构和检测算法做轻量化调整，同时移植到ARM+FPGA的便携嵌入式系统中，在不影响识别精度的同时实现了跌倒检测设备的便携安装，降低了使用成本。
[0009]为解决上述技术问题，本专利技术所采用的技术方案是：
[0010]一种基于FPGA异构加速的老人跌倒检测方法，所述方法包括融合算法部分和硬件加速部分，整体以神经网络作为基础框架，结合FPGA硬件加速技术，通过量化编译移植实现算法嵌入式移植；具体包括以下步骤：
[0011]步骤1，获取训练样本，采集目标的图像特征信息，制作目标数据；
[0012]步骤2，改进YOLOV3网络模型；
[0013]步骤3，利用步骤S1中获取的训练样本对步骤2中改进的YOLOV3网络模型结构进行训练，迭代得到轻量型YOLOV3网络模型；
[0014]步骤4，构建更适用于异构加速嵌入式环境的人体姿态判别融合算法；
[0015]步骤5，利用步骤S1中获取的训练样本对步骤3中迭代得到的轻量型YOLOV3网络模型结构进行训练，迭代得到改进的SqueezeNet网络模型；
[0016]步骤6，将步骤4构建的人体姿态判别融合算法与步骤5得到SqueezeNet网络模型进行量化；
[0017]步骤7，评估步骤6得到的量化模型，进行微调以获得更高的精度；
[0018]步骤8，编译步骤7评估后的量化模型；
[0019]步骤9，将步骤8编译好的量化模型移植上板，图像输入，采用罗技C920E摄像头连接板卡采集室内人体的图像；
[0020]步骤10，图像检测,利用移植到板卡上的网络对步骤9中的图像进行跌倒检测，发生跌倒时发出预警信号。
[0021]本专利技术技术方案的进一步改进在于：所述融合算法部分主要是指对视频采集设备采集到的图像进行人体检测与动作识别，对应的人体检测部分是一种基于改进型轻量化YOLOV3的人体检测方法，对应的动作识别部分是一种基于改进型YOLOV3结合SqueezeNet网络的融合算法；所述硬件加速部分主要是指将算法部分的网络结构通过量化、编译的方法移植到MPSOC架构板卡，实现嵌入式平台的算法实现。
[0022]本专利技术技术方案的进一步改进在于：步骤1中，选取COCO2017数据集作为训练样本。
[0023]本专利技术技术方案的进一步改进在于：步骤1中，目标的图像特征信息为非理想条件下目标的图像特征信息。
[0024]本专利技术技术方案的进一步改进在于：步骤2中，改进YOLOV3网络模型具体包括：
[0025]2.1对主干网络进行通道和层双向剪枝，压缩模型的宽度；
[0026]通道剪枝是基于BN层gamma系数进行剪枝，先以全局阈值找出各卷积层的mask，然后对于每组shortcut，将相连的各卷积层的剪枝mask取并集，用merge后的mask进行剪枝，对每一个相关层都做了考虑，同时对每一个层的保留通道做了限制，对激活偏移值添加了处理，降低了剪枝时的精度损失；
[0027]层剪枝是在通道剪枝的策略基础上进行的进一步剪枝，针对每一个shortcut层前一个CBL进行评价，对每一层的gamma均值进行排序，取最小的进行层剪枝；为了保证YOLOV3网络结构的完整性，每剪一个shortcut结构，会同时剪掉一个shortcut层和它前面的两个卷积层；共剪掉5个shortcut；
[0028]2.2改进损失函数；改进型损失函数的公式如下：
[0029][0030]式中，式中E
coord
表示坐标损失，E
conf
表示置信度损失。
[0031]本专利技术技术方案的进一步改进在于：步骤4中，关键点检测采用轻量化SqueezeNet网络结构进行训练，跌倒检测采用了人体高宽比与关键坐标欧式距离判别的人体姿态判别
融合算法；
[0032]采用的SqueezeNet网络通过减少模型训练和测试时的计算量、减少模型网络结构大小、减少可学习参量的数量，在不明显降低精度的情况下精简了网络结构，从而获得了更好的可移植性；引入人体各部位关键点欧式距离判断结合人体检测矩形高宽比综合判断人体姿势；
[0033]人体检测后得出结果目标边界框可等效为矩形，以此矩形的高宽比H:W作为判别条件：
[0034]H：W＝(H
max
‑
H
min
):(W
max
‑
W
min
)
[0035]其中，H代表矩形框的高度，W代表矩形框的宽度。H
max
和H
min
分别为人体检测矩形高度的最大值与最小值，W
max
和W
min
分别问人体检测矩形宽度的最大值和最小值；
[0036]当人体正常活动时，高宽比趋于稳定不变且始终保持比值大于1，当人体出现跌倒时高宽比会发生动态较大的改变同时比值趋于小于1；
[0037]人体关键点主要分部于头部和躯干各部，跌倒判别可主要基于头部坐标(X
he本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于FPGA异构加速的老人跌倒检测方法，其特征在于：所述方法包括融合算法部分和硬件加速部分，整体以神经网络作为基础框架，结合FPGA硬件加速技术，通过量化编译移植实现算法嵌入式移植；具体包括以下步骤：步骤1，获取训练样本，采集目标的图像特征信息，制作目标数据；步骤2，改进YOLOV3网络模型；步骤3，利用步骤S1中获取的训练样本对步骤2中改进的YOLOV3网络模型结构进行训练，迭代得到轻量型YOLOV3网络模型；步骤4，构建更适用于异构加速嵌入式环境的人体姿态判别融合算法；步骤5，利用步骤S1中获取的训练样本对步骤3中迭代得到的轻量型YOLOV3网络模型结构进行训练，迭代得到改进的SqueezeNet网络模型；步骤6，将步骤4构建的人体姿态判别融合算法与步骤5得到SqueezeNet网络模型进行量化；步骤7，评估步骤6得到的量化模型，进行微调以获得更高的精度；步骤8，编译步骤7评估后的量化模型；步骤9，将步骤8编译好的量化模型移植上板，图像输入，采用罗技C920E摄像头连接板卡采集室内人体的图像；步骤10，图像检测，利用移植到板卡上的网络对步骤9中的图像进行跌倒检测，发生跌倒时发出预警信号。2.根据权利要求1所述的一种基于FPGA异构加速的老人跌倒检测方法，其特征在于：所述融合算法部分主要是指对视频采集设备采集到的图像进行人体检测与动作识别，对应的人体检测部分是一种基于改进型轻量化YOLOV3的人体检测方法，对应的动作识别部分是一种基于改进型YOLOV3结合SqueezeNet网络的融合算法；所述硬件加速部分主要是指将算法部分的网络结构通过量化、编译的方法移植到MPSOC架构板卡，实现嵌入式平台的算法实现。3.根据权利要求1所述的一种基于FPGA异构加速的老人跌倒检测方法，其特征在于：步骤1中，选取COCO2017数据集作为训练样本。4.根据权利要求1所述的一种基于FPGA异构加速的老人跌倒检测方法，其特征在于：步骤1中，目标的图像特征信息为非理想条件下目标的图像特征信息。5.根据权利要求1所述的一种基于FPGA异构加速的老人跌倒检测方法，其特征在于：步骤2中，改进YOLOV3网络模型具体包括：2.1对主干网络进行通道和层双向剪枝，压缩模型的宽度；通道剪枝是基于BN层gamma系数进行剪枝，先以全局阈值找出各卷积层的mask，然后对于每组shortcut，将相连的各卷积层的剪枝mask取并集，用merge后的mask进行剪枝，对每一个相关层都做了考虑，同时对每一个层的保留通道做了限制，对激活偏移值添加了处理，降低了剪枝时的精度损失；层剪枝是在通道剪枝的策略基础上进行的进一步剪枝，针对每一个shortcut层前一个CBL进行评价，对每一层的gamma均值进行排序，取最小的进行层剪枝；为了保证YOLOV3网络结构的完整性，每剪一个shortcut结构，会同时剪掉一个shortcut层和它前面的两个卷积层；共剪掉5个shortcut；
2.2改进损失函数；改进型损失函数的公式如下：式中，E
coord
表示坐标损失，E
conf
表示置信度损失。6.根据权利要求1所述的一种基于FPGA异构加速的老人跌倒检测方法，其特征在于：步骤4中，关键点检测采用轻量化S...

【专利技术属性】
技术研发人员：张立国，申前，金梅，秦芊，杨红光，王磊，孟子杰，黄文汉，
申请(专利权)人：燕山大学，
类型：发明
国别省市：