一种基于卷积神经网络的人体跌倒辨识方法技术

本发明专利技术公开了一种基于卷积神经网络的人体跌倒辨识方法，该方法涉及雷达探测、人机交互和图像识别领域，特别是涉及到使用卷积神经网络对雷达探测到的人体跌倒多普勒时频图识别方法。通过端点检测可以不用限制人体运动的持续时间；通过自适应选择阈值可以在较大的范围内走动、跌倒；同时使用卷积神经网络模型对信号时频图进行识别，改进后的网络在复杂环境中能以较高的识别率识别走动、跌倒动作。

A recognition method of human fall based on convolution neural network

The invention discloses a method for human fall identification based on convolutional neural network, which relates to the fields of radar detection, human-computer interaction and image recognition, in particular to the method for human fall Doppler time-frequency pattern recognition detected by radar using convolutional neural network. Through endpoint detection, we can not limit the duration of human motion; through adaptive threshold selection, we can walk and fall in a larger range; at the same time, convolution neural network model is used to identify the signal time-frequency map, and the improved network can recognize walking and falling movements with a higher recognition rate in complex environment.

【技术实现步骤摘要】
一种基于卷积神经网络的人体跌倒辨识方法
本专利技术涉及雷达探测、人机交互和图像识别领域，特别是涉及到使用卷积神经网络对雷达探测到的人体跌倒多普勒时频图识别方法。
技术介绍
中国已经步入老龄化社会，老年人群受到越来越多的关注，经调查发现跌倒是老年人意外伤亡的第一要素，所造成的伤害相对较大，严重的情况下甚至可能会导致死亡。因此，及时、准确的判断对老人意外跌倒行为具有重要的研究意义。目前对跌倒行为的研究通常分为三种：基于可穿戴设备的跌倒检测方法、基于视频监控的跌倒检测方法和基于外周传感器的检测方法。基于视觉的方法使用广泛，但会受到图像的清晰度、光线强弱等因素的影响，观察范围有限且不利于对细微动作和近似行为(具有类似姿态特征的不同人体行为)的识别，基于可穿戴设备的识别在一定程度上不便使用，因此选用雷达技术作为识别人体跌倒成为了一个研究方向。国内外提出了许多识别人体跌倒的方法，谷歌针对智能移动设备，开发了基于雷达的人体运动状态识别，但是该系统使用英伟达定制芯片，定位精度要求高。国内浙江大学使用一发三收的雷达系统，解算人体运动轨迹并进行识别；清华大学基于雷达的微多普勒时频图使用支持向量机进行步态识别，但是该系统作用距离有限，运动时间固定且需重复多次，同时使用支持向量机对微多普勒时频图的特征识别，对于一些复杂的跌倒行为识别率不高。而基于卷积神经网络的跌倒辨识方法可以应对更加复杂的环境，因此可以进一步提高跌倒识别率。因此研究基于卷积神经网络的人体跌倒具有极大的适用性和价值。
技术实现思路
本专利技术提供一种适用于采用雷达微多普勒信息进行人体跌倒辨识的方法，本专利技术通过端点检测提取出跌倒信号，使用卷积神经网络模型时频图特征矩阵进行识别，解决现有技术中探测范围小、运动环境单一、检测目标动作单一的问题。本专利技术技术方案如下：一种基于卷积神经网络的人体跌倒识别方法，该方法包括：步骤1：端点检测提取有效跌倒信号区域；预先采集时长为H无人体运动的噪声环境雷达时域信号，然后进行傅里叶变换得到频域信号，最后统计在P频段内的信号能量大小记为E1，P频段为根据实际情况确定的低频段；之后系统一直以时长H为时间窗统计能量大小，当某个时间窗的能量大于设定的阈值Q时认为是跌倒开始时刻，即起点T1，某时间窗后能量持续小于设定的阈值Q则判定为跌倒结束时刻，即终点T2，最后从T1到T2内提取出跌倒信号，阈值Q根据实际情况确定；进一步的，所述步骤1中H的取值范围为10～30ms；P频段为0～200Hz；当某个时间窗的能量大于1.2倍的E1时认为是跌倒开始时刻T1，若某时间窗后能量小于1.2倍的E1，并且持续时间大于2s，则判定为跌倒结束时刻T2，最后从T1到T2内提取出跌倒信号；在信号实时获取过程中，端点更新规则为：端点更新规则，若是检测到端点，包括只有起点、只有终点、既有起点又有终点三种情况，判断是否为首次检测到的起点，若是，则把之前所有端点信息保存；若不是，说明最近一次已经检测到了起点，则更新终点信息，不更新起点信息；根据当前最近一次起点到终点的信息截取该段信号，若最近一次起点到终点的时间长度大于设定的最长截取时间长度，则分段截取，进一步的,设定最长截取时间长度为2秒。步骤2：短时傅里叶变换；将步骤1得到的跌倒信号通过短时傅里叶变换得到复频率，之后对复频率取绝对值，最后得到频率随时间分布的时频图；短时傅里叶变换如下：其中x(m)表示跌倒信号，w(n-m)表示窗函数序列；n代表离散时间，w是角频率；由短时傅里叶变换得到的时频矩阵是一个M×N的二维矩阵，M体现了信号的频率信息，N表示信号的时间周期，每一个元素的值是信号幅度的大小；步骤3：构建卷积神经网络模型；卷积神经网络包括依次级联的三部分：第一部分是由卷积层、池化层；第二部分与第一部分完全相同；第三部分为三个全连接层和softmax层；进一步的，所述卷积神经网络具体为：该卷积神经网络输入为大小208x208的3通道图像，输出为2个类别的概率分布值；其中所述第一部分中卷积层的卷积核为3*3，步长为1，输出通道数为16,输入图像通过第一层卷积之后，得到多张特征谱图；池化层的池化核大小为3*3，步长为2，作用是对特征谱图采样得到压缩的特征谱图；所述第二部分卷积层继续对输出的特征图谱提取特征，卷积核为3*3，步长为1，输出通道数为32；池化层继续压缩卷积层输出的特征图，池化核为3*3，步长为2；所述第三部分中第一全连接层的特征输出维度为1024，第二全连接层的输出维度为128，第三全连接层的输出维度为2；最后通过softmax层得到2分类信息；步骤4：采用步骤1和步骤2的方法获得训练样本，采用训练样本对卷积神经网络进行训练；步骤5：采用训练好的卷积神经网络对待检测样本进行检测。所述步骤3中第一、第二部分主要是提取图像特征；第三部分是由3个全连接层组成的，经过几轮卷积层和池化层的处理之后，可以认为图像中的信息已经被抽象成了信息含量更高的特征，这是一个自动提取特征的过程，全连接层的作用就是将这些高度抽象的特征进行组合，获得用来实现分类的特征；softmax层主要就是用来实现分类问题，通过该层，最后可以得到当前样本属于不同类别的概率分布情况；在分类时，分类结果就是概率最高的类别。从新训练一个卷积神经网络需要数以万计的图像，对于跌倒信号采集将是巨大困难。迁移学习的思想是将一个问题上训练好的模型通过简单调整使其适用于一个新的问题。根据已有的认识，对于一个新的图像识别任务，可以用Inception-v3模型的瓶颈层提取图像特征，而识别只需从新训练其全连接层。为此本专利技术的卷积神经网络由Inception-v3的瓶颈层和本文训练的全连接层组成。全连接层训练本文的卷积神经网络训练采集了10个人数据，每人对跌倒、走动动作都采集250次，最终每种动作获得了2500张时频图。在采集数据过程中，人正对雷达位于1.2m到2.5m之间，人都处于自然情况下走动，跌倒，数据采集过程全自动。在Tensorflow平台上，使用总共采集到的10000张图像对Inception-v3模型的全连接层做训练。训练中使用batch方法训练这样可以使收敛更加平稳，首先设置batch大小为100，学习为0.01。之后载入由谷歌开源提供的Inception-v3模型的瓶颈层参数，然后对伪彩色的时频图做归一化处理。之后使用瓶颈层对时频图做特征提取计算，最终将图像映射成一个长为1024的特征向量，并将该向量保存。然后用这10000组特征向量作为全连接层的输入，最后通过随机梯度下降法训练全连接层，在经过2000次左右训练后模型的准确率稳定在96％左右，网络模型训练结果为了验证最后训练的全连接层的有效性，从新采集了新的10个人跌倒，走动样本，其中每人每种动作做20次。训练后的卷积网络模型对该2种动作的平均识别率达到94％。这表明在实际具有噪声干扰和不同人做跌倒动作的时频图上，基于卷积神经网络的识别算法具有很好的鲁棒性和识别率。本专利技术的有益效果是：本专利技术提出了一种基于卷积神经网络模型的人体跌倒识别方法。通过端点检测可以不用限制人体运动的持续时间；通过自适应选择阈值可以在较大的范围内走动、跌倒；同时使用卷积神经网络模型对信号时频图进行识别，改进后的网络在复杂环境中能以较高的本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的人体跌倒识别方法，该方法包括：步骤1：端点检测提取有效跌倒信号区域；预先采集时长为H无人体运动的噪声环境雷达时域信号，然后进行傅里叶变换得到频域信号，最后统计在P频段内的信号能量大小记为E1，P频段为根据实际情况确定的低频段；之后系统一直以时长H为时间窗统计能量大小，当某个时间窗的能量大于设定的阈值Q时认为是跌倒开始时刻，即起点T1，某时间窗后能量持续小于设定的阈值Q则判定为跌倒结束时刻，即终点T2，最后从T1到T2内提取出跌倒信号，阈值Q根据实际情况确定；在信号实时获取过程中，端点更新规则为：端点更新规则，若是检测到端点，包括只有起点、只有终点、既有起点又有终点三种情况，判断是否为首次检测到的起点，若是，则把之前所有端点信息保存；若不是，说明最近一次已经检测到了起点，则更新终点信息，不更新起点信息；根据当前最近一次起点到终点的信息截取该段信号，若最近一次起点到终点的时间长度大于设定的最长截取时间长度，则分段截取，步骤2：短时傅里叶变换；将步骤1得到的跌倒信号通过短时傅里叶变换得到复频率，之后对复频率取绝对值，最后得到频率随时间分布的时频图；短时傅里叶变换如下：...

【技术特征摘要】
1.一种基于卷积神经网络的人体跌倒识别方法，该方法包括：步骤1：端点检测提取有效跌倒信号区域；预先采集时长为H无人体运动的噪声环境雷达时域信号，然后进行傅里叶变换得到频域信号，最后统计在P频段内的信号能量大小记为E1，P频段为根据实际情况确定的低频段；之后系统一直以时长H为时间窗统计能量大小，当某个时间窗的能量大于设定的阈值Q时认为是跌倒开始时刻，即起点T1，某时间窗后能量持续小于设定的阈值Q则判定为跌倒结束时刻，即终点T2，最后从T1到T2内提取出跌倒信号，阈值Q根据实际情况确定；在信号实时获取过程中，端点更新规则为：端点更新规则，若是检测到端点，包括只有起点、只有终点、既有起点又有终点三种情况，判断是否为首次检测到的起点，若是，则把之前所有端点信息保存；若不是，说明最近一次已经检测到了起点，则更新终点信息，不更新起点信息；根据当前最近一次起点到终点的信息截取该段信号，若最近一次起点到终点的时间长度大于设定的最长截取时间长度，则分段截取，步骤2：短时傅里叶变换；将步骤1得到的跌倒信号通过短时傅里叶变换得到复频率，之后对复频率取绝对值，最后得到频率随时间分布的时频图；短时傅里叶变换如下：其中x(m)表示跌倒信号，w(n-m)表示窗函数序列；n代表离散时间，w是角频率；由短时傅里叶变换得到的时频矩阵是一个M×N的二维矩阵，M体现了信号的频率信息，N表示信号的时间周期，每一个元素的值是信号幅度的大小；步骤3：构建卷积神经网络模型；卷积神经网络包括依次级联的三部分：第一部分是由卷积层、池化层；...

【专利技术属性】
技术研发人员：崔国龙，赵青松，曾冬冬，黄华宾，孔令讲，冯立方，熊丁丁，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51