基于深度卷积神经网络与长短期记忆网络的摔倒检测方法技术

本发明专利技术公开了一种基于深度卷积神经网络与长短期记忆网络的摔倒检测方法，包括以下步骤。步骤S1：输入图像信号和/或视频信号，同时将上述图像信号和/或视频信号切分为图片帧和与该图片帧在时序上连续的前后帧。步骤S2：通过深度卷积神经网络模型提取步骤S1中的图片帧和前后帧的图像特征。步骤S3：通过长短期记忆网络模型将步骤S2中提取的图像特征转化为与摔倒行为相关的特征。步骤S4：通过滑动窗口方法与长短期记忆网络模型相互配合以提取与摔倒行为相关的时间顺序信息。本发明专利技术公开的基于深度卷积神经网络与长短期记忆网络的摔倒检测方法，能够在复杂环境下实时监测并且识别检测摔倒行为，具有较高的准确率和稳定性。

Fall detection method based on deep convolution neural network and long-term and short-term memory network

The invention discloses a fall detection method based on deep convolution neural network and long-term and short-term memory network, which comprises the following steps. Fig. 1: Input image signal and/or video signal, while dividing the above image signal and/or video signal into picture frames and forward and backward frames sequentially continuous with the picture frame. (2) The image features of the picture frame and the front and back frames are extracted by the depth convolution neural network model. (1) The image features extracted in I2 are transformed into those related to the fall behavior through the long-term and short-term memory network model. (4) The sliding window method and the short-term and long-term memory network model are used to extract the temporal sequence information related to the fall behavior. The invention discloses a fall detection method based on deep convolution neural network and long-term and short-term memory network, which can monitor and identify the fall behavior in complex environment in real time, and has high accuracy and stability.

【技术实现步骤摘要】
基于深度卷积神经网络与长短期记忆网络的摔倒检测方法
本专利技术属于基于深度学习的人工智能
，具体涉及一种基于深度卷积神经网络与长短期记忆网络的摔倒检测方法。
技术介绍
随着科技的高速发展，人工智能产业所占比例大幅增长，基础设施GPU服务器可以满足巨大计算量。计算速度越来越快，传统的图像处理方法已经越来越不能满足现在的需求场景。传统的图像分识别技术准确率低，稳定性差，对图像的质量要求较高。传统的图像识别技术对视频的处理能力不够，无法保证实时性。
技术实现思路
本专利技术针对现有技术的状况，克服上述缺陷，提供一种基于深度卷积神经网络与长短期记忆网络的摔倒检测方法。本专利技术采用以下技术方案，所述基于深度卷积神经网络与长短期记忆网络的摔倒检测方法包括以下步骤：步骤S1：输入图像信号和/或视频信号，同时将上述图像信号和/或视频信号切分为图片帧和与该图片帧在时序上连续的前后帧；步骤S2：通过深度卷积神经网络模型提取步骤S1中的图片帧和前后帧的图像特征；步骤S3：通过长短期记忆网络模型将步骤S2中提取的图像特征转化为与摔倒行为相关的特征；步骤S4：通过滑动窗口方法与长短期记忆网络模型相互配合以提取与摔倒行为相关的时间顺序信息。根据上述技术方案，在步骤S2中，上述深度卷积神经网络模型采用Inception-ResNet-v2模型。根据上述技术方案，在步骤S2中，上述深度卷积神经网络模型经过ILSVRC图像集预训练。根据上述技术方案，上述Inception-ResNet-v2模型经过ILSVRC图像集预训练。根据上述技术方案，在步骤S4中，滑动窗口方法的表达式为：其中，X_t为t时刻的观测数据，h_t为t时刻的预测输出。根据上述技术方案，所述基于深度卷积神经网络与长短期记忆网络的摔倒检测方法还包括交叉熵损失函数，上述交叉熵损失函数的表达式为：其中，N为训练数据数目，其中y_n为给定第n个样本的正确标注标签，为对第n个样本的模型预测输出。本专利技术公开的基于深度卷积神经网络与长短期记忆网络的摔倒检测方法，其有益效果在于，能够做到实时监测，解决了视频实时性需求。同时，能够在复杂环境下识别检测摔倒行为，相比于传统识别技术具有较高的准确率和稳定性。同时，对于视频/图像的质量要求不高，在清晰度不足的情况下仍然能够识别是否出现摔倒行为。附图说明图1是本专利技术优选实施例的整体流程图。具体实施方式本专利技术公开了一种基于深度卷积神经网络与长短期记忆网络的摔倒检测方法，下面结合优选实施例，对本专利技术的具体实施方式作进一步描述。参见附图的图1，图1示出了所述基于深度卷积神经网络与长短期记忆网络的摔倒检测方法的总体流程。优选地，所述基于深度卷积神经网络与长短期记忆网络的摔倒检测方法包括以下步骤：步骤S1：输入图像信号和/或视频信号，同时将上述图像信号和/或视频信号切分为图片帧和与该图片帧在时序上连续的前后帧；步骤S2：通过深度卷积神经网络模型提取步骤S1中的图片帧和前后帧的图像特征；步骤S3：通过长短期记忆网络模型将步骤S2中提取的图像特征转化为与摔倒行为相关的特征；步骤S4：通过滑动窗口方法与长短期记忆网络模型相互配合以提取与摔倒行为相关的时间顺序信息。进一步地，在步骤S2中，上述深度卷积神经网络模型采用Inception-ResNet-v2模型。进一步地，在步骤S2中，上述深度卷积神经网络模型经过ILSVRC图像集预训练。进一步地，上述Inception-ResNet-v2模型经过ILSVRC图像集预训练。进一步地，在步骤S4中，滑动窗口方法的表达式为：其中，X_t为t时刻的观测数据，h_t为t时刻的预测输出。进一步地，所述基于深度卷积神经网络与长短期记忆网络的摔倒检测方法还包括交叉熵损失函数，上述交叉熵损失函数的表达式为：其中，N为训练数据数目，其中y_n为给定第n个样本的正确标注标签，为对第n个样本的模型预测输出。根据上述优选实施例，本专利技术专利申请公开的基于深度卷积神经网络与长短期记忆网络的摔倒检测方法，能够做到实时监测，解决了视频实时性需求。同时，能够在复杂环境下识别检测摔倒行为，相比于传统识别技术具有较高的准确率和稳定性。同时，对于视频/图像的质量要求不高，在清晰度不足的情况下仍然能够识别是否出现摔倒行为。值得一提的是，所述基于深度卷积神经网络与长短期记忆网络的摔倒检测方法，应用了深度卷积神经网络(CNN)与长短期记忆网络(LSTM)。输入的图像/视频信号，经过CNN模型和LSTM模型提取图像/视频的图像特征，全连接网络负责识别和处理图像/视频中是否出现人体摔倒。并输出反馈。总体流程图如图1所示。其中，深度卷积神经网络优选采用Inception-ResNet-v2模型。上述Inception-ResNet-v2模型是一个由Google于2016年提出并在ILSVRC图像分类基准上取得顶尖准确率的卷积神经网络。Inception-ResNet-v2模型是早期发布的InceptionV3模型的变体，该模型借鉴了微软曾经提出的残差网络(ResNet)的思路，从而能成功训练更深的神经网络而获得更好的性能。在本专利技术专利申请的模型中，在ILSVRC图像集上预训练过的深度卷积神经网络主要作用是提取图像特征。其中，Inception-ResNet-v2模型，能看到整个网络扩展。该网络被认为比先前的InceptionV3模型还要深一些。在图中主要部分重复的残差区块已经被压缩了，所以整个网络看起来更加直观。图中inception区块被简化了，比先前的InceptionV3包含更少的并行塔(paralleltowers)。其中，LSTM(LongShort-TermMemory)是长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。LSTM层的主要作用包括以下两方面：其一，将深度卷积神经网络提取的图像特征转化为和摔倒与否相关的特征。深度卷积神经网络所使用的训练数据是ILSVRC大型图像数据库。此数据库中包含大量不同的自然景观与物体的图片，但和我们所需要的分类数据有出入。我们使用该数据集来训练是为了让深度卷积神经网络变得更“聪明”，从而不需要很多数据就能将该网络提取的“通用特征”映射到我们所需要的特征空间。而这个过程在LSTM层完成。其二，挖掘图片帧之间的与时间顺序相关的信息。摔倒行为不是一副静止的画面而是有连续帧组成的动态过程。所以，为了更好地挖掘视频中的时间信息，本专利技术专利申请的模型使用了滑动窗口(slidingwindow)方法和LSTM来相互配合以更好地找到图片帧与前后帧之间的时间顺序信息。其中X_t为t时刻的观测数据，h_t为t时刻的预测输出，h_t与由X经ft＝σg(Wfxt+Ufht-1+bf)it＝σg(Wixt+Uiht-1+bi)Ot＝σg(Woxt+Uoht-1+bo)下列计算可得到h,除t,h外其余变量皆为LSTM内部参数或中间变量：最后，本专利技术专利申请的模型使用交叉熵损失函数(cross-entropyloss)来优化。对二元分类而言(这也正是我们的模型)，交叉熵损失函数的表达式为：其中，N为训练数据数目，其中y_n为给定第n个样本的正确标注标签，为对第n个样本的模型预测输出。对于本领域的本文档来自技高网...

【技术保护点】
1.一种基于深度卷积神经网络与长短期记忆网络的摔倒检测方法，其特征在于，包括以下步骤：步骤S1：输入图像信号和/或视频信号，同时将上述图像信号和/或视频信号切分为图片帧和与该图片帧在时序上连续的前后帧；步骤S2：通过深度卷积神经网络模型提取步骤S1中的图片帧和前后帧的图像特征；步骤S3：通过长短期记忆网络模型将步骤S2中提取的图像特征转化为与摔倒行为相关的特征；步骤S4：通过滑动窗口方法与长短期记忆网络模型相互配合以提取与摔倒行为相关的时间顺序信息。

【技术特征摘要】
1.一种基于深度卷积神经网络与长短期记忆网络的摔倒检测方法，其特征在于，包括以下步骤：步骤S1：输入图像信号和/或视频信号，同时将上述图像信号和/或视频信号切分为图片帧和与该图片帧在时序上连续的前后帧；步骤S2：通过深度卷积神经网络模型提取步骤S1中的图片帧和前后帧的图像特征；步骤S3：通过长短期记忆网络模型将步骤S2中提取的图像特征转化为与摔倒行为相关的特征；步骤S4：通过滑动窗口方法与长短期记忆网络模型相互配合以提取与摔倒行为相关的时间顺序信息。2.根据权利要求1所述的基于深度卷积神经网络与长短期记忆网络的摔倒检测方法，其特征在于，在步骤S2中，上述深度卷积神经网络模型采用Inception-ResNet-v2模型。3.根据权利要求1所述的基于深度卷积神经网络与长短期记忆网络的摔倒检测方法，其特征在于，在步骤S2中，上述深度卷积神经网络模型经过ILSVRC图像集预训练...

【专利技术属性】
技术研发人员：钟博煊，许淞斐，周礼，
申请(专利权)人：浙江深眸科技有限公司，
类型：发明
国别省市：浙江,33