一种基于CNN-LSTM的人体健康深度学习预测方法技术

本发明专利技术涉及一种基于CNN‑LSTM的人体健康深度学习预测方法，将先进的深度学习模型结合摄像头用于识别行人的病理步态，进而预测其健康状态。对行人步态的识别采用动态方式，用CNN提取视频图像中行人的步态特征，然后利用LSTM基于时序识别步态特征，进而判别其步态类型。为实现多人在线实时检测，在系统中加入一个视频行人检测模块，并构建一个轻量且特征映射能力强的复用型CNN模型，既用于视频检测中行人的识别，也用于行人步态的特征提取。本发明专利技术基于图像采用动态方式识别步态，硬件实现简单，但技术先进，对步态的识别准确率高，应用前景广阔，即可用于区域人体健康监测与分析，也可用于家庭，做到订制化服务。

【技术实现步骤摘要】
一种基于CNN-LSTM的人体健康深度学习预测方法
本专利技术涉及深度学习和人体健康领域，具体是一种基于CNN-LSTM的人体健康深度学习预测方法。
技术介绍
随着经济的发展，人们的生活水平得到极大的提高，同时人们对健康的关注也越来越高；监测人体健康状况，并对人体可能出现的疾病作出提前预报，在疾病防控领域具有重要意义。研究表明，人的走路步态与其健康状况息息相关，目前常见的病理步态有剪刀步、拖把步、醉酒步、偏瘫步态、截瘫步态、臀大肌步态、臀中肌步态、股四头肌步态、跨域步态、关节强直步态、蹒跚步态、慌张步态、短腿步态、疼痛步态等，而不同步态又对应着其不同病理，例如：剪刀步，双脚前后分开，后脚往前踏，前脚再往前踏保持刚才分开时与后脚的距离，多发生在脑血管病、脑梗塞、脑出血或者脊髓损伤的病人；拖把步，这类病人在走路的时候一条腿是正常的，但由于肌肉或者神经功能的障碍，另一条腿会慢慢地拖过来；醉酒步，该步态常常走不到一条直线上，摇摇晃晃，有这种步态的人应高度怀疑脑肿瘤、脑出血、小脑病变等。人体走路步态慢慢的变化都算是一个正常的退行性改变，也算正常的范畴。如果是短时间内迅速出现一些步态的异常，而且发展速度非常快，再伴有其他的一些神经系统的症状，这个时候就要高度怀疑是某一个系统出现了问题。基于以上，本专利技术提出一种基于CNN-LSTM的人体健康深度学习预测方法。卷积神经网络(ConvolutionalNeuralNetworks,CNN)是深度学习领域重要算法，主要用于图像的特征提取或分类，一张二维或更高维的数字图像可直接作为其输入。CNN算法具有优异的特征提取能力，在2015年的世界ImageNet大赛中，基于CNN算法的深度学习模型的图像识别错误率低至4.94％，低于人类的5.1％的错误率。长短期记忆网络(LongShort-TermMemory，LSTM)主要用于处理时间序列数据，广泛的应用在语音识别、文本识别等领域。本专利技术提出一种基于CNN-LSTM的人体健康深度学习预测方法，构建一个轻量快速且具有较强特征映射能力的复用型CNN模型，用于图像中行人的识别和步态特征提取，并将提取的步态特征输入LSTM网络，然后LSTM基于时序采用动态的方式识别步态特征，判别行人步态类型，进而预测行人健康状况。
技术实现思路
本专利技术的目的是提供一种基于CNN-LSTM的人体健康深度学习预测方法；该专利技术通过摄像头获取人体走路步态的图像序列，然后利用CNN提取每张图像中的步态特征，并将其作为LSTM的输入，由LSTM算法依据图像序列中的步态特征的变化，预判人体健康状态，并作出提前预报。其主要优点有：1、将前沿的深度学习模型用于人体健康预测，不仅能识别出视频中的行人，而且还可以对多人步态同时检测；其硬件设备简单，应用前景广，既能用于特定环境下人群的健康状态分析，也可用于家庭，做到订制化服务；2、本专利技术设计的深度学习模型，轻量且具有较强特征映射能力，提取图像特征的速度快，能实现视频中多人走路步态的实时判别；本专利技术实现专利技术目的采用如下技术方案：一种基于CNN-LSTM的人体健康深度学习预测方法，主要包括硬件和软件两部分，硬件即为摄像头和计算模块，软件主要包含三个模块，分别是图像中行人检测模块、基于CNN的特征提取模块和基于LSTM的特征序列识别模块。首先利用摄像头获取用户走路视频，其次预处理视频中的每张图像(调整大小、选取清晰图像，等)，接着检测图像中的每个行人，并提取出每个行人，然后将提取的行人图像作为CNN模型的输入，获取行人的步态特征，最后将步态特征序列作为LSTM的输入，判别人体健康状态。对于订制化用户，在CNN获取步态特征阶段还会识别用户，将用户信息结合其步态特征建立健康状态数据库，实现长期检测，通过分析其步态的变化情况，提供更为准确的健康状况诊断，同时还能实现用户健康预测。作为优选，本专利技术提供的一种基于CNN-LSTM的人体健康深度学习预测方法，将先进的深度学习模型结合摄像头，通过分析用户走路时的步态，判别用户的健康状况。作为优选，本专利技术提供的一种基于CNN-LSTM的人体健康深度学习预测方法，构建一个轻量且特征映射能力较强的CNN模型用于提取图像中的行人步态特征，将提取的特征输入LSTM，采用动态的方式识别行人步态。作为优选，本专利技术提供的一种基于CNN-LSTM的人体健康深度学习预测方法，通过行人检测技术，获取视频中每个行人图像，将其依次输入CNN特征提取模型，以实现视频中多人同时诊断。作为优选，本专利技术提供的一种基于CNN-LSTM的人体健康深度学习预测方法，对于家庭用户，可实现订制化服务，在特征提取的同时识别用户，然后将用户信息结合其步态建立数据库，分析用户步态特征和步态变化情况，提供更精确的健康诊断与预测。作为优选，本专利技术提供的一种基于CNN-LSTM的人体健康深度学习预测方法，视频中行人检测采用Faster-RCNN技术，实现行人的快速检测；在行人检测前，预处理视频中的图像，丢弃模糊的图像，以提高识别率。作为优选，本专利技术提供的一种基于CNN-LSTM的人体健康深度学习预测方法，为实现对视频中行人步态特征实时提取且具有较强的特征映射能力，构建一个含有11个卷积层的轻量CNN模型，其输入图像的像素设定为120*120，为最大的加快特征提取速度，选用多步长卷积层代替池化层。有益效果：本专利技术与现有技术相比，其有益效果体现在：将先进的深度学习模型结合摄像头用于预测人体健康状态，硬件实现简单，但技术先进，应用前景较广。系统中将CNN结合LSTM实现行人步态的动态识别，相比基于单图像静态步态特征识别，基于序列的动态识别方式具有更高的识别率；通过视频行人检测技术，能实现视频中多行人实时检测，结合大数据技术，能实现某区域人群健康评估与预测；对于家庭用户，可以做到订制化服务，在CNN提取步态特征的同时识别用户，然后将用户信息结合其步态特征建立健康状态数据库，通过长期观测，分析其步态的变化情况，提供更为准确的健康状况诊断，同时对其健康状况做出预测；本专利技术设计一种轻量化复用型CNN模型，具有较强的特征映射能力，且速度快，能实现实时特征提取。附图说明图1系统结构图图2行人检测过程图3本专利技术构建的轻量型CNN模型结构简图图4基于LSTM的步态识别原理图图5构建的轻量型CNN的训练收敛速度对比图具体实施方式：一种基于CNN-LSTM的人体健康深度学习预测方法，其实现过程如图1示，首先利用摄像头获取用户走路视频，其次预处理视频中的每张图像(调整大小、选取清晰图像，等)，接着检测图像中的每个行人，并提取出每个行人，然后将提取的行人图像作为CNN模型的输入，进而获取行人的步态特征，最后将获取的由多张图片构成的步态特征序列作为LSTM的输入，判别其走路步态类型，从而预测人体健康状态；对于订制化用户，在CNN获取步态特征阶段还会识别用户，将用户信息结合其步态特征建立健康状态数据库，实现长期检测，已提供更有效的健康状况预测。本专利技术对行人步态的识别采用动态方式，即利用摄像头获取被检测者行走时的步态视频，通过分析被检测者一系列走路图像，判别其走路步态，进而分析其健康状态。为保障步态的识别率，首先要对摄像头获取的图像进行筛选，除去模糊的图片，其次调整图像大小，然本文档来自技高网...

【技术保护点】
1.一种基于CNN‑LSTM的人体健康深度学习预测方法，其特征在于：主要包括硬件和软件两部分，硬件即为摄像头和计算模块，软件主要包含三个模块，分别是图像中行人检测模块、基于CNN的特征提取模块和基于LSTM的特征序列识别模块。首先利用摄像头获取用户走路视频，其次预处理视频中的每张图像(调整大小、选取清晰图像，等)，接着检测图像中的每个行人，并提取出每个行人，然后将提取的行人图像作为CNN模型的输入，获取行人的步态特征，最后将步态特征序列作为LSTM的输入，判别人体健康状态。对于订制化用户，在CNN获取步态特征阶段还会识别用户，将用户信息结合其步态特征建立健康状态数据库，实现长期检测，通过分析其步态的变化情况，提供更为准确的健康状况诊断，同时还能实现用户健康预测。

【技术特征摘要】
1.一种基于CNN-LSTM的人体健康深度学习预测方法，其特征在于：主要包括硬件和软件两部分，硬件即为摄像头和计算模块，软件主要包含三个模块，分别是图像中行人检测模块、基于CNN的特征提取模块和基于LSTM的特征序列识别模块。首先利用摄像头获取用户走路视频，其次预处理视频中的每张图像(调整大小、选取清晰图像，等)，接着检测图像中的每个行人，并提取出每个行人，然后将提取的行人图像作为CNN模型的输入，获取行人的步态特征，最后将步态特征序列作为LSTM的输入，判别人体健康状态。对于订制化用户，在CNN获取步态特征阶段还会识别用户，将用户信息结合其步态特征建立健康状态数据库，实现长期检测，通过分析其步态的变化情况，提供更为准确的健康状况诊断，同时还能实现用户健康预测。2.根据权利要求1所述的一种基于CNN-LSTM的人体健康深度学习预测方法，其特征在于：将先进的深度学习模型结合摄像头，通过分析用户走路时的步态，判别用户的健康状况。3.根据权利要求1所述的一种基于CNN-LSTM的人体健康深度学习预测方法，其特征在于：构建一个轻量且特征映射能力较强的CNN模型用于提取图像中的行人步态特...

【专利技术属性】
技术研发人员：周孟然，来文豪，卞凯，胡锋，黄曼曼，周悦尘，
申请(专利权)人：安徽理工大学，
类型：发明
国别省市：安徽,34