本发明专利技术公开了一种基于计算机视觉的轮椅用户健康监测系统及其检测网络的训练方法，该系统包括用于记录监测对象动作的采集模块；用于提取采集视频中的动作特征、进行分类、输出检测结果的检测模块；以及用于在轮椅用户异常情况下向紧急联络人报警或向周围人员发出警告的报警模块；模块采集用户动作信息发送到检测模块，检测模块检测采集模块输入的视频，并预测用户实时的姿态和动作，姿态和动作认为异常时向报警模块输入报警信号。本发明专利技术通过轮椅用户健康监测系统设置采集模块、报警模块、检测模块和云端服务器，能保证在用户异常状态下及时发出危险警告，从而极大减少监护人员的监护压力，面对多个需要监测用户时提升监护效率和减少人工成本。和减少人工成本。和减少人工成本。
【技术实现步骤摘要】
一种基于计算机视觉的轮椅用户健康监测系统及其检测网络的训练方法
[0001]本专利技术属于计算机视觉
，具体涉及一种基于计算机视觉的轮椅用户健康监测系统及其检测网络的训练方法。
技术介绍
[0002]对于手脚不便的病人来说，需要护理人员时刻在身边照看来应对突发情况，这类照看任务往往会占用护理人员大量精力与时间，如果另请专业人员又是一笔昂贵的费用。为了减轻护理人员的负担，利用远距离通信加固定摄像头的方式，对用户在一定区域内进行健康状态的监测。这样即使不在同一空间内，也能通过视频接入设备知晓对象健康状况。
[0003]中国专利一种（申请号：201710221113.8，申请公告号：CN 106963568 A）带有健康检测系统的智能轮椅，健康监测系统基于对血压、心率、脉搏和体温的监测及反馈实现；所述智能轮椅还包含血压心率检测模块、脉搏检测模块、体温检测模块、数据库存储模块、语音模块，打印模块；所述智能轮椅使用前，利用支持向量机算法或k近邻算法训练处理模块，使得处理模块获得将血压、心率、脉搏和体温的数据与所述常见病症相对应的能力；训练完成时，所述处理模块能够利用支持向量机算法或k近邻算法处理血压、心率、脉搏、体温四个变量，了解使用者当前的健康状况及相关潜在病症，并通过语音模块和打印模块输出病症判断结果。
[0004]上述专利一种带有健康检测系统的智能轮椅，利用支持向量机算法或k近邻算法训练健康监测系统的处理模块进行模式识别，识别用户的健康状态在于，现有常见病症的血压、心率、脉搏和体温数据，从而获得使用者的病症分析结果；并未对用户的动作进行健康检测，同时使用向量机算法或k近邻算法，算法速度慢，不能准确及时的识别轮椅用户的动作，从而做出健康状态的判定。
技术实现思路
[0005]本专利技术针对上述的不足之处提供一种基于计算机视觉的轮椅用户健康监测系统及其检测网络的训练方法。
[0006]本专利技术目的是这样实现的：一种基于计算机视觉的轮椅用户健康监测系统，其特征在于：所述系统包括采集模块、报警模块、检测模块和云端服务器；所述采集模块用于记录监测对象的动作；所述检测模块利用检测网络来提取采集视频中的动作特征然后进行分类，最后输出检测结果；以及实现更新检测网络；所述报警模块用于在轮椅用户异常情况下向紧急联络人报警或向周围人员发出警告；所述采集模块采集用户动作信息发送到检测模块，检测模块检测采集模块输入的视频，并预测用户实时的姿态和动作，姿态和动作认为异常时向报警模块输入报警信号。
[0007]优选的，所述采集模块包括：摄像头模组，用于拍摄用户上半身视频图像；升降机构，用于实现摄像头在轮椅扶手处的升降；驱动电机，用于驱动升降机构和摄像头；所述升降机构与轮椅扶手支撑杆内壁连接，驱动电机固定安装于所述轮椅扶手支撑杆腔内；所述摄像头模组安装在升降机构内和驱动电机相连，摄像头模组包括摄像头。
[0008]优选的，所述检测模块包括：单片机，单片机安装在轮椅扶手支撑柱的内部，接收采集模块的视频数据，并根据检测模块的检测结果下达指令给报警模块；算法模型，算法模型包括时序动作检测算法SSAD，时序动作检测算法SSAD由云端计算机训练好后将模型移植在单片机上，单片机采用NPU芯片；数据处理脚本，数据处理脚本用于更新网络参数，根据检测网络预测到的动作类别和动作起始终止时间，截取原视频片段并写入标签上传至云端；4G模块，4G模块用于实现数据处理脚本在云端和客户端之间的数据上传下载；所述数据处理脚本移植在单片机。
[0009]优选的，所述报警模块包括：固态继电器，固态继电器接收检测模块的信号，用于控制整个报警模块的供电；有源蜂鸣器，有源蜂鸣器用于在用户危险时发出警报声响，提示周围人员注意；GSM模块， GSM模块用于在危险情况下给紧急联信人发信。
[0010]优选的，所所述GSM模块用于在危险情况下给紧急联信人发信，发信内容包括危险原因和轮椅所在地址。
[0011]一种基于计算机视觉的轮椅用户健康监测系统的检测网络的训练方法，其特征在于：该方法包括以下步骤：步骤（1）：收集轮椅用户的异常行为视频和图像数据，制作云端训练的数据集，训练网络模型；所述网络模型为SSAD卷积神经网络；步骤（2）：通过数据处理脚本将检测模块检测到的本地低置信度的异常行为数据，送至云端服务器，经人工确认和校正视频片段的标签后，将确定的异常数据进行数据增强后归于其所属的分类数据集中，和原有的数据集进行融合制成新的融合数据集；步骤（3）：将融合数据集放入对SSAD卷积神经网络进行训练；步骤（4）：通过数据处理脚本更新本地的网络参数，完成本地的网络模型迭代。
[0012]优选的，所述数据增强具体操作如下：给定输入图像，使用显著性检测技术生成关于图像的显著性检测图，在显著性图中找到显著性强度最大的1个像素点，以这个像素点作为中心坐标，之后在中心坐标周围生成一块显著性裁剪区域，这个裁剪区域即为显著性映射图的峰值区域，将这块显著性峰值区域进行裁剪，输出增强样本。
[0013]优选的，所述步骤（3）中将融合数据集放入对SSAD卷积神经网络进行训练，具体包括如下操作：步骤（3
‑
1）：采集的视频或图像进入动作分类器，spatial network、temporal network、c3d network进行片段分类；spatial network对单张视频进行片段分类，输出概
率结果；temporal network对10帧堆叠的光流数据进行片段分类，输出概率结果；c3d network对于16帧堆叠的图像数据进行片段分类，输出概率结果；步骤（3
‑
2）：将分类后的图像进入SAS特征进行特征提取形成SAS特征序列，SAS特征；步骤（3
‑
3）：按先后顺序经过Base layer、Anchor Layer输出特征图到Prediction Layer，最后输出预测结果。
[0014]优选的，所述步骤（3
‑
1）中采用迁移学习中Fine
‑
tuning策略进行的线性分类器步骤。
[0015]优选的，所述步骤（3）中将融合数据集放入对SSAD卷积神经网络进行训练，包括在训练时采用早停策略。具体操作为：在训练中计算SSAD卷积神经网络在验证集上的表现，当SSAD卷积神经网络在验证集上的表现开始下降的时候，停止训练。
[0016]本专利技术的有益效果：1、通过轮椅用户健康监测系统设置集模块、报警模块、检测模块和云端服务器，能保证在用户异常状态下及时发出危险警告，从而极大减少监护人员的监护压力，面对多个需要监测用户时提升监护效率和减少人工成本。
[0017]2、通过在检查模块的算法模型中采用时序动作检测算法SSAD，增加算法的计算速度，同时增加用户异常状态下发出危险警告的速度，在时序动作检测算法SSAD中采用迁移学习中Fine
‑
tuning的方法和早停策略，防止训练过拟合，获得更好的泛化性能，进一步提高算法的准确本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于计算机视觉的轮椅用户健康监测系统，其特征在于：所述系统包括采集模块、报警模块、检测模块和云端服务器；所述采集模块用于记录监测对象的动作；所述检测模块利用检测网络来提取采集视频中的动作特征然后进行分类，最后输出检测结果；以及实现更新检测网络；所述报警模块用于在轮椅用户异常情况下向紧急联络人报警或向周围人员发出警告；所述采集模块采集用户动作信息发送到检测模块，检测模块检测采集模块输入的视频，并预测用户实时的姿态和动作，姿态和动作认为异常时向报警模块输入报警信号。2.根据权利要求1所述的一种基于计算机视觉的轮椅用户健康监测系统，其特征在于：所述采集模块包括：摄像头模组，用于拍摄用户上半身视频图像；升降机构，用于实现摄像头在轮椅扶手处的升降；驱动电机，用于驱动升降机构和摄像头；所述升降机构与轮椅扶手支撑杆内壁连接，驱动电机固定安装于所述轮椅扶手支撑杆腔内；所述摄像头模组安装在升降机构内和驱动电机相连，摄像头模组包括摄像头。3.根据权利要求1所述的一种基于计算机视觉的轮椅用户健康监测系统，其特征在于：所述检测模块包括：单片机，单片机安装在轮椅扶手支撑柱的内部，接收采集模块的视频数据，并根据检测模块的检测结果下达指令给报警模块；算法模型，算法模型包括时序动作检测算法SSAD，时序动作检测算法SSAD由云端计算机训练好后将模型移植在单片机上，单片机采用NPU芯片；数据处理脚本，数据处理脚本用于更新网络参数，根据检测网络预测到的动作类别和动作起始终止时间，截取原视频片段并写入标签上传至云端；4G模块，4G模块用于实现数据处理脚本在云端和客户端之间的数据上传下载；所述数据处理脚本移植在单片机。4.根据权利要求1所述的一种基于计算机视觉的轮椅用户健康监测系统，其特征在于：所述报警模块包括：固态继电器，固态继电器接收检测模块的信号，用于控制整个报警模块的供电；有源蜂鸣器，有源蜂鸣器用于在用户危险时发出警报声响，提示周围人员注意；GSM模块， GSM模块用于在危险情况下给紧急联信人发信。5.根据权利要求4所述的一种基于计算机视觉的轮椅用户健康监测系统，其特征在于：所述GSM模块用于在危险情况下给紧急联信人发信，发信内容包括危险原因和轮椅所在地址。6.根据权利要求1
‑
5任意一项所述的一种基于计算机视觉的轮椅用户健康监测系统的检测网络的训练方法，其特征在于：该方法包括以下步骤：步骤（1）：收集轮椅用户的异常行为视频和图像数据，制作云端训练的数据集，训练...
【专利技术属性】
技术研发人员：王嘉诚，戴广武，
申请(专利权)人：江苏理工学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。