一种多模型协同的病患状态监测方法技术

本发明专利技术涉及一种多模型协同的病患状态监测方法，包括：S1、得到训练后的LiquidNet网络模型；S2、建立网络端，网络摄像头拍摄医患场景图像；S3、建立服务端，服务端包括目标定位模块以及液位和表情识别模块；S4、服务端的目标定位模块对医患场景图像中的人脸和液滴瓶进行定位；S5、定位到人脸和液滴瓶后，服务端的液位和表情识别模块对液滴瓶的液位和人脸的表情进行识别；S6、通过UI界面显示出液位最终输出结果和表情状态异常的输出结果，并同时播放提示语音提示；该方法能够及时且准确地监测出输液过程中药液出现的异常状态以及病人的异常状态，协助医护人员进行医患管理，在降低医护人员工作量的同时，更好的为病患提供服务。更好的为病患提供服务。更好的为病患提供服务。

【技术实现步骤摘要】
一种多模型协同的病患状态监测方法


[0001]本专利技术涉及目标检测
，尤其是涉及一种多模型协同的病患状态监测方法。

技术介绍

[0002]近些年来得益于深度学习的快速发展，语音识别和图像识别方面的技术取得了重要的进展。比如随着卷积神经网络的发展，出现了诸如R
‑
CNN和YOLO等出色的目标检测网络结构，并在实际的生活中可以看到，这些技术的发展成果推进了很多行业的蓬勃发展。
[0003]现今的医院，由于医护人员不足，可能会存在一些安全问题，比如：没能及时发现病人输液过程中发生的异常情况。
[0004]医院长期以来面临着一种“病人多，监护难”的情况，从相关调查中可以看到，虽然近些年来护士队伍日益扩大，但是一线护士人力资源还是处于不足的情况。然后，从输液这个角度来看，护士的人员不足难免会存在一些隐形问题，输液的隐形问题主要在两个方面：1、输液瓶需要及时更换，如果不及时更换，并且病人的行动不便，附近又没有医生的时候，将会对病人产生一些不必要的麻烦；2、在输液过程中，病人会偶尔发生不良反应，如果说输液瓶需要更换时，护士没有及时发现是一个小问题，那么，输液中病人出现不良反应可能就会造成无法弥补的后果。
[0005]由于医院的环境复杂多变，传统的病患状态监测方法很难适应这些情况，这里的病患状态包括输液过程中药液的异常状态以及输液过程中病人的异常状态，药液的异常状态通常是指输液瓶中的药液是否已经输完，病人的异常状态通常是指病人输液过程中发生的不良反应。但随着人工智能的快速发展，使得提出了一种能适应环境的多模型协同的病患状态监测方法及其警报系统成为可能。为了缓解医院缺人的现状，同时探究人工智能的落地应用，本文尝试了现存方法的组合，提出了一种可能的解决方案。

技术实现思路

[0006]本专利技术所要解决的技术问题是提供一种能准确、及时地监测出输液过程中药液出现的异常状态以及病人的异常状态，从而缓解医院缺人现状的多模型协同的病患状态监测方法。
[0007]本专利技术所采用的技术方案是，一种多模型协同的病患状态监测方法，该方法包括下列步骤：
[0008]S1、建立基于DarkNet53的网络模型，对基于DarkNet53的网络模型进行训练，得到训练后的网络模型,，训练后的网络模型命名为LiquidNet网络模型；
[0009]S2、建立网络端，所述网络端包括接入局域网的树莓派以及与树莓派连接的网络摄像头，所述树莓派摆放于正对病人的若干米距离处，网络摄像头拍摄医患场景图像，所述医患场景图像中完整包含了人的整个面部以及整个液滴瓶的空间范围；
[0010]S3、建立服务端，所述服务端包括目标定位模块以及液位和表情识别模块，所述目
标定位模块包括用于定位液滴瓶的支持向量机模型、基于opencv的cascade人脸定位模型以及基于YoLoV3的网络模型；所述的液位和表情识别模块包括液位高低识别模块以及病人表情识别模块，所述液位高低识别模块包括GoogLeNetV4网络模型、DeepLabV3Plus网络模型以及步骤S1得到的LiquidNet网络模型，所述GoogLeNetV4网络模型用于输出液位线是否低于警戒线的置信度；所述DeepLabV3Plus网络模型用于划分瓶体无液位的像素范围，完成对液滴瓶的剩余液量百分比计算；所述LiquidNet网络模型用于对液位线的进行回归估计；所述病人表情识别模块包括FaceCNN网络模型，用于识别病人的表情是否异常；
[0011]S4、将网络端拍摄的医患场景图像发送到服务端，服务端的目标定位模块对医患场景图像中的人脸和液滴瓶进行定位，具体过程为：采用支持向量机模型对医患场景图像中的液滴瓶进行定位，采用基于opencv的cascade人脸定位模型对医患场景图像中的人脸进行定位；如果支持向量机模型没法定位到液滴瓶或/和基于opencv的cascade人脸定位模型没法定位到人脸，那么就启动基于YoLoV3的网络模型进行定位；
[0012]S5、定位到人脸和液滴瓶后，服务端的的液位和表情识别模块对液滴瓶的液位和人脸的表情进行识别，对液滴瓶的液位进行识别的具体过程为：通过GoogLeNetV4网络模型计算输出液滴瓶中药液的液位线是否低于警戒线的置信度，通过DeepLabV3Plus网络模型计算输出液滴瓶的剩余液量百分比，通过LiquidNet网络模型估计出液位线的所在位置，如果三个网络模型的输出结果中，至少有两个网络模型的输出结果是表示液滴瓶中液位线已经低于正常标准，那么就将液滴瓶中液位线已经低于正常标准作为液位最终输出结果；对人脸的表情进行识别的具体过程为：将定位到的人脸图像进行裁切，将裁切得到的人脸图像进行灰度化；然后将这个灰度化图像送入FaceCNN网络模型中，由FaceCNN网络模型输出结果，对FaceCNN网络模型的输出结果进行Sigmoid操作，然后再将输出结果与阈值进行对比，如果输出结果大于阈值，则表示病人表情状态异常，否则表示病人表情状态正常；
[0013]S6、通过UI界面显示出步骤S5得到的液位最终输出结果和表情状态异常的输出结果，并同时播放提示语音提示病患状态出现异常。
[0014]本专利技术的有益效果是：采用上述一种多模型协同的病患状态监测方法，能够及时且准确地监测出输液过程中药液出现的异常状态以及病人的异常状态，协助医护人员进行医患管理，在降低医护人员工作量的同时，更好的为病患提供服务、减少输液事故发生的数量。
[0015]作为优选，在步骤S1中，所述基于DarkNet53的网络模型包括Encoder模块和Decorder模块，设定输入特征图为F，F∈R
1*3*H*W
，其特征矩阵形状为n
×
n，所述Encoder模块用于对特征图F进行5次残差特征编码，得到大小为的特征矩阵；所述Decorder模块用于对编码完成后的特征矩阵进行4次解码操作，最终回归大小为n
×
n的特征矩阵，然后再通过1
×
1的卷积进行通道数调整，并通过一层线性层以及sigmoid激活函数得到1
×
2的特征矩阵作为最终输出。
[0016]作为优选，所述Encoder模块对特征图F进行5次残差特征编码的具体过程为：a、对特征图F的特征层的宽和高进行五次缩放，每一次缩放均是使用一个步长为2，卷积和为3
×
3的2D卷积将特征图缩放为原来尺寸的每一次缩放的同时，均将特征的通道数提升2倍；每一次缩放，均将得到的特征图经过函数BatchNormlize以及激活函数LeakyRelu进行特征
提取，经过五次缩放后，得到最终提取的特征矩阵；b、将步骤a得到的最终提取的特征矩阵送入一个固定数量的残差块，再次进行特征提取；c、将步骤a得到的最终提取的特征矩阵和步骤b提取的特征矩阵进行权重融合，完成对特征图F进行的5次残差特征编码。
[0017]作为优选，所述Decorder模块对编码完成后的特征矩阵进行4次解码操作的具体过程本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模型协同的病患状态监测方法，其特征在于：该方法包括下列步骤：S1、建立基于DarkNet53的网络模型，对基于DarkNet53的网络模型进行训练，得到训练后的网络模型，训练后的网络模型命名为LiquidNet网络模型；S2、建立网络端，所述网络端包括接入局域网的树莓派以及与树莓派连接的网络摄像头，所述树莓派摆放于正对病人的若干米距离处，网络摄像头拍摄医患场景图像，所述医患场景图像中完整包含了人的整个面部以及整个液滴瓶的空间范围；S3、建立服务端，所述服务端包括目标定位模块以及液位和表情识别模块，所述目标定位模块包括用于定位液滴瓶的支持向量机模型、基于opencv的cascade人脸定位模型以及基于YoLoV3的网络模型；所述的液位和表情识别模块包括液位高低识别模块以及病人表情识别模块，所述液位高低识别模块包括GoogLeNetV4网络模型、DeepLabV3Plus网络模型以及步骤S1得到的LiquidNet网络模型，所述GoogLeNetV4网络模型用于输出液位线是否低于警戒线的置信度；所述DeepLabV3Plus网络模型用于划分瓶体无液位的像素范围，完成对液滴瓶的剩余液量百分比计算；所述LiquidNet网络模型用于对液位线的进行回归估计；所述病人表情识别模块包括FaceCNN网络模型，用于识别病人的表情是否异常；S4、将网络端拍摄的医患场景图像发送到服务端，服务端的目标定位模块对医患场景图像中的人脸和液滴瓶进行定位，具体过程为：采用支持向量机模型对医患场景图像中的液滴瓶进行定位，采用基于opencv的cascade人脸定位模型对医患场景图像中的人脸进行定位；如果支持向量机模型没法定位到液滴瓶或/和基于opencv的cascade人脸定位模型没法定位到人脸，那么就启动基于YoLoV3的网络模型进行定位；S5、定位到人脸和液滴瓶后，服务端的液位和表情识别模块对液滴瓶的液位和人脸的表情进行识别，对液滴瓶的液位进行识别的具体过程为：通过GoogLeNetV4网络模型计算输出液滴瓶中药液的液位线是否低于警戒线的置信度，通过DeepLabV3Plus网络模型计算输出液滴瓶的剩余液量百分比，通过LiquidNet网络模型估计出液位线的所在位置，如果三个网络模型的输出结果中，至少有两个网络模型的输出结果是表示液滴瓶中液位线已经低于正常标准，那么就将液滴瓶中液位线已经低于正常标准作为液位最终输出结果；对人脸的表情进行识别的具体过程为：将定位到的人脸图像进行裁切，将裁切得到的人脸图像进行灰度化；然后将这个灰度化图像送入FaceCNN网络模型中，由FaceCNN网络模型输出结果，对FaceCNN网络模型的输出结果进行Sigmoid操作，然后再将输出结果与阈值进行对比，如果输出结果大于阈值，则表示病人表情状态异常，否则表示病人表情状态正常；S6、通过UI界面显示出步骤S5得到的液位最终输出结果和表情状态异常的输出结果，并同时播放提示语音提示病患状态出现异常。2.根据权利要求1所述的一种多模型协同的病患状态监测方法，其特征在于：在步骤S1中，所述基于DarkNet53的网络模型包括Encoder模块和Decorder模块，设定输入特征图为F，F∈R
1*3*H*W
，其特征矩阵形状为n
×
n，所述Encoder模块用于对特征图F进行5次残差特征编码，得到大小为的特征矩阵；所述Decorder模块用于对编码完成后的特征矩阵进行4次解码操作，最终回归大小为n
...

【专利技术属性】
技术研发人员：任涛涛，江左文，刘博文，罗嘉楠，罗彬瑞，刘翔，
申请(专利权)人：宁波大学科学技术学院，
类型：发明
国别省市：