基于深度学习的ICU病人生理指标数据识别监测方法技术

本申请公开了基于深度学习的ICU病人生理指标数据识别监测方法，包括：S1:通过第三方软件采集监护仪的显示画面，并在本地保存为视频格式；S2:对采集到的视频按帧截取若干图像，并做灰度处理，建立样本数据集后进行标签化，以将样本数据集分为训练图像集、验证图像集和测试图像集；S3:搭建Faster RCNN网络，Faster RCNN网络包括残差网络ResNet

【技术实现步骤摘要】
基于深度学习的ICU病人生理指标数据识别监测方法


[0001]本专利技术涉及深度学习目标检测算法及智能化医疗
，具体涉及一种基于深度学习的ICU病人生理指标数据识别监测方法。

技术介绍

[0002]在重症监护领域，病人的生理指标参数监测是指导临床医护人员定量评估、诊断和治疗重症患者的必要手段。患者在进入手术室或重症监护室(intensive care unit，ICU)后，医护人员会将可以监测心率、血压、血氧、呼吸和体温等生理指标的监护仪接入人体，传统监护仪仅能显示患者的生理参数，而不提供这些参数的输出接口。为了对患者进行监护，通常在监护室内设置监控设备以便于医护人员观察患者的情况。
[0003]但是，由于监护仪显示的画面上即有较大的数字参数，也有较小的字母和小数点，受限于监控设备的分辨率等因素，监控设备无法精准且清晰的识别监护仪的显示屏上显示的生理指标数据。导致医护人员无法直接对患者的生理指标数据进行记录，需要对每个监护室内患者的生理指标数据进行现场记录，工作量大且对于患者生理指标变化情况的了解存在滞后性。

技术实现思路

[0004]本专利技术的目的是提出一种基于深度学习的ICU病人生理指标数据识别监测方法，以解决现有技术中无法对监护仪的显示屏显示的患者的生理指标数据进行直接识别监测的问题。
[0005]为达到上述专利技术目的，本专利技术采用的技术方案是：
[0006]一种基于深度学习的ICU病人生理指标数据识别监测方法，包括：
[0007]S1:通过第三方软件采集监护仪的显示画面，并在本地保存为视频格式，所述显示画面包含监护目标的生理指标数据；
[0008]S2:对采集到的视频按帧截取若干图像，将若干所述图像做灰度处理，建立样本数据集，然后将所述样本数据集中的若干图像进行标签化，标签化后将所述样本数据集分为训练图像集、验证图像集和测试图像集；
[0009]S3:搭建Faster RCNN网络，所述Faster RCNN网络包括残差网络ResNet
‑
50、RPN层、ROI Pooling层和分类器，所述残差网络ResNet
‑
50中引入特征金字塔FPN结构；
[0010]S4:导入所述训练图像集、所述验证图像集和所述测试图像集，结合单数字标注法对所述Faster RCNN网络进行训练、验证和测试后得到数据识别监测Faster RCNN模型；
[0011]S5:利用Libtorch部署所述数据识别监测Faster RCNN模型，完成与软件的对接；
[0012]S6:基于所述数据识别监测Faster RCNN模型，利用单数字标注法对所述监护仪的显示画面显示的生理指标数据进行识别标注，以对监护目标的生理指标数据进行监测。
[0013]进一步地，所述数据识别监测Faster RCNN模型基于Pytorch框架搭建，采用平移、缩放、亮度调整的方法进行数据在线增强，设置训练迭代轮数为50轮，学习率为0.005，并采
用学习率衰减策略，优化器采用随机梯度下降。
[0014]进一步地，所述S4中的对所述Faster RCNN网络进行测试包括：
[0015]S41：在所述测试图像集中选取一测试图像，并在所述测试图像内划分出若干ROI子区域，每个所述ROI子区域包括数字、小数点、括号、曲线、字母中的任意一种或几种特征点；
[0016]S42：将若干所述ROI子区域进行固定坐标裁剪后，对若干所述ROI子区域进行检测，每个所述ROI子区域内具有若干目标检测框，每个所述目标检测框内具有一个特征点；
[0017]S43：将属于同一组数字组的所述特征点进行拼接以获取所述数字组；
[0018]S44：将所述数字组显示至所述测试图像中，根据若干所述ROI子区域内的目标检测框的输出坐标和若干所述ROI子区域的裁剪坐标，将所述目标检测框在所述测试图像中进行显示，并进行比对。
[0019]进一步地，所述S43中的将属于同一组数字组的所述特征点进行拼接以获取所述数字组包括：
[0020]基于所述固定坐标设置一X轴差值阈值，所述X轴差值阈值用于判别于所述固定坐标的X轴方向上，相邻所述目标检测框内对应的特征点是否属于同一组数字组；
[0021]当相邻所述目标检测框内对应的特征点之间的距离小于或等于所述X轴差值阈值时，将相邻所述目标检测框内对应的特征点进行拼接，以获得所述数字组。
[0022]进一步地，采用开源工具labelImg对所述特征点进行标注。
[0023]进一步地，所述S6中的基于所述数据识别监测Faster RCNN模型，利用单数字标注法对所述监护仪的显示画面显示的生理指标数据进行识别标注包括：
[0024]S61：通过第三方软件采集监护仪的显示画面，并在本地保存为视频格式，所述显示画面包含监护目标的生理指标数据；
[0025]S62：对采集到的视频按帧截取图像，将所述截取图像做灰度处理，建立图像数据集，并将所述图像数据集输入到所述数据识别监测Faster RCNN模型中；
[0026]S63：基于所述残差网络ResNet
‑
50提取每个所述截取图像的特征，并进行特征融合；
[0027]S64：通过所述RPN层生成区域框；
[0028]S65：通过所述ROI Pooling层提取所述区域框对应的特征图；
[0029]S66：所述分类器利用所述特征图，通过全连接层计算每个所述区域框的类别，并输出类别概率向量，同时利用所述区域框回归获得每个所述区域框的位置偏移量，得到更加精确的目标检测框；
[0030]S67：利用单数字标注法对所述目标检测框内的特征点进行标注。
[0031]进一步地，经所述残差网络ResNet
‑
50提取的所述截取图像的特征通过特征金字塔网络进行特征融合。
[0032]由于上述技术方案运用，本专利技术与现有技术相比具有下列优点：
[0033]本专利技术采用Faster RCNN网络算法，通过残差网络ResNet
‑
50作为卷积神经网络来提取特征，并在残差网络ResNet
‑
50中引入特征金字塔FPN结构，同时结合单数字标注法以对模型进行训练，可以有效有效克服模型训练时小目标特征在下采样过程中信息丢失问题，提高监护仪画面中小字母及符号的检测精度，同时可以降低图像数据获取数量及难度，
加快训练时间。
[0034]此外，本专利技术通过第三方软件对监护仪显示屏进行采集录制保存为视频格式，通过对视频进行图像截取、前处理、数据标注、训练数据集制作以及目标检测算法的训练以得到的数据识别监测Faster RCNN模型，可以准确识别监护仪上显示的生理指标数据，并作为数据接口为后续的数据分析或第三方软件应用等工作提供条件，进而使医护人员可以直接对患者的生理指标数据进行记录，利于监测患者的生理指标变化。
附图说明
...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的ICU病人生理指标数据识别监测方法，其特征在于，包括：S1:通过第三方软件采集监护仪的显示画面，并在本地保存为视频格式，所述显示画面包含监护目标的生理指标数据；S2:对采集到的视频按帧截取若干图像，将若干所述图像做灰度处理，建立样本数据集，然后将所述样本数据集中的若干图像进行标签化，标签化后将所述样本数据集分为训练图像集、验证图像集和测试图像集；S3:搭建Faster RCNN网络，所述Faster RCNN网络包括残差网络ResNet
‑
50、RPN层、ROIPooling层和分类器，所述残差网络ResNet
‑
50中引入特征金字塔FPN结构；S4:导入所述训练图像集、所述验证图像集和所述测试图像集，结合单数字标注法对所述Faster RCNN网络进行训练、验证和测试后得到数据识别监测Faster RCNN模型；S5:利用Libtorch部署所述数据识别监测Faster RCNN模型，完成与软件的对接；S6:基于所述数据识别监测Faster RCNN模型，利用单数字标注法对所述监护仪的显示画面显示的生理指标数据进行识别标注，以对监护目标的生理指标数据进行监测。2.如权利要求1所述的基于深度学习的ICU病人生理指标数据识别监测方法，其特征在于，所述数据识别监测Faster RCNN模型基于Pytorch框架搭建，采用平移、缩放、亮度调整的方法进行数据在线增强，设置训练迭代轮数为50轮，学习率为0.005，并采用学习率衰减策略，优化器采用随机梯度下降。3.如权利要求1所述的基于深度学习的ICU病人生理指标数据识别监测方法，其特征在于，所述S4中的对所述Faster RCNN网络进行测试包括：S41：在所述测试图像集中选取一测试图像，并在所述测试图像内划分出若干ROI子区域，每个所述ROI子区域包括数字、小数点、括号、曲线、字母中的任意一种或几种特征点；S42：将若干所述ROI子区域进行固定坐标裁剪后，对若干所述ROI子区域进行检测，每个所述ROI子区域内具有若干目标检测框，每个所述目标检测框内具有一个特征点；S43：将属于同一组数字组的所述特征点进行拼接以获取所述数字组；S44：将所...

【专利技术属性】
技术研发人员：柴宇虬，彭思龙，
申请(专利权)人：苏州中科行智智能科技有限公司，
类型：发明
国别省市：