一种基于图像识别的医学实验室监控图像分析方法和系统技术方案

本发明专利技术涉及图像分析技术领域，尤其涉及一种基于图像识别的医学实验室监控图像分析方法和系统，本发明专利技术在针对实验室监控图像进行图像分析时，首先设置了不安全行为样本库，里面涵盖了几乎所有的发生在实验室的不安全行为，并以此进行监控图像的图像分析，可有效提高图像分析以及不安全行为识别的准确度；另外，本实施例在对不安全行为进行识别时，根据不安全行为的危险等级，分为危险行为库和较危险行为库；设置了不同的图像分析模型，并通过初步判断决定将需要分析的图像发送给哪个图像分析模型，从而使得对报警时效要求高的危险行为所在的图像能尽可能快的被识别出来，这样，可显著提高危险行为的报警效率，防止医学实验室事故的出现。故的出现。故的出现。

【技术实现步骤摘要】
一种基于图像识别的医学实验室监控图像分析方法和系统


[0001]本专利技术涉及图像分析
，尤其涉及基于图像识别的医学实验室监控图像分析方法和系统。

技术介绍

[0002]为了实现对疾病的高精度诊断以及预防和控制传染病的威胁，各国卫生部门或者医院均投入大量的人力、物力建立医学实验室，以满足临床检验、疾病控制和研究工作之需；据多项统计资料的研究证实，对于医学实验室来说，导致医学实验室事故发生的最重要一个原因是实验人员的不安全行为。因此，对监控图像进行图像处理和分析，识别出实验人员的不安全行为，是一项非常重要的课题。
[0003]然而，通过检索发现，现有技术中对图像进行分析的技术方案很多，比如说中国专利技术专利（CN111445524A）公开了基于场景理解的施工现场工人不安全行为识别方法的技术方案，包括以下步骤：采集实体的二维彩色图像和三维点云数据；对二维彩色图像进行标注，得到标注文件，其中，标注文件包括训练集、验证集和测试集；将训练集输入Mask R
‑
CNN中进行训练，获得多个候选实体识别模型，利用验证集比选候选实体识别模型的平均精度均值，得到最优实体识别模型；根据最优实体识别模型获取工人关节点三维空间坐标、实体上的关键点三维空间坐标，通过实体间距离计算和方位关系判别实现不安全行为的识别，从而构建基于场景理解的施工现场工人不安全行为识别方法。该方法可以有效识别靠近危险源、PPE使用不当等不安全行为，并为动作识别提供环境信息；上述方案虽然可以对工人的不安全行为进行识别，但是需要将监控所有的图像均输入到同一识别模型，识别效率很低，并且，识别起来精度也不高，因此，现有技术急需一种针对医学实验室监控图像的图像分析方法和系统，提高图像分析的效率和精度。

技术实现思路

[0004]本专利技术要解决的技术问题是针对上述技术方案的不足，提供一种基于图像识别的医学实验室监控图像分析方法和系统，用于对医学实验室监控图像进行分析，从而能准确高效的分析出监控图像表征的不安全行为。
[0005]为了实现上述目的，根据本专利技术的一个方面，提供一种基于图像识别的医学实验室监控图像分析方法，包括以下步骤：步骤1：对监控视频进行预处理操作；得到需要分析的图像；步骤2：建立不安全行为图像样本库；步骤3：建立不安全行为分类库；步骤4：将所述步骤1中的需要分析的图像与不安全行为图像样本库中的所有图像均进行相似度计算，初步判断所述需要分析的图像中的行为是危险行为还是较危险行为或者是无危险行为；若初步判断为危险行为，则进入步骤5；若初步判断为较危险行为则进入步骤6；若初步判断为无危险行为，则进行下一张图像的分析；
步骤5：采用第一图像分析模型对所述需要分析的图像进行分析；步骤6：采用第二图像分析模型对所述需要分析的图像进行分析；步骤7：输出图像分析结果。
[0006]优选地，所述预处理操作包括以下步骤：步骤1.1：将视频转换成图像帧序列；步骤1.2：对所述图像帧序列进行重采样操作，从而得到需要分析的图像；优选地，所述重采样操作为对图像帧序列按照固定间隔进行重采样，从而得到需要分析的图像；更进一步地，所述对图像帧序列按照固定间隔进行重采样具体为按照每12帧的固定间隔进行重采样；优选地，所述不安全行为包括：危险化学品柜未上锁、实验室内吸烟、做实验时未穿戴防护服、隔离服乱扔、在实验室吃饭、往生活下水道倾倒实验废液、 穿拖鞋进入实验室、穿高跟鞋进入实验室、医学垃圾扔入生活垃圾箱等几种类型；更进一步地，不安全行为图像样本库可通过实验人员实际模拟不安全行为，然后通过监控设备拍摄图像获取；更进一步地，对某一种不安全行为可通过多个角度拍摄多张图像，从而提高图像分析的准确度；优选地，根据不安全行为的危险等级，分为危险行为库和较危险行为库；更进一步地，危险行为库中的危险行为为当在实验室做出该危险行为时，需要及时做出报警操作，并需要及时制止的危险行为；较危险行为库中的危险行为为，当在实验室做出该危险行为时，也需要图像分析服务器做出报警操作，但是对分析时间的要求低；具体地，危险行为库包括：实验室内吸烟、做实验时未穿戴防护服、在实验室吃饭、往生活下水道倾倒实验废液；较危险行为库包括：危险化学品柜未上锁、隔离服乱扔、穿拖鞋进入实验室、穿高跟鞋进入实验室、医学垃圾扔入生活垃圾箱；优选地，若存在需要分析的图像与不安全行为图像样本库中的图像中的最大相似度大于30%，则初步认定该图像中存在不安全行为；若需要分析的图像与不安全行为图像样本库中的图像的最大相似度小于等于30%，则认定为该图像不存在不安全行为，则进行下一张图像的分析；若存在需要分析的图像与不安全行为图像样本库中的图像中的最大相似度大于30%，且，所述不安全行为图像样本库中的图像为危险行为库图像，则进入步骤5；若存在需要分析的图像与不安全行为图像样本库中的图像中的最大相似度大于30%，且，所述不安全行为图像样本库中的图像为较危险行为库图像，则进入步骤6；优选地，所述第一图像分析模型为基于YOLOV3模型；所述YOLOV3模型的主体部分选择Darknet
‑
53，其包括3x3的卷积层以及1x1的残差层，同时，所述YOLOV3模型设计了3种比例的特征图进行检测，这3种尺度分别为13x13 , 26x26以及52 x52，构建一个完整的多尺度结构模型，全部的特征图都是深层特征图与浅层特征图的融合，利用Darknet
‑
53的深层特征提取网络以及多尺度检测方案的设计，使得
YOLO V3算法具有检测速度快检测精度高的优点；更进一步地，所述采用第一图像分析模型对所述需要分析的图像进行分析具体为：步骤5.1：构建训练数据集对模型进行训练；为了提高模型的检测精度，本专利技术采用医学实验室往期监控图像作为训练数据集，其中，往期监控图像中包含所述步骤2中提到的所有不安全行为，并通过人工标注的方式对所有不安全行为进行标注，作为第一图像分析模型的训练集，然后采用训练数据集对模型进行训练，从而使模型收敛；步骤5.2：将需要识别的图像输入到第一图像分析模型，采用Darknet
‑
53网络提取图像特征；具体地，所述Darknet
‑
53网络的第一个卷积层用 16 个大小为 3
×
3 的卷积核对所述需要分析的图像进行过滤；然后，将卷积层的输出作为输入，使用32个尺寸为3
×
3的卷积核以及两个像素的步长进行下采样操作，然后添加残差块增加网络的深度，所述残差块由 1
×
1卷积层和 3
×
3卷积层组成，此时得到的特征图尺寸为256
×
256；接下来，执行残差块网络，分别获取128
×
128，64
×
64，32
×
32，16
×
16，8
×
8，4
×
4，2
×
2分辨率的特征，从而得到图像特征；步骤5.3：采用多尺度网络进行行为预测；具体地，对于输入的需要分析的图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像识别的医学实验室监控图像分析方法，其特征在于，包括以下步骤：步骤1：对监控视频进行预处理操作；得到需要分析的图像；步骤2：建立不安全行为图像样本库；步骤3：建立不安全行为分类库；步骤4：将所述步骤1中的需要分析的图像与不安全行为图像样本库中的所有图像均进行相似度计算，初步判断所述需要分析的图像中的行为是危险行为还是较危险行为或者是无危险行为；若初步判断为危险行为，则进入步骤5；若初步判断为较危险行为则进入步骤6；若初步判断为无危险行为，则进行下一张图像的分析；步骤5：采用第一图像分析模型对所述需要分析的图像进行分析；步骤6：采用第二图像分析模型对所述需要分析的图像进行分析；步骤7：输出图像分析结果。2.根据权利要求1所述的基于图像识别的医学实验室监控图像分析方法，其特征在于，所述预处理操作包括以下步骤：步骤1.1：将视频转换成图像帧序列；步骤1.2：对所述图像帧序列进行重采样操作，从而得到需要分析的图像；所述重采样操作为对图像帧序列按照固定间隔进行重采样，从而得到需要分析的图像。3.根据权利要求2所述的基于图像识别的医学实验室监控图像分析方法，其特征在于，所述对图像帧序列按照固定间隔进行重采样具体为按照每12帧的固定间隔进行重采样。4.根据权利要求1所述的基于图像识别的医学实验室监控图像分析方法，其特征在于，所述不安全行为包括：危险化学品柜未上锁、实验室内吸烟、做实验时未穿戴防护服、隔离服乱扔、在实验室吃饭、往生活下水道倾倒实验废液、穿拖鞋进入实验室、穿高跟鞋进入实验室、医学垃圾扔入生活垃圾箱几种类型。5.根据权利要求1所述的基于图像识别的医学实验室监控图像分析方法，其特征在于，根据不安全行为的危险等级，分为危险行为库和较危险行为库；所述危险行为库中的危险行为为当在实验室做出该危险行为时，需要及时做出报警操作，并需要及时制止的危险行为；所述较危险行为库中的危险行为为当在实验室做出该危险行为时，也需要图像分析服务器做出报警操作，但是对分析时间的要求低。6.根据权利要求5所述的基于图像识别的医学实验室监控图像分析方法，其特征在于，危险行为库包括：实验室内吸烟、做实验时未穿戴防护服、在实验室吃饭、往生活下水道倾倒实验废液；较危险行为库包括：危险化学品柜未上锁、隔离服乱扔、穿拖鞋进入实验室、穿高跟鞋进入实验室、医学垃圾扔入生活垃圾箱。7.根据权利要求1所述的基于图像识别的医学实验室监控图像分析方法，其特征在于，所述步骤4具体为：若存在需要分析的图像与不安全行为图像样本库中的图像中的最大相似度大于30%，则初步认定该图像中存在不安全行为；若需要分析的图像与不安全行为图像样本库中的图像的最大相似度小于等于30%，则认定为该图像不存在不安全行为，则进行下一张图像的分析；若存在需要分析的图像与不安全行为图像样本库中的图像中的最大相似度大于30%，且，所述不安全行为图像样本库中的图像为危险行为库图像，则进入步骤5；若存在需要分析的图像与不安全行为图像样本库中的图像中的最大相似度大于30%，且，所述不安全行为图像样本库中的图像为较危险行为库图像...

【专利技术属性】
技术研发人员：陈彦军，赵学铭，台红祥，王兆龙，张君，
申请(专利权)人：天津医科大学，
类型：发明
国别省市：