基于深度学习和目标跟踪的大输液异物检测方法、系统、介质及设备技术方案

本发明专利技术公开了一种基于深度学习和目标跟踪的大输液异物检测方法、系统、介质及设备，该方法对采集的连续多帧图像进行图像预处理后，结合了目标检测算法和目标跟踪算法，实现了目标检测与目标跟踪的融合、异物精准定位跟踪；首先通过对序列图像进行预处理，然后先运用Faster R‑CNN神经网络对第一帧图像进行目标检测，得到每个疑似目标的初始位置，然后通过CSR‑DCF目标跟踪算法跟踪每个目标在之后几帧的位置，得到每个疑似目标的运动轨迹，最后根据轨迹特征用基于半朴素贝叶斯原理的自适应分类算法进行分类，排除噪音干扰。实验表明，该方法不但可以极大提高检测速度而且检测精度也提高了许多，达到了工业生产精度和实时性要求。

【技术实现步骤摘要】
基于深度学习和目标跟踪的大输液异物检测方法、系统、介质及设备
本专利技术属于医药图像检测领域，涉及一种基于深度学习和目标跟踪的大输液异物检测方法、系统、介质及设备。
技术介绍
我国大输液生产量和销售量早已位居世界第一，在制药生产过程中，由于各种原因导致药液中混入直径大于50微米的微小异物，其中包括空气中的纤维，工人掉落的毛发，玻璃瓶碰撞产生的玻璃屑，橡胶塞脱落的橡胶块等。由于大输液药剂直接将药物输入静脉并进入人体血液，一旦这些异物进入人体血液循环，直接关系到人的生命安全，更重要的是，大输液是给病人使用的，而病人相对于正常人的抵抗能力要弱很多，带有异物的药业一旦输入血液，跳过人体安全的第一，第二防线，不但无法治病，还有可能致命。所以，大输液异物检测是重中之重，是维护人民生命安全的最重要一道防线。在传统中小制药企业采用的人工灯检法，这种方式依靠人力，伴有检测标准无法统一，导致视力疲劳，检测速度慢，漏检率高等缺点。而国外等先进设备，价格昂贵，维护成本极高，因此研究开发一套高效安全的大输液异物检测方法，是当务之急。对人民安全，工业生产，国家发展本文档来自技高网...

【技术保护点】
1.一种基于深度学习和目标跟踪的大输液异物检测方法，其特征在于，包括以下步骤：/n步骤1：采集大输液生产线上通过高速旋转-急停后的序列图像；/n步骤2：对采集的大输液序列图像进行格式转换，并裁剪掉边界干扰区域；/n步骤3：将大输液药液历史序列图像的中央感兴趣区域中包含的异物目标进行最小外接矩形的方框标记，同时记录XML文件，并对XML文件进行脚本转换，获取TFRrecord文件；/n所述XML文件记录每个异物目标的方框标记ground-truth box、角点坐标、所属图像名称、大小、通道数、图像格式与存储路径；/n步骤4：构建基于Faster R-CNN深度神经网络的异物位置预测标记模型；/...

【技术特征摘要】
1.一种基于深度学习和目标跟踪的大输液异物检测方法，其特征在于，包括以下步骤：
步骤1：采集大输液生产线上通过高速旋转-急停后的序列图像；
步骤2：对采集的大输液序列图像进行格式转换，并裁剪掉边界干扰区域；
步骤3：将大输液药液历史序列图像的中央感兴趣区域中包含的异物目标进行最小外接矩形的方框标记，同时记录XML文件，并对XML文件进行脚本转换，获取TFRrecord文件；
所述XML文件记录每个异物目标的方框标记ground-truthbox、角点坐标、所属图像名称、大小、通道数、图像格式与存储路径；
步骤4：构建基于FasterR-CNN深度神经网络的异物位置预测标记模型；
利用历史序列图像按照步骤2-步骤3处理，获得训练集的TFRecord文件，利用训练集的TFRrecord文件输入FasterR-CNN深度神经网络模型进行训练，获得基于FasterR-CNN深度神经网络的异物位置预测标记模型，训练时，配置文件的分类数设置为1，迭代批处理数据数目batch_size置为1，总的迭代次数num_steps设置为40000；
步骤5：按照步骤2-步骤3对实时采集的大输液医药药液生产线上的大输液药液序列图像进行处理，之后把第一帧图像的TFRecord文件所述的基于FasterR-CNN深度神经网络的异物位置预测标记模型，获得第一帧所有疑似异物目标的位置坐标点；
步骤6：将实时采集的序列图像和基于步骤5获得的第一帧所有的疑似异物目标坐标位置所在区域作为CSR-DCF目标跟踪算法的感兴趣区域输入部分，跟踪得到实时采集的序列图像中每个疑似异物目标的位置坐标；
步骤7：依据噪声与异物目标的运动轨迹差别，基于目标运动轨迹特征，利用贝叶斯原理的自适应分类算法从实时采集的序列图像中所有疑似目标的运动轨迹上区分出异物目标和噪声。


2.根据权利要求1所述的方法，其特征在于，所述对采集的大输液序列图像进行格式转换，裁剪边界干扰区域，过程如下：
步骤2.1：通过python中的字符串的拼接，将CCD相机获得的大输液药液序列图像BMP位图格式的图像为JPG格式；
步骤2.2：采用双线性插值将JPG格式的大输液药液图像的分辨率压缩成1000*750的分辨率；
步骤2.3：将经过压缩后的大输液药液图像进行resize操作，图像宽度裁剪范围为115至885的区域，高裁剪为75至675的区域，图像分辨率为770*600。


3.根据权利要求1所述的方法，其特征在于，所述基于FasterR-CNN深度神经网络的异物位置预测标记模型，在训练前，先载入采用coco数据集上预训练的faster_rcnn_vgg16_coco预训练模型对RPN网络进行初始化，，接着将大输液药液历史序列图像的TFRecord文件输入faster_rcnn_vgg16_coco预训练模型，更新faster_rcnn_vgg16_coco预训练模型，利用更新后的faster_rcnn_vgg16_coco预训练模型再次训练RPN网络，获得基于FasterR-CNN深度神经网络的异物位置预测标记模型，其中，所述RPN网络输出异物位置的方框标记anchorbox，包括异物所在方框的中心点坐标以及方框的宽和高；
利用历史序列图像的TFRecord文件输入faster_rcnn_vgg16_coco预训练模型进行训练时，划分正负样本区分白色成像异物目标与黑色背景时采用的IoU设置为0.7，损失函数如下：



其中，i为训练时为了回归计算及划分样本对异物目标的方框标记anchorbox的索引值，pi是第i个标记方框anchorbox中的目标预测为异物目标的概率，表示第i个标记方框anchorbox中是否存在异物目标，取值在白色成像异物目标的正样本时取值为1，黑色背景的负样本时取值为0；Ncls是标准化参数，取值为256；Lcls是分类误差函数，是采用白色成像异物目标与黑色背景非目标的对数损失函数；
ti是训练时第i个anchorbox与对应预测框的偏移量构成的向量(tx、ty、tw、th)，其中，tx、ty表示ti中的平移方向上x和y变换，tw、th表示ti中的宽度和高度的尺度缩放，是训练时第i个anchorbox与ground-truthbox的偏移量构成的向量表示中的平移方向上x和y变换，表示中的宽度和高度的尺度缩放，Nreg是标准化参数，取值为2400，...

【专利技术属性】
技术研发人员：张辉，王群，易俊飞，毛建旭，周显恩，朱青，王耀南，
申请(专利权)人：湖南爱米家智能科技有限公司，
类型：发明
国别省市：湖南;43