结核分枝杆菌自动检测模型的训练方法及自动检测系统技术方案

本发明专利技术公开了一种结核分枝杆菌自动检测模型的训练方法及自动检测系统，该检测模型包括检测器网络和计数器网络；检测方法包括利用检测器网络提取结核分枝杆菌团块所在的候选区域和计数器网络对候选区域的杆菌数量进行计数两个阶段；首先在结核分枝杆菌涂片图像的RGB图像空间中嵌入色调空间信息，得到RGBH样本图像；从RGBH样本图像上提取出样本框并进行标记，生成训练集合；通过该训练集合对结核分枝杆菌自动检测模型进行训练；本发明专利技术通过颜色嵌入实现对结核分枝杆菌颜色性质的显性表征，便于检测器网络进行特征提取；计数器网络在检测器网络的基础上提取并融合图像的多尺度特征，进一步对候选框进行筛选，提高预测精确度和计数可靠性。

Training Method and Automatic Detection System of Mycobacterium Tuberculosis Automatic Detection Model

【技术实现步骤摘要】
结核分枝杆菌自动检测模型的训练方法及自动检测系统
本专利技术属于计算机视觉
，更具体地，涉及一种结核分枝杆菌自动检测模型的训练方法及自动检测系统。
技术介绍
结核病是由结核杆菌感染引起的慢性传染病，每年患病人数高达150万人次，现已成为威胁人类生命安全的“头号杀手”之一，早期的发现对结核病的治疗有着重要的意义。目前的结核病的主要检测手段是涂片染色镜检，一般采用Z-N染色法对涂片进行染色，然后由检测人员采用一定放大倍数的光学显微镜观察染色涂片并统计结核分枝杆菌的数量，从而得到检测结果；但是这种人为检测的方法需要依赖检测人员的经验，检测速度慢、费时费力，且易发生检测人员视觉疲劳而漏诊的情况，检测精度低；因此，研究一种自动化的结核分枝杆菌检测方法是十分重要的。
技术实现思路
针对现有技术的至少一个缺陷或改进需求，本专利技术提供了一种基于深度学习的结核分枝杆菌自动检测模型的训练方法及自动检测系统，其目的在于解决现有的检测方法存在的检测精度低、费时费力的问题。为实现上述目的，按照本专利技术的一个方面，提供了一种结核分枝杆菌自动检测模型的训练方法，包括以下步骤：S1：将染色后的结核分枝杆菌涂片图像从RGB图像空间投影到HSV颜色空间，获取色调空间信息并将其嵌入RGB图像空间中，得到RGBH样本图像；S2：从所述RGBH样本图像上提取出多个样本框并进行标记，生成训练集合；标记信息包括样本框的真实标签、位置信息和结核分枝杆菌条数；若样本框中包含结核分枝杆菌则该样本框的真实标签为正样本，否则为负样本；S3：将所述训练集合输入检测器网络模型中，生成多尺度的候选框并预测所述候选框的类别置信度和位置信息；S4：根据所述样本框的真实标签、位置信息以及所述候选框的类别置信度和位置信息计算检测器网络模型的损失函数；对检测器网络模型进行迭代训练以使所述损失函数最小化，检测器网络模型训练完成；S5：将训练集合中的每一个样本框调整为多个尺度后输入计数器网络模型中，得到不同尺度样本框的特征值；将不同尺度的特征值进行融合并预测其类别置信度和对应的结核分枝杆菌条数；S6：根据所述样本框的真实标签、结核分枝杆菌条数以及预测的类别置信度和杆菌条数计算计数器网络模型的损失函数；对计数器网络模型进行迭代训练以使所述损失函数最小化，计数器网络模型训练完成；S7：根据检测器网络模型和计数器网络模型得到结核分枝杆菌自动检测模型。优选的，上述结核分枝杆菌自动检测模型的训练方法，其步骤S14中还包括以下步骤：计算候选框相对于样本框的重叠度，将所述重叠度小于预设的重叠度阈值的候选框作为负样本；将所述负样本按照类别置信度降序排列，获取前K个候选框作为top-k难例并随机丢弃部分，将所述top-k难例的剩余部分输入检测器网络模型继续迭代训练。按照本专利技术的另一个方面，还提供了一种结核分枝杆菌自动检测系统，包括颜色嵌入模块、标记模块、第一预测模块、第一损失计算模块、第二预测模块和第二损失计算模块；所述颜色嵌入模块用于将染色后的结核分枝杆菌涂片图像从RGB图像空间投影到HSV颜色空间，获取色调空间信息并将其嵌入RGB图像空间中，得到RGBH样本图像；所述标记模块用于从所述RGBH样本图像上提取出多个样本框并进行标记，生成训练集合；标记信息包括样本框的真实标签、位置信息和结核分枝杆菌条数；若样本框中包含结核分枝杆菌则该样本框的真实标签为正样本，否则为负样本；所述第一预测模块用于将所述训练集合输入检测器网络模型中，生成多尺度的候选框并预测所述候选框的类别置信度和位置信息；所述第一损失计算模块用于根据所述样本框的真实标签、位置信息以及所述候选框的类别置信度和位置信息计算检测器网络模型的损失函数；对检测器网络模型进行迭代训练以使所述损失函数最小化，检测器网络模型训练完成；所述第二预测模块用于将训练集合中的每一个样本框调整为多个尺度后输入计数器网络模型中，得到不同尺度样本框的特征值；将不同尺度的特征值进行融合并预测其类别置信度和对应的结核分枝杆菌条数；所述第二损失计算模块用于根据所述样本框的真实标签、结核分枝杆菌条数以及预测的类别置信度和杆菌条数计算计数器网络模型的损失函数；对计数器网络模型进行迭代训练以使所述损失函数最小化，计数器网络模型训练完成。优选的，上述结核分枝杆菌自动检测系统还包括难例筛选模块；所述难例筛选模块用于计算候选框相对于样本框的重叠度，将所述重叠度小于预设的重叠度阈值的候选框作为负样本；将所述负样本按照类别置信度降序排列，获取前K个候选框作为top-k难例并随机丢弃部分，将所述top-k难例的剩余部分输入检测器网络模型继续迭代训练。优选的，上述结核分枝杆菌自动检测系统还包括候选框筛选模块；所述候选框筛选模块用于将第一预测模块输出的候选框的类别置信度与预设的置信度阈值进行比较，删除类别置信度小于预设的置信度阈值的候选框。优选的，上述结核分枝杆菌自动检测系统，其候选框筛选模块还用于对所述候选框进行非最大值抑制，按照类别置信度从大到小的顺序对候选框进行排序，依次计算排序后相邻两个候选框的重叠度，当所述重叠度大于预设的重叠度阈值时舍弃类别置信度低的候选框。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：(1)本专利技术提供的结核分枝杆菌自动检测模型的训练方法及自动检测系统，提出了一种颜色嵌入的图像数据处理方式，将色调通道H联合RGB通道共同构成检测器网络的输入空间，色调通道H的加入使结核分枝杆菌的颜色更加显著，比较本质地表征了结核分枝杆菌在Z-N染色后偏红这一颜色性质，利于检测器网络的特征提取；计数器网络在检测器网络的基础上，基于图像金字塔融合特征的计数方法，提取了并融合了图像多尺度特征，进一步对候选框进行了筛选，提高了预测精确度和计数的可靠性，同时还统计了杆菌总数，辅助医生对患者的病情判断。(2)本专利技术提供的结核分枝杆菌自动检测模型的训练方法及自动检测系统，提出的基于置信度的难例和半难例挖掘方法，在线选取相对困难的半难例样本加入模型继续训练，解决了检测中正负样本不均衡及标签中的噪声问题，加快了网络训练的收敛速度；(3)本专利技术提供的结核分枝杆菌自动检测模型的训练方法及自动检测系统，检测器网络模型对同一位置产生的大量候选框进行非极大值抑制，丢弃置信度较低的候选框，通过非极大值抑制去除冗余的候选框，提升检测精度，并可减少计数器网络模型的计算量。(4)本专利技术提供的结核分枝杆菌自动检测模型的训练方法及自动检测系统，计数器网络模型在计数之前以类别置信度位指标对候选框进行进一步筛选，舍弃属于正样本的概率较低的候选框，减小后续计数过程的计算量，有利于提高计数效率，缩短检测过程。附图说明图1是本专利技术实施例提供的候选区域检测过程的网络结构示意图；图2是本专利技术实施例提供的计数过程的网络结构示意图；图3是本专利技术实施例提供的结核分枝杆菌自动检测模型的训练方法的流程图；图4是本专利技术实施例提供的划窗采集训练数据的示意图；图5是本专利技术实施例提供的对样本框进行标记的示意图；图6是本专利技术实施例提供的检测器网络模型的结构详图；图7是本专利技术实施例提供的半难例挖掘过程的示意图；图8是本专利技术实施例提供的计数器网络模型的结构详图；图9是本专利技术实施例提供的结核分枝杆菌自动系统的逻辑框图本文档来自技高网...

【技术保护点】
1.一种结核分枝杆菌自动检测模型的训练方法，其特征在于，所述结核分枝杆菌自动检测模型包括检测器网络模型和计数器网络模型，所述训练方法包括以下步骤：S1：将染色后的结核分枝杆菌涂片图像从RGB图像空间投影到HSV颜色空间，获取色调空间信息并将其嵌入RGB图像空间中，得到RGBH样本图像；S2：从所述RGBH样本图像上提取出多个样本框并进行标记，生成训练集合；标记信息包括样本框的真实标签、位置信息和结核分枝杆菌条数；若样本框中包含结核分枝杆菌则该样本框的真实标签为正样本，否则为负样本；S3：将所述训练集合输入检测器网络模型中，生成多尺度的候选框并预测所述候选框的类别置信度和位置信息；S4：根据所述样本框的真实标签、位置信息以及所述候选框的类别置信度和位置信息计算检测器网络模型的损失函数；对检测器网络模型进行迭代训练以使所述损失函数最小化，检测器网络模型训练完成；S5：将训练集合中的每一个样本框调整为多个尺度后输入计数器网络模型中，得到不同尺度样本框的特征值；将不同尺度的特征值进行融合并预测其类别置信度和对应的结核分枝杆菌条数；S6：根据所述样本框的真实标签、结核分枝杆菌条数以及预测的类别置信度和杆菌条数计算计数器网络模型的损失函数；对计数器网络模型进行迭代训练以使所述损失函数最小化，计数器网络模型训练完成。...

【技术特征摘要】
1.一种结核分枝杆菌自动检测模型的训练方法，其特征在于，所述结核分枝杆菌自动检测模型包括检测器网络模型和计数器网络模型，所述训练方法包括以下步骤：S1：将染色后的结核分枝杆菌涂片图像从RGB图像空间投影到HSV颜色空间，获取色调空间信息并将其嵌入RGB图像空间中，得到RGBH样本图像；S2：从所述RGBH样本图像上提取出多个样本框并进行标记，生成训练集合；标记信息包括样本框的真实标签、位置信息和结核分枝杆菌条数；若样本框中包含结核分枝杆菌则该样本框的真实标签为正样本，否则为负样本；S3：将所述训练集合输入检测器网络模型中，生成多尺度的候选框并预测所述候选框的类别置信度和位置信息；S4：根据所述样本框的真实标签、位置信息以及所述候选框的类别置信度和位置信息计算检测器网络模型的损失函数；对检测器网络模型进行迭代训练以使所述损失函数最小化，检测器网络模型训练完成；S5：将训练集合中的每一个样本框调整为多个尺度后输入计数器网络模型中，得到不同尺度样本框的特征值；将不同尺度的特征值进行融合并预测其类别置信度和对应的结核分枝杆菌条数；S6：根据所述样本框的真实标签、结核分枝杆菌条数以及预测的类别置信度和杆菌条数计算计数器网络模型的损失函数；对计数器网络模型进行迭代训练以使所述损失函数最小化，计数器网络模型训练完成。2.如权利要求1所述的结核分枝杆菌自动检测模型的训练方法，其特征在于，步骤S14中还包括以下步骤：计算候选框相对于样本框的重叠度，将所述重叠度小于预设的重叠度阈值的候选框作为负样本；将所述负样本按照类别置信度降序排列，获取前K个候选框作为top-k难例并随机丢弃部分，将所述top-k难例的剩余部分输入检测器网络模型继续迭代训练。3.如权利要求1或2所述的结核分枝杆菌自动检测模型的训练方法，其特征在于，所述检测器网络模型的损失函数为：Ltotal(p,u,tu,v)＝Lcls(p,u)+Lloc(tu,v)其中，Lcls(p,u)＝-ulogp+(1-u)log(1-p)式中，Ltotal代表损失函数；Lcls代表分类损失；Lloc代表定位损失；u代表样本框的真实标签；p代表候选框的类别置信度；v代表样本框的真实平移缩放参数，v＝(vx，vy，vw，vh)，(vx，vy)为样本框的中心坐标，vw，vh分别为样本框的宽度和高度；tu代表候选框的预测平移缩放参数，为候选框的中心坐标，分别为候选框的宽度和高度；x代表预测平移缩放参数tu与真实平移缩放参数v中对应的位置参数之差。4.如权利要求3所述的结核分枝杆菌自动检测模型的训练方法，其特征在于，所述计数器网络模型的损失函数为：Ltotal(p,u,n,c)＝Lcls(p,u)+Lnum(n,c)其中，Lcls(p,u)＝...

【专利技术属性】
技术研发人员：周复，赵雁林，
申请(专利权)人：杭州上池科技有限公司，
类型：发明
国别省市：浙江,33