基于目标检测的病理图像有丝分裂计数方法和系统技术方案

本申请涉及一种基于目标检测的病理图像有丝分裂计数方法和系统，所述方法包括如下步骤：将有丝分裂细胞图像输入特征提取网络，提取有丝分裂细胞图像的特征图；将特征图输入特征融合网络进行特征融合，获得特征增强的特征图；将特征增强的特征图输入候选框生成网络，在特征增强的特征图上生成多个候选框；对所有的候选框进行若干次优化识别，输出最终的候选框及其对应的目标识别结果。本申请的方案通过特征提取网络，能够直接对原分辨率的整张图片进行处理，实现了有丝分裂检测计数端到端的方式，大大缓解医生的有丝分裂细胞统计时间；本方案多次对目标候选框进行优化识别，大幅提高了有丝分裂细胞定位和计数的精度。了有丝分裂细胞定位和计数的精度。了有丝分裂细胞定位和计数的精度。

【技术实现步骤摘要】
基于目标检测的病理图像有丝分裂计数方法和系统


[0001]本申请涉及人工智能
，具体涉及一种基于目标检测的病理图像有丝分裂计数方法和系统。

技术介绍

[0002]细胞核的检测与人体疾病的诊断具有很大的相关性，其中在乳腺癌分级诊断领域，有丝分裂细胞的检测和统计与病患的乳腺癌风险诊断具有直接相关性。其中的有丝分裂计数任务主要统计处于核分裂过程中的细胞个数。目前，在临床病理中，病理学家主要通过在高分辨率的整张数字病理切片上手动标记观察到的有丝分裂细胞，再对它进行计数与评估；在科研中，研究人员主要通过结合深度学习的方法来实现有丝分裂的检测任务。
[0003]在核分裂计数领域，现有的技术中，采用的目标检测算法均是采用目标框一次性生成的方式。现有的目标框的生成方式主要是：基于骨干网络生成的特征图(大小为H
×
W
×
C，空间大小为H
×
W，总共C张)，然后基于特征图的每个像素点生成对应的目标框(像素点有H
×
W个)，每个像素点生成固定数量的目标框N个，那么总共的目标框即为H
×
W
×
N个。更具体地说，每个像素点一次性生成固定数量的目标框，后续目标框里面包含哪类物体由检测器做判断。
[0004]对于有丝分裂检测任务而言，有丝分裂细胞的目标框较小，属于小目标检测问题，一次性生成的目标框容易造成位置偏移，对于有丝分裂细胞的精确定位非常不友好。并且现有的核分裂计数方法中，并没有一种在超高分辨率图像上进行有丝分裂检测计数的实用方法，大多数是目标检测算法的直接推理，仅针对低分辨率的小图片。
[0005]相关技术中，目前有丝分裂检测任务的研究主要存在两个缺陷：(1)由于整张数字病理切片分辨率过高，导致难以形成一个基于目标检测的端到端的有丝分裂细胞检测系统；(2)利用深度学习方法进行有丝分裂细胞检测时，目标框的回归是单次调整的，进而导致了定位性能的下降。

技术实现思路

[0006]为至少在一定程度上克服相关技术中存在的现有深度学习方法中目标框的回归是单次调整，导致定位性能下降的问题，本申请提供一种基于目标检测的病理图像有丝分裂计数方法和系统。
[0007]根据本申请实施例的第一方面，提供一种基于目标检测的病理图像有丝分裂计数方法，包括：
[0008]将有丝分裂细胞图像输入特征提取网络，提取有丝分裂细胞图像的特征图；
[0009]将特征图输入特征融合网络进行特征融合，获得特征增强的特征图；
[0010]将特征增强的特征图输入候选框生成网络，在特征增强的特征图上生成多个候选框；
[0011]对所有的候选框进行若干次优化识别，输出最终的候选框及其对应的目标识别结
果。
[0012]进一步地，在特征增强的特征图上生成多个候选框，包括如下步骤：
[0013]针对特征图的每个像素点进行一次初始候选框的生成与评分；
[0014]在产生的所有初始候选框中，选择其中评分最高的U个初始候选框作为候选框；其中U为预设数值。
[0015]进一步地，针对特征图的每个像素点进行一次初始候选框的生成与评分，包括如下步骤：
[0016]特征图的某一个像素点为(x,y)，针对该像素点生成的初始候选框的表达式为(A
x
,A
y
,A
w
,A
h
)；其中(A
x
,A
y
)代表初始候选框的中心坐标，(A
w
,A
h
)代表初始候选框的长和宽；
[0017]针对该初始候选框是否包含待测目标生成一个评分σ
n
；其中σ
n
的范围为(0,1)，代表初始候选框包含待测目标的概率。
[0018]进一步地，对所有的候选框进行若干次优化识别，包括如下步骤：
[0019]对候选框内的特征进行三次优化识别；其中，每一次优化识别都通过预设的IOU阈值对候选框进行筛选，并对保留的候选框进行特征分析。
[0020]进一步地，每一次优化识别具体包括如下步骤：
[0021]计算候选框与真值框之间的IOU值；其中真值框为预先标定的包含待检测有丝分裂细胞的框；
[0022]通过预设的IOU阈值对候选框进行筛选，保留IOU值高于IOU阈值的候选框；
[0023]通过神经网络对保留的候选框进行特征分析，并根据分析结果对保留的候选框进行微调。
[0024]进一步地，第一次优化识别的IOU阈值小于第二次优化识别的IOU阈值，第二次优化识别的IOU阈值小于第三次优化识别的IOU阈值。
[0025]进一步地，通过神经网络对保留的候选框进行特征分析，根据分析结果对保留的候选框进行微调，包括如下步骤：
[0026]通过神经网络对保留的候选框进行特征分析，获得偏移量(t
x
,t
y
,t
w
,t
h
)；根据偏移量对候选框进行微调，令：x＝t
x
×
A
w
+A
x
，y＝t
y
×
A
h
+A
y
，
[0027][0028]进一步地，通过神经网络对保留的候选框进行特征分析，还包括如下步骤：
[0029]第一次识别的输出结果为a；
[0030]第二次识别的初始结果为b，则第二次识别的最终输出结果为：c＝1×
a+2×
b；其中t1+2＝1，t1和t2均为预设权重值；
[0031]第三次识别的初始结果为d，则第三次识别的最终输出结果为：e＝3×
c+4×
d；其中t3+4＝1，t3和t4均为预设权重值。
[0032]根据本申请实施例的第二方面，提供一种基于目标检测的病理图像有丝分裂计数系统，包括：
[0033]特征提取模块，用于将有丝分裂细胞图像输入特征提取网络，提取有丝分裂细胞图像的特征图；
[0034]特征融合模块，用于将特征图输入特征融合网络进行特征融合，获得特征增强的特征图；
[0035]候选框生成模块，用于将特征增强的特征图输入候选框生成网络，在特征增强的特征图上生成多个候选框；
[0036]优化识别模块，用于对所有的候选框进行若干次优化识别，输出最终的候选框及其对应的目标识别结果。
[0037]根据本申请实施例的第三方面，提供一种计算机设备，包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器中的计算机程序，以实现如上任意一种实施例所述方法的操作步骤。
[0038]本申请的实施例提供的技术方案具备以下有益效果：
[0039]本申请的方案通过特征提取网络，能够直接对原分辨率的整张图片进行处理，从而实现一张图像多块检测的方式，实现原分辨率图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标检测的病理图像有丝分裂计数方法，其特征在于，包括：将有丝分裂细胞图像输入特征提取网络，提取有丝分裂细胞图像的特征图；将特征图输入特征融合网络进行特征融合，获得特征增强的特征图；将特征增强的特征图输入候选框生成网络，在特征增强的特征图上生成多个候选框；对所有的候选框进行若干次优化识别，输出最终的候选框及其对应的目标识别结果。2.根据权利要求1所述的方法，其特征在于，在特征增强的特征图上生成多个候选框，包括如下步骤：针对特征图的每个像素点进行一次初始候选框的生成与评分；在产生的所有初始候选框中，选择其中评分最高的U个初始候选框作为候选框；其中U为预设数值。3.根据权利要求2所述的方法，其特征在于，针对特征图的每个像素点进行一次初始候选框的生成与评分，包括如下步骤：特征图的某一个像素点为(x,y)，针对该像素点生成的初始候选框的表达式为(A
x
,A
y
,A
w
,A
h
)；其中(A
x
,A
y
)代表初始候选框的中心坐标，(A
w
,A
h
)代表初始候选框的长和宽；针对该初始候选框是否包含待测目标生成一个评分σ
n
；其中σ
n
的范围为(0,1)，代表初始候选框包含待测目标的概率。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，对所有的候选框进行若干次优化识别，包括如下步骤：对候选框内的特征进行三次优化识别；其中，每一次优化识别都通过预设的IOU阈值对候选框进行筛选，并对保留的候选框进行特征分析。5.根据权利要求4所述的方法，其特征在于，每一次优化识别具体包括如下步骤：计算候选框与真值框之间的IOU值；其中真值框为预先标定的包含待检测有丝分裂细胞的框；通过预设的IOU阈值对候选框进行筛选，保留IOU值高于IOU阈值的候选框；通过神经网络对保留的候选框进行特征分析，并根据分析结果对保留...

【专利技术属性】
技术研发人员：步宏，徐钒鑫，陈杰，周恩惟，向旭辉，周燕燕，
申请(专利权)人：成都华西精准医学产业技术研究院有限公司，
类型：发明
国别省市：