一种基于级联网络的肿瘤淋巴管浸润检测方法技术

本发明专利技术涉及一种基于级联网络的肿瘤淋巴管浸润检测方法，提出提出通过利用淋巴管浸润检测模型与难分样本挖掘网络级联的结构完成对D2‑40免疫组化数字病理全场图中淋巴管浸润区域的自动化检测，为了实现难分样本挖掘网络对检测网络输出结果进行过滤后，可以尽可能地降低假阳都的数量而真阳不发生漏检这一目的，难分样本挖掘网络需要学习假阳和真阳的特征，而深度学习网络是通过数据来学习特征的，所以重点就落在如何获取具有代表性的数据，也就是假阳过滤步骤中的S70中的3）、4）步对于训练数据的选取，通过选取的两类数据训练分类模型，得到难分样本挖掘模型。

【技术实现步骤摘要】
一种基于级联网络的肿瘤淋巴管浸润检测方法
本专利技术涉及免疫组化图像处理领域，特别是涉及一种基于级联网络的肿瘤淋巴管浸润检测方法。
技术介绍
时至今日，癌症仍是人类健康的“头号杀手”，也是中国人群重大的公共健康问题之一。根据2015年《中国癌症统计》的估算，我国癌症患者已高达429.2万，死亡癌症患者达281.4万。2018年，全球预计增加1810万癌症新病例，960万人因此死亡。癌症转移是癌症致死最重要的原因，恶性肿瘤转移的三大途径包括血道转移、淋巴道转移和直接蔓延，其中淋巴道转移又是癌转移的主要途径，而淋巴管浸润（LymphaticInvasion,LI）又是淋巴道转移的重要表现形式之一，而且，LI早已被确定为大多数癌症的重要预后指标。LI是指在显微镜下发现肿瘤区组织切片的小淋巴管的管壁受侵、破坏或管腔内有癌栓形成。在临床中，通常采用免疫组化染色技术制作组织切片，其中，单克隆抗体D2-40可以选择性标记淋巴管内皮细胞，是一种可靠的免疫组化染色技术。随着全切片图像的采集和处理方面技术的发展，高质量的数字病理切片逐渐在科研及临床中的应用改变了传统的病理阅片模式。与此同时，基于人工智能的定量分析算法以及深度学习算法在数字病理切片的分析中也展现出了巨大的潜力。相比于传统的病理诊断，人工智能辅助数字病理诊断具有诸多优势。首先，训练深度学习模型的时间和投入远小于培养有经验的病理医生，成本较低。其次，对于绝大多数的病理诊断，尤其是判读标准较主观的病变，常存在观察者间偏差和观察者内偏差，影响诊断结果的准确性，而人工智能辅助数字病理切片诊断具有诊断速度块、客观性强和准确率高等优点。此外，人工智能阅片具有较高的一致性和可重复性，并且通过学习更多的病例可以取得更好的性能。最后，人工智能辅助数字病理诊断，可以增强地区之间，不同病理医生之间的诊断一致性。因为与常规的图片不同，一张数字病理切片的像素巨大，可以达到数十亿的大小，目前，普遍使用的方法是将全场数字病理切片子区域化，然后对每一块子区域分别进行分类来判断该子区域中是否包含待检测的目标。但是，这样的方法容易导致定位准确性的损失，医生只能得到一个模糊的位置信息。
技术实现思路
本专利技术的目的在于提出一种基于目标检测的分析方法，对于D2-40免疫组化全场数字病理切片，利用目标检测算法自动检测出其中的癌栓和淋巴管壁破损，实现切片的自动化分析。本专利技术通过以下技术方案来实现上述目的：一种基于级联网络的肿瘤淋巴管浸润检测方法，其特征在于，S10，获取D2-40免疫组化数字病理全场图；S20，对所述数字病理全场图进行数据预处理，并分割出预处理后图像上的多个独立组织区域；S30，计算分割出的每个所述独立组织区域的外切矩形，以所述外切矩形框选的组织区域作为矩形子图；S40，采用滑动窗口的方式对所述矩形子图进行小图化处理，将每个所述矩形子图拆分成固定大小且互不重叠的多个第一小图；S50，检测每个所述第一小图的第一位置信息和第一细分类型，所述第一细分类型包括正常组织、癌栓以及淋巴管壁破损；S60，根据所述第一位置信息，对检测到的可疑淋巴管浸润区域进行截取，所述可疑淋巴管浸润区域包括第一细分类型为癌栓和淋巴管壁破损的区域；S70，对截取到的所述可疑淋巴管浸润区域进行二次确认，过滤其中的假阳性结果，输出淋巴管浸润区域；采用难分样本挖掘网络对截取到的所述可疑淋巴管浸润区域进行二次确认，难分样本挖掘网络的建立包括以下步骤：1）获取1024*1024像素大小的属于正常组织区域的第二小图；2）将所述第二小图送入淋巴管浸润检测模型，所述淋巴管浸润检测模型输出第二小图中存在的淋巴管浸润区域的第二位置信息和第二细分类别，所述第二细分类别包括正常组织、癌栓以及淋巴管壁破损；3）根据所述第二位置信息，将第二细分类别为癌栓和淋巴管壁破损的区域截取出来作为第一类训练数据，所述第一类训练数据属于假阳类型；4）获取1024*1024像素大小的属于淋巴管浸润区域的第三小图，作为第二类训练数据；5）利用所述第一类训练数据和第二类训练数据训练一个分类模型，得到难分样本挖掘模型。S80，计算所述淋巴管浸润区域在所述数字病理全场图中的位置，并在所述数字病理全场图中以矩形框的形式进行标注显示。进一步的，S50，采用淋巴管浸润检测模型检测每个所述第一小图的第一位置信息和第一细分类型，所述淋巴管浸润检测模型的建立包括以下步骤：1)选取1张D2-40免疫组化数字病理全场图，在所述病理全场图上标注出淋巴管浸润区域；2)对1）中所述的免疫组化数字病理全场图进行缩放，使得所述病理全场图的MPP值为0.48；3)以每个标注的淋巴管浸润区域为中心，截取1024*1024像素大小的小图作为训练数据；4）以所述训练数据对FPN+FasterRCNN目标检测网络进行训练，得到淋巴管浸润检测模型。进一步的，所述淋巴管浸润检测模型的预测结果中，首先截取所有在癌栓类或者淋巴管壁破损类上的预测概率大于0.6的建议区域，然后再输入所述难分样本挖掘模型中，根据所述难分样本挖掘模型输出的预测概率判断所述建议区域是否属于真正的淋巴管浸润区域，当所述难分样本挖掘网络输出的预测概率中，假阳类的预测概率小于0.5时，所述建议区域属于真正的淋巴管浸润区域。进一步的，所述S10，选取低倍视野下的D2-40免疫组化数字病理全场图，所述数字病理全场图的MPP=3.84。进一步的，所述S20，包括：1)将所述数字病理全场图转化为灰度图；2)计算大津法阈值；3)将所述灰度图中像素值大于所述大津法阈值的像素值置1，像素值小于所述大津法阈值的像素值置0，从而生成组织区域的二值分割图像，其中组织区域的灰度值都为1，非组织区域的灰度值都为0；4)对所述二值分割图像进行优化，删除部分零散且面积小于设定值的组织区域，获取独立组织区域；5)通过边缘检测方法，获取所述独立组织区域中的轮廓坐标；6)将所述轮廓坐标都乘以8，将所述独立组织区域坐标对应到MPP=0.48的图像上。进一步的，为了对结果进行量化，通过收集600张1024*1024像素大小的D2-40免疫组化数字病理图像进行了实验，每张图像中都淋巴管浸润区域由专业的病理医生进行标注,采用四折交叉验证的方式进行实验，并以召回率和平均准确率作为实验的评价指标,召回率用于衡量淋巴浸润区域的检出率，即阳性检测结果中，“真阳性”的百分比，测试集中淋巴管浸润区域被检出的越多，召回率越高,平均准确率用于衡量检测结果的准确率，为预测正确的样本占总样本的百分比,我们以FPN目标检测网络作为基线，与基于FPN目标检测网络的级联网络结构进行对比，从而得到实验结果，采用级联网络的分析方法后，虽然会在降低假阳的同时使部分淋巴管浸润区域被漏检，导致召回率降低,但是，检测结果的平均准确率却有大幅度提升，证明此方法可以有效的降低检测结果中的假阳数量。与现有技术相本文档来自技高网...

【技术保护点】
1.一种基于级联网络的肿瘤淋巴管浸润检测方法，其特征在于，/nS10，获取D2-40免疫组化数字病理全场图；/nS20，对所述数字病理全场图进行数据预处理，并分割出预处理后图像上的多个独立组织区域；/nS30，计算分割出的每个所述独立组织区域的外切矩形，以所述外切矩形框选的组织区域作为矩形子图；/nS40，采用滑动窗口的方式对所述矩形子图进行小图化处理，将每个所述矩形子图拆分成固定大小且互不重叠的多个第一小图；/nS50，检测每个所述第一小图的第一位置信息和第一细分类型，所述第一细分类型包括正常组织、癌栓以及淋巴管壁破损；/nS60，根据所述第一位置信息，对检测到的可疑淋巴管浸润区域进行截取，所述可疑淋巴管浸润区域包括第一细分类型为癌栓和淋巴管壁破损的区域；/nS70，对截取到的所述可疑淋巴管浸润区域进行二次确认，过滤其中的假阳性结果，输出淋巴管浸润区域；采用难分样本挖掘网络对截取到的所述可疑淋巴管浸润区域进行二次确认，难分样本挖掘网络的建立包括以下步骤：/n1）获取1024*1024像素大小的属于正常组织区域的第二小图；/n2）将所述第二小图送入淋巴管浸润检测模型，所述淋巴管浸润检测模型输出第二小图中存在的淋巴管浸润区域的第二位置信息和第二细分类别，所述第二细分类别包括正常组织、癌栓以及淋巴管壁破损；/n3）根据所述第二位置信息，将第二细分类别为癌栓和淋巴管壁破损的区域截取出来作为第一类训练数据，所述第一类训练数据属于假阳类型；/n4）获取1024*1024像素大小的属于淋巴管浸润区域的第三小图，作为第二类训练数据；/n5）利用所述第一类训练数据和第二类训练数据训练一个分类模型，得到难分样本挖掘模型；/nS80，计算所述淋巴管浸润区域在所述数字病理全场图中的位置，并在所述数字病理全场图中以矩形框的形式进行标注显示。/n...

【技术特征摘要】
1.一种基于级联网络的肿瘤淋巴管浸润检测方法，其特征在于，
S10，获取D2-40免疫组化数字病理全场图；
S20，对所述数字病理全场图进行数据预处理，并分割出预处理后图像上的多个独立组织区域；
S30，计算分割出的每个所述独立组织区域的外切矩形，以所述外切矩形框选的组织区域作为矩形子图；
S40，采用滑动窗口的方式对所述矩形子图进行小图化处理，将每个所述矩形子图拆分成固定大小且互不重叠的多个第一小图；
S50，检测每个所述第一小图的第一位置信息和第一细分类型，所述第一细分类型包括正常组织、癌栓以及淋巴管壁破损；
S60，根据所述第一位置信息，对检测到的可疑淋巴管浸润区域进行截取，所述可疑淋巴管浸润区域包括第一细分类型为癌栓和淋巴管壁破损的区域；
S70，对截取到的所述可疑淋巴管浸润区域进行二次确认，过滤其中的假阳性结果，输出淋巴管浸润区域；采用难分样本挖掘网络对截取到的所述可疑淋巴管浸润区域进行二次确认，难分样本挖掘网络的建立包括以下步骤：
1）获取1024*1024像素大小的属于正常组织区域的第二小图；
2）将所述第二小图送入淋巴管浸润检测模型，所述淋巴管浸润检测模型输出第二小图中存在的淋巴管浸润区域的第二位置信息和第二细分类别，所述第二细分类别包括正常组织、癌栓以及淋巴管壁破损；
3）根据所述第二位置信息，将第二细分类别为癌栓和淋巴管壁破损的区域截取出来作为第一类训练数据，所述第一类训练数据属于假阳类型；
4）获取1024*1024像素大小的属于淋巴管浸润区域的第三小图，作为第二类训练数据；
5）利用所述第一类训练数据和第二类训练数据训练一个分类模型，得到难分样本挖掘模型；
S80，计算所述淋巴管浸润区域在所述数字病理全场图中的位置，并在所述数字病理全场图中以矩形框的形式进行标注显示。


2.根据权利要求1所述的一种基于级联网络的肿瘤淋巴管浸润检测方法，其特征在于，所述S50，采用淋巴管浸润检测模型检测每个所述...

【专利技术属性】
技术研发人员：韩鑫，田雪叶，王春宝，杨林，崔磊，
申请(专利权)人：杭州迪英加科技有限公司，
类型：发明
国别省市：浙江;33