一种自动确认浸润性乳腺癌区域系统技术方案

本发明专利技术公开一种自动确定浸润性乳腺癌区域系统，包括：数据准备模块，用于对来源于同一个乳腺肿瘤组织的输入数据以此进行染色制片流程以及数字化成像，输出HE染色的WSI图像、P63染色的WSI图像以及IHC染色的WSI图像；智能分析模块，用于对数据准备模块所输出的WSI图像进行处理，最终在已完成IHC染色的WSI图像上确定IDC区域；所述智能分析模块包括：癌巢区域确定模块、DCIS区域确定模块、单模多源图像配准模块、多源数据融合模块。本发明专利技术先在HE染色的WSI图像上自动确定癌巢区域并且在P63染色WSI图像上确定DCIS区域，然后将三张WSI配准及合并前两张WSI的输出结果，最后自动在IHC染色WSI图像上确定IDC区域，以此来解决传统镜下阅片的不可重复性问题。

【技术实现步骤摘要】
一种自动确认浸润性乳腺癌区域系统
本专利技术涉及医学图像处理
，尤其涉及一种自动确认浸润性乳腺癌区域系统。
技术介绍
乳腺癌正在成为威胁全球女性健康的主要疾病，乳腺癌术后免疫组化检查已经成为肿瘤分子分型、治疗决策和预后预测的核心标准。现有人工镜下阅片方式的不可重复性与个体化精准诊疗对阅片准确性的迫切需求产生了矛盾，因此，研发人工智能辅助分析工具显得尤为重要。HE染色是组织学上常用的染色方法，也常用于乳腺癌病理组织的染色，苏木精染液呈碱性，伊红染液呈酸性。由于组织或者细胞中各组成成分对酸性或者碱性的亲和力以及染色性质不同，染色后会呈现不同层次的颜色。肿瘤细胞的细胞核大小形态不一，在低倍图下可见因肿瘤细胞聚团形成的癌巢。某些浸润性癌(特别是浸润性筛状癌和腺样囊性癌)的生长方式类似导管原位癌。而且，有些浸润性癌会在间质内形成边界清楚的病变或圆形细胞巢，诊断时极容易被误判为导管原位癌。绝大多数DCIS区域形态是一个类圆形闭合曲线，但DCIS累及小叶，特别是累及硬化性腺病时，其结构与浸润性癌相似，这给DICS区域的自动化检测带来了很大的挑战。现有两种方案：方案1：直接在免疫组化染色图像上做IDC区域的分割，优点在于不需要进行多片染色，不需要配准直接出结果，但是其准确性得不到保证；方案2：直接在HE染色图像上做IDC区域的分割，然后与IHC图像做配准，这种方案缺点在于对于IDC和DCIS中极其相似的类型无法做出准确判断，导致漏检和假阳。
技术实现思路
本专利技术旨在提供一种能够自动在IHC染色的WSI图像上确定IDC区域的系统。为达到上述目的，本专利技术是采用以下技术方案实现的：一种自动确认浸润性乳腺癌区域系统，包括：数据准备模块，用于对来源于同一个乳腺肿瘤组织的输入数据以此进行染色制片流程以及数字化成像，输出HE染色的WSI图像、P63染色的WSI图像以及IHC染色的WSI图像；智能分析模块，用于对数据准备模块所输出的WSI图像进行处理，最终在已完成IHC染色的WSI图像上确定IDC区域；所述智能分析模块包括：癌巢区域确定模块，用于从HE染色的WSI图像上确定癌巢区域；DCIS区域确定模块，用于从P63染色的WSI图像上确定DCIS区域；单模多源图像配准模块，用于将HE染色的WSI图像、P63染色的WSI图像以及IHC染色的WSI图像三者在同一坐标系中配准；多源数据融合模块，用于将癌巢区域确定模块、DCIS区域确定模块以及单模多源图像配准模块三者的输出结果进行融合并最终在IHC染色的WSI图像上确定IDC区域。优选的，所述染色制片流程为标准组织切片制片流程，所述数字化成像通过支持病理切片数字化扫描的仪器来完成。优选的，所述癌巢区域确定模块的运行包括以下步骤：步骤a1：训练一个癌巢分割模型网络，提取HE染色WSI图像1倍图中的有效组织轮廓，映射到HE染色WSI图像40倍图中，并提取对应的有效组织区域；步骤a2：将所提取的有效组织区域按照重叠128个像素的方式重叠采样，并将重叠采样后的图像裁剪成若干个1024*1024的Patch；步骤a3：将步骤a2所得到的Patch输入一个GAN组成的超分辨率重建的网络，得到超分辨率重建生成的Patch；步骤a4：将超分辨率重建生成的Patch输入一个训练完成的癌巢分割模型网络，对每一个Patch生成一个二值图像Mask；步骤a5：对于每个生成的Mask图像按照其原始的坐标裁剪，再进行图像的拼接；步骤a6：对拼接完成的整个有效组织区域的Mask进行形态学操作，开运算，再进行二值图像中轮廓的分层级操作，得到包含层级关系的若干个轮廓区域；步骤a7：将所得到的轮廓区域等比例缩放回40倍的HE染色WSI图像中，并绘制所分割出来的癌巢区域轮廓。进一步的，所述癌巢分割模型网络为FCN语义分割深度卷积神经网络。进一步的，步骤a5中所述的拼接的方式是采取逻辑或操作。优选的，所述DCIS区域确定模块的运行包括以下步骤：步骤b1：输入P63染色的WSI图像，对P63染色的WSI图像进行分析，选择P63染色的WSI图像中目标的整体特征和目标的局部特征，并将整体特征制作成所对应的两个标签，所述两个标签分别为标签1和标签2，标签1所对应的是目标的整体特征，标签2所对应的是目标的局部特征，标签1表示原位癌区域，标签2表示原位癌的边界区域；步骤b2：建立DCIS分割模型网络，所述DCIS分割模型网络包括一个语义分割网络，由两个任务共享所述语义分割网络，所述两个任务分别为主任务及辅助任务，所述主任务由标签1监督学习，所述辅助任务由标签2监督学习，然后通过所述语义分割网络输出预测图像并通过两个任务分别计算得出loss1以及loss2，loss1由主任务计算得出，loss2由辅助任务计算得出，loss1为目标的整体区域损失函数，loss2为目标的局部区域损失函数；步骤b3：将loss2作用于loss1得到loss；步骤b4：保持目标区域权重为1，增强背景区域的权重，增强目标局部区域的权重，输出结果。进一步的，所述语义分割网络由编码器和解码器两部分构成，语义分割网络对64×64、128×128以及256×256三种大小的特征图进行合并。优选的，所述单模多源图像配准模块的配准输出结果为癌巢区域确定模块的输出结果以及DCIS区域确定模块的输出结果两者映射到IHC染色WSI图像的几何变换参数，所述几何变换参数包括旋转中心坐标、旋转角以及两个维度上的变换尺度。进一步的，多源数据融合模块的输入为癌巢区域确定模块的输出结果、DCIS区域确定模块的输出结果以及所述几何变换参数，所述多源数据融合模块的输出结果为IHC染色的WSI图像上IDC区域的多边形标记。本专利技术具有以下有益效果：1、本专利技术整体系统自动运行，端到端确定IDC区域，人为干预少，减少了工作人员的主观因素带来的影响；2、本专利技术通过整体系统对于图像的数字化处理，解决了传统镜片下阅片的不可重复性问题；3、某些浸润性癌(特别是浸润性筛状癌和腺样囊性癌)的生长方式类似导管原位癌，而且有些浸润性癌会在间质内形成边界清楚的病变或圆形细胞巢，诊断时极容易被误判为导管原位癌；反过来，导管原位癌累及小叶，特别是累及硬化性腺病时，其结构也与浸润性癌非常像；直接在HE上进行区域分割极易弄混导致漏检和假阳，本专利技术通过从P63染色图像中分割出DCIS区域，无论从科学性和准确性上都优于直接使用HE染色图像确定IDC区域。附图说明图1为本专利技术系统框图；图2为HE染色的WSI图像；图3为P63染色的WSI图像；图4为单模多源图像配准模块的配准图示；图5为步骤a1提取有效组织示意图；图6为步骤a2重叠采样示例图；图7为步骤a2有效组织区域重叠裁剪示意图；图8为Generato本文档来自技高网...

【技术保护点】
1.一种自动确认浸润性乳腺癌区域系统，其特征在于，包括：/n数据准备模块，用于对来源于同一个乳腺肿瘤组织的输入数据以此进行染色制片流程以及数字化成像，输出HE染色的WSI图像、P63染色的WSI图像以及IHC染色的WSI图像；/n智能分析模块，用于对数据准备模块所输出的WSI图像进行处理，最终在已完成IHC染色的WSI图像上确定IDC区域；/n所述智能分析模块包括：/n癌巢区域确定模块，用于从HE染色的WSI图像上确定癌巢区域；/nDCIS区域确定模块，用于从P63染色的WSI图像上确定DCIS区域；/n单模多源图像配准模块，用于将HE染色的WSI图像、P63染色的WSI图像以及IHC染色的WSI图像三者在同一坐标系中配准；/n多源数据融合模块，用于将癌巢区域确定模块、DCIS区域确定模块以及单模多源图像配准模块三者的输出结果进行融合并最终在IHC染色的WSI图像上确定IDC区域。/n

【技术特征摘要】
1.一种自动确认浸润性乳腺癌区域系统，其特征在于，包括：
数据准备模块，用于对来源于同一个乳腺肿瘤组织的输入数据以此进行染色制片流程以及数字化成像，输出HE染色的WSI图像、P63染色的WSI图像以及IHC染色的WSI图像；
智能分析模块，用于对数据准备模块所输出的WSI图像进行处理，最终在已完成IHC染色的WSI图像上确定IDC区域；
所述智能分析模块包括：
癌巢区域确定模块，用于从HE染色的WSI图像上确定癌巢区域；
DCIS区域确定模块，用于从P63染色的WSI图像上确定DCIS区域；
单模多源图像配准模块，用于将HE染色的WSI图像、P63染色的WSI图像以及IHC染色的WSI图像三者在同一坐标系中配准；
多源数据融合模块，用于将癌巢区域确定模块、DCIS区域确定模块以及单模多源图像配准模块三者的输出结果进行融合并最终在IHC染色的WSI图像上确定IDC区域。


2.根据权利要求1所述的一种自动确认浸润性乳腺癌区域系统，其特征在于：所述染色制片流程为标准组织切片制片流程，所述数字化成像通过支持病理切片数字化扫描的仪器来完成。


3.根据权利要求1所述的一种自动确认浸润性乳腺癌区域系统，其特征在于：所述癌巢区域确定模块的运行包括以下步骤：
步骤a1：训练一个癌巢分割模型网络，提取HE染色WSI图像1倍图中的有效组织轮廓，映射到HE染色WSI图像40倍图中，并提取对应的有效组织区域；
步骤a2：将所提取的有效组织区域按照重叠128个像素的方式重叠采样，并将重叠采样后的图像裁剪成若干个1024*1024的Patch；
步骤a3：将步骤a2所得到的Patch输入一个GAN组成的超分辨率重建的网络，得到超分辨率重建生成的Patch；
步骤a4：将超分辨率重建生成的Patch输入一个训练完成的癌巢分割模型网络，对每一个Patch生成一个二值图像Mask；
步骤a5：对于每个生成的Mask图像按照其原始的坐标裁剪，再进行图像的拼接；
步骤a6：对拼接完成的整个有效组织区域的Mask进行形态学操作，开运算，再进行二值图像中轮廓的分层级操作，得到包含层级关系的若干个轮廓区域；
步骤a7：将所得到的轮廓区域等比例缩放回40倍的HE染色WSI图像中，并绘制所分割出来的癌巢区域轮廓。


4.根据权利要求3所述的一种自动确...

【专利技术属性】
技术研发人员：陈杰，郑众喜，向旭辉，杨一明，杨永全，王杰，
申请(专利权)人：苏州优纳医疗器械有限公司，
类型：发明
国别省市：江苏;32