一种基于IHC染色的肿瘤识别系统及方法技术方案

本发明专利技术涉及深度学习技术领域，具体公开了一种基于IHC染色的肿瘤识别系统及方法，其中系统包括数据预处理模块,用于对获取的H&E染色图像和CK染色图像分别进行关键点提取，基于H&E染色图像和CK染色图像的关键点，建立CK染色图像到H&E染色图像的仿射矩阵；数据提取模块,用于在H&E染色图像上提取图像块，基于图像块建立训练图像数据集；还用于根据仿射矩阵判断提取的图像块是否位于被染色区域，如果位于被染色区域标记为正样本，否则标记为负样本。采用本发明专利技术的技术方案能够自动化且大规模生成肿瘤识别训练数据。

【技术实现步骤摘要】
一种基于IHC染色的肿瘤识别系统及方法
本专利技术涉及深度学习
，特别涉及一种基于IHC染色的肿瘤识别系统及方法。
技术介绍
癌症的组织病理图像具有复杂性和多样性，对病理图像进行人工诊断不仅耗时耗力且要求病理学家具备丰富的知识和经验，同时诊断过程受主观影响容易导致误判。通过全数字扫描仪可以将组织切片数字化，以数字图像的形式进行存储及查阅，这为计算机辅助诊断系统提供了基础，因此，基于计算机视觉技术的肿瘤辅助诊断系统可以被应用于疾病的检测、诊断和预后预测。一种现有的方案是根据病理医生标注的组织病理图像(病理图像上的肿瘤细胞被标出)，训练深度神经网络，利用训练好的模型对未进行标注的病理图像进行推断，得到未标注的病理图像中包含肿瘤细胞的可能性。但是从计算机
看，深度学习是数据驱动的，通过大量数据的训练才能寻找到模型参数的局部最优解。但是如果训练所用的数据达不到模型参数调整所需的量级，很可能会出现由于数据缺乏带来的模型过拟合问题，即模型表现在训练样本集合上的预测正确率很高，但是换一批训练样本集合之外的数据样本，模型预测的正确率则远低于在训练集上正确率，无法实现模型的泛化使用。而在临床医学中，高质量、大数据的训练数据难以获取，一方面因为医学图像的标记工作需要由专业医生完成，未经过专业训练的人员难以胜任，另一方面由于该标记任务十分耗时，一位有经验的病理医生平均一小时仅能完成一张病理图像的标记。目前也有通过计算机技术产生“有标记”的训练数据，利用对抗生成网络生成出“假数据”，虽然在图像风格上与真实的病理染色图像接近，但由于是生成的“假数据”，往往无法表达出染色图像在临床医学上的语义信息，即细胞核、胞浆等该被特定染色剂着色的细胞结构无法正确着色，失去了染色的基础目的，更难以达到免疫组化染色技术的特异性细胞的着色。目前的对抗生成网络无法生成出对于临床医学有可解释性的图像数据，因此难以用于肿瘤识别训练数据的自动生成应用中。为此，需要一种能够自动化且大规模生成肿瘤识别训练数据的基于IHC染色的肿瘤识别系统及方法。
技术实现思路
本专利技术的目的之一在于提供一种基于IHC染色的肿瘤识别系统，能够自动化且大规模生成肿瘤识别训练数据。本专利技术提供的基础方案一。一种基于IHC染色的肿瘤识别系统，包括：数据预处理模块,用于对获取的H&E染色图像和CK染色图像分别进行关键点提取，基于H&E染色图像和CK染色图像的关键点，建立CK染色图像到H&E染色图像的仿射矩阵；数据提取模块,用于在H&E染色图像上提取图像块，基于图像块建立训练图像数据集；还用于根据仿射矩阵判断提取的图像块是否位于被染色区域，如果位于被染色区域标记为正样本，否则标记为负样本。基础方案原理及有益效果如下：在临床应用中，IHC染色(免疫组化染色)技术可以实现对特异性细胞、蛋白质结构的染色，其中的CK染色可以特异性识别出肿瘤细胞，对淋巴结中肿瘤细胞的胞浆染色，从而区分出肿瘤细胞与正常淋巴细胞。但是CK染色等免疫组化染色相比H&E染色，成本高、操作复杂，没有在临床中广泛使用，但是相比H&E染色的图像，筛选时间大大缩短。目前IHC染色并没有像H&E染色被广泛作为组织病理学的基础染色操作，因此大多数的肿瘤诊断工作使用的还是H&E染色图像，深度神经网络还是需要对H&E染色图像进行识别。但由于不能对同一张切片既进行H&E染色又进行CK染色，因此，同一组织的CK染色和H&E染色图像对并不是对应的同一张切片，虽然可以在对组织切片时仅间隔3mm进行切片，但在制作切片过程中，也会出现折叠、碰撞等使得切片信息丢失或者错位的现象，使得CK染色和H&E染色图像对无法对齐。本方案通过对获取的H&E染色图像和CK染色图像分别进行关键点提取，计算出CK染色图像到H&E染色图像的仿射矩阵，从而实现二者图像的对齐，保证了CK染色图像上被染色的肿瘤细胞的位置信息可以迁移到H&E染色图像上。无须人工干预，即得到了H&E图像上对肿瘤细胞的标记。获得肿瘤细胞与非肿瘤细胞图像数据，即正样本和负样本后，后续可用利用正样本和负样本构成训练数据集，训练深度神经网络模型。综上，本方案解决现有人工标记组织病理图像耗时耗力的问题，使用CK染色图像作为相应的H&E染色图像的标记信息，实现了自动化、无监督、大规模的肿瘤识别训练数据的生成。进一步，所述数据预处理模块包括背景分割单元、组织区域提取单元和图像匹配单元；背景分割单元用于分别对H&E染色图像和CK染色图像的前景信息以及背景信息进行区分，组织区域提取单元用于分别检测H&E染色图像的前景信息和CK染色图像的前景信息中组织的位置，将该组织完整的从H&E染色图像和CK染色图像上提取出来，形成组织H&E染色图像和组织CK染色图像；图像匹配单元用于对组织H&E染色图像和组织CK染色图像分别进行关键点提取，匹配组织H&E染色图像的关键点和组织CK染色图像的关键点，建立组织CK染色图像到组织H&E染色图像的仿射矩阵。背景分割单元完成对图像的前景信息、背景信息的区分，通过背景分割，可以将后续处理的焦点放在前景信息上，忽略掉背景，只关注图像中的有效信息，可以大大提高处理速度。组织区域提取单元检测图像上组织的位置，可以将该组织完整的从原始图像上提取出来，通过组织区域提取单元的处理，可以减小图像分辨率大小，提高运算速度，并且在更小的图像上进行匹配关键点，干扰更小，可以减小关键点匹配的误差。进一步，所述图像匹配单元包括关键点提取子单元、关键点相似度计算子单元、关键点匹配子单元和信息迁移子单元；关键点提取子单元用于分别从组织H&E染色图像和组织CK染色图像提取关键点；关键点相似度计算子单元用于计算H&E染色图像和组织CK染色图像关键点的相似度；关键点匹配子单元用于根据关键点的相似度建立组织H&E染色图像和组织CK染色图像的关键点匹配对；基于关键点匹配对生成仿射矩阵；信息迁移子单元用于提取组织CK染色图像中被CK试剂染色的肿瘤细胞所在位置，生成CK染色图像标记二值图，将仿射矩阵作用于CK染色图像标记二值图，得到其对应的组织H&E染色图像的肿瘤细胞标记二值图。通过将仿射矩阵作用于CK染色图像标记二值图，得到肿瘤细胞标记二值图，实现了CK染色图像上的信息迁移，即在无需人工干预的情况下，获得H&E染色图像的标记信息。进一步，所述数据提取模块包括细胞核分割单元和图像块提取单元；图像块包括第一图像块和第二图像块；图像块提取单元基于滑动窗口在组织H&E染色图像上提取第一图像块；还基于肿瘤细胞标记二值图判断滑动窗口中的第一图像块是否位于被染色区域，如果位于被染色区域标记为正样本，否则标记为负样本；<本文档来自技高网...

【技术保护点】
1.一种基于IHC染色的肿瘤识别系统，其特征在于，包括：/n数据预处理模块,用于对获取的H&E染色图像和CK染色图像分别进行关键点提取，基于H&E染色图像和CK染色图像的关键点，建立CK染色图像到H&E染色图像的仿射矩阵；/n数据提取模块,用于在H&E染色图像上提取图像块，基于图像块建立训练图像数据集；还用于根据仿射矩阵判断提取的图像块是否位于被染色区域，如果位于被染色区域标记为正样本，否则标记为负样本。/n

【技术特征摘要】
1.一种基于IHC染色的肿瘤识别系统，其特征在于，包括：
数据预处理模块,用于对获取的H&E染色图像和CK染色图像分别进行关键点提取，基于H&E染色图像和CK染色图像的关键点，建立CK染色图像到H&E染色图像的仿射矩阵；
数据提取模块,用于在H&E染色图像上提取图像块，基于图像块建立训练图像数据集；还用于根据仿射矩阵判断提取的图像块是否位于被染色区域，如果位于被染色区域标记为正样本，否则标记为负样本。


2.根据权利要求1所述的基于IHC染色的肿瘤识别系统，其特征在于：所述数据预处理模块包括背景分割单元、组织区域提取单元和图像匹配单元；
背景分割单元用于分别对H&E染色图像和CK染色图像的前景信息以及背景信息进行区分，
组织区域提取单元用于分别检测H&E染色图像的前景信息和CK染色图像的前景信息中组织的位置，将该组织完整的从H&E染色图像和CK染色图像上提取出来，形成组织H&E染色图像和组织CK染色图像；
图像匹配单元用于对组织H&E染色图像和组织CK染色图像分别进行关键点提取，匹配组织H&E染色图像的关键点和组织CK染色图像的关键点，建立组织CK染色图像到组织H&E染色图像的仿射矩阵。


3.根据权利要求2所述的基于IHC染色的肿瘤识别系统，其特征在于：所述图像匹配单元包括关键点提取子单元、关键点相似度计算子单元、关键点匹配子单元和信息迁移子单元；
关键点提取子单元用于分别从组织H&E染色图像和组织CK染色图像提取关键点；
关键点相似度计算子单元用于计算H&E染色图像和组织CK染色图像关键点的相似度；
关键点匹配子单元用于根据关键点的相似度建立组织H&E染色图像和组织CK染色图像的关键点匹配对；基于关键点匹配对生成仿射矩阵；
信息迁移子单元用于提取组织CK染色图像中被CK试剂染色的肿瘤细胞所在位置，生成CK染色图像标记二值图，将仿射矩阵作用于CK染色图像标记二值图，得到其对应的组织H&E染色图像的肿瘤细胞标记二值图。


4.根据权利要求2所述的基于IHC染色的肿瘤识别系统，其特征在于：所述数据提取模块包括细胞核分割单元和图像块提取单元；
图像块包括第一图像块和第二图像块；
图像块提取单元基于滑动窗口在组织H&E染色图像上提取第一图像块；还基于肿瘤细胞标记二值图判断滑动窗口中的第一图像块是否位于被染色区域，如果位于被染色区域标记为正样本，否则标记为负样本；
细胞核分割单元用于在第一图像块上进行细胞核分割，分割出以细胞核为中心的第二图像块。


5.根据权利要求4所述的基于IHC染色的肿瘤识别系统，其特征在于：所述数据提取模块还包括数据均衡单元，数据均衡单元基于滑动窗口对正样本区域随机重复采样，提取第一图像块。


6...

【专利技术属性】
技术研发人员：尤海航，侍璐琳，关镇，
申请(专利权)人：重庆点检生物科技有限公司，
类型：发明
国别省市：重庆;50