基于病理图像的dMMR亚型分类方法及系统技术方案

本发明专利技术提出一种基于病理图像的dMMR亚型分类方法，包括：划分已标注病理图像获得多个已知图像块，构建为数据集，以该数据集对深度学习网络进行训练，获得兴趣区域识别模型；通过该兴趣区域识别模型，获取目标病理图像的目标图像区域；将该目标图像区域划分为多个相同尺寸的目标图像块，将所有该目标图像块平均分为多份，将每份该目标图像块进行堆叠合并操作得到堆叠块；获取所有该堆叠块的特征表征，并根据所有该特征表征得到该目标病理图像的dMMR亚型分类结果。本发明专利技术还提出一种基于病理图像的dMMR亚型分类系统，以及一种用于对目标病理图像进行dMMR亚型分类的数据处理装置。病理图像进行dMMR亚型分类的数据处理装置。病理图像进行dMMR亚型分类的数据处理装置。

【技术实现步骤摘要】
基于病理图像的dMMR亚型分类方法及系统


[0001]本专利技术涉及医学病理图像处理
，特别涉及基于深度学习的病理图像分类方法与系统。

技术介绍

[0002]对肿瘤的病理研究过程中，研究者通常会通过穿刺或手术获取被研究者疑似肿瘤区域活体，制作病理切片，并通过显微镜阅片得出病理结果，这种方式严重依赖研究者所累积的经验；此外，制片过程中的一些误差都会影响病理研究的结果。因此，需要一种针对病理图像的计算机前期处理方法，通过对病理图像归一化处理并进行dMMR(DNA错配修复缺陷，different Mismatch Repair) 亚型分类，从而减小研究者的工作量，同时减少主观和客观因素导致病理结果偏差的问题。

技术实现思路

[0003]本专利技术的基于病理图像dMMR亚型分类方法通过训练兴趣区域识别模型，为目标病理图像的dMMR亚型分类去除WSI中不相关因素影响，降低分类难度。具体包括：
[0004]划分已标注病理图像获得多个已知图像块，构建为数据集，以该数据集对深度学习网络进行训练，获得兴趣区域识别模型；通过该兴趣区域识别模型，获取目标病理图像的目标图像区域；将该目标图像区域划分为多个相同尺寸的目标图像块，将所有该目标图像块平均分为多份，将每份该目标图像块进行堆叠合并操作得到堆叠块；获取所有该堆叠块的特征表征，并根据所有该特征表征得到该目标病理图像的dMMR亚型分类结果。
[0005]本专利技术所述的dMMR亚型分类方法，将该已标注病理图像划分为多个分辨率下多个图像尺度的已知图像块，并将所有该已知图像块划分入对应分辨率的数据集，以该数据集训练对应分辨率下多个图像尺度的兴趣区域识别模型；其中，通过训练Mobilenet V2网络以获得该兴趣区域识别模型。
[0006]本专利技术所述的dMMR亚型分类方法，采用神经网络获取该特征表征，对所有该特征表征以主成分分析方法进行降维处理，将降维处理后的特征表征输入随机森林分类器，获取该dMMR亚型分类结果；其中，采用ResNet
‑
18网络获取该特征表征。
[0007]本专利技术还提出一种基于病理图像的dMMR亚型分类系统，包括：感兴趣区域提取模块，用于划分已标注病理图像获得多个已知图像块，构建为数据集，以该数据集对深度学习网络进行训练，获得兴趣区域识别模型；图像处理模块，用于通过该兴趣区域识别模型，获取目标病理图像的目标图像区域；将该目标图像区域划分为多个相同尺寸的目标图像块，将所有该目标图像块平均分为多份，将每份该目标图像块进行堆叠合并操作得到堆叠块；图像分类模块，用于获取所有该堆叠块的特征表征，并根据所有该特征表征得到该目标病理图像的 dMMR亚型分类结果。
[0008]本专利技术所述的dMMR亚型分类系统，其中，该模型训练模块包括数据集生成模块，用于将该已标注病理图像划分为多个分辨率下多个图像尺度的已知图像块，并将所有该已知
图像块划分入对应分辨率的数据集，以该数据集训练对应分辨率下多个图像尺度的兴趣区域识别模型；该模型训练模块通过训练 Mobilenet V2网络以获得该兴趣区域识别模型。
[0009]本专利技术所述的dMMR亚型分类系统，其中，该图像分类模块包括：特征获取模块，用于采用神经网络获取该特征表征，对所有该特征表征以主成分分析方法进行降维处理；分类模块，用于将降维处理后的特征表征输入随机森林分类器，获取该dMMR亚型分类结果；该特征获取模块采用ResNet
‑
18网络获取该特征表征。
[0010]本专利技术还提出一种计算机可读存储介质，存储有计算机可执行指令，其特征在于，当该计算机可执行指令被执行时，实现如前所述的病理图像的dMMR 亚型分类方法。
[0011]本专利技术还提出一种数据处理装置，包括如前所述的计算机可读存储介质，当该数据处理装置的处理器调取并执行该计算机可读存储介质中的计算机可执行指令时，对目标病理图像进行dMMR亚型分类。
附图说明
[0012]图1是本专利技术的dMMR亚型分类示意图。
[0013]图2是本专利技术的dMMR亚型分类模型示意图。
[0014]图3是本专利技术的感兴趣区域识别的流程图。
[0015]图4是本专利技术的dMMR亚型分类方法流程图。
[0016]图5是本专利技术的感兴趣区域识别网络生成的概率热图。
[0017]图6是本专利技术的patch分类器流程图。
[0018]图7是分类器的ROC曲线。
[0019]图8是本专利技术的数据处理装置示意图。
具体实施方式
[0020]为让本专利技术能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。
[0021]本专利技术提出一种基于病理图像的dMMR亚型分类方法，针对病理图像尺寸太大，无法直接对其进行分类的问题，通过不同尺度信息图像训练多尺度兴趣区域识别网络，有效的过滤图像中造成干扰的背景信息，并通过神经网络模型与机器学习相结合方法对其进行分类，将感兴趣区域(ROI)切分为统一尺寸图像块，利用神经网络提取图像块特征表达，利用PCA对提取的特征降维，提高后续操作的运行速率。将同一病理图像所有降维后特征进行特征融合后输入随机森林，得到最终的分类结果。
[0022]本专利技术通过训练深度学习模型和机器学习模型以完成病理图像分类，图1 是本专利技术提供的兴趣区域识别模型和dMMR亚型分类模型示意图。如图1所示，本专利技术的机器学习模型包括：兴趣区域识别模型和dMMR亚型分类模型。
[0023]兴趣区域识别模型用于确定病理图像的全视野数字切片(WSI，WholeSlide Image)中的感兴趣区域(ROI)。WSI中含有正常组织与病变组织，应首先通过兴趣区域识别去除正常组织区域对后续分类工作的影响；此外，WSI 尺寸较大，无法直接对其进行处理，如图2所示，训练兴趣区域识别模型前先将WSI图像切分成256
×
256大小的图像块(patch)以生成训练数据集；训练过程中，将数据集中的数据采用随机翻转方式做增强处理后输入深度学习网络，进行兴趣区域识别模型的训练与优化，本专利技术通过训练Mobilenet V2网络
以获得兴趣区域识别模型，也可以采用其他类型深度神经学习网络，本专利技术并不以此为限；对兴趣区域识别模型测试时，首先对测试WSI图像进行预处理，测试WSI图像中存在较多空白区域，采用阈值分割方法去除图像中白色背景部分，然后利用训练好的兴趣区域识别模型生成概率热力图，结直肠癌中腺体部分在较低分辨率下才能在256
×
256尺寸大小的图像中显示完整结构，因此，分别在放大倍数为5倍和40倍下切分patch，训练两个兴趣区域识别模型，将两个模型进行集成，作为最终的兴趣区域识别网络。
[0024]dMMR亚型分类模型由patch级和WSI级两部分组成，如图3所示。进行病理图像dMMR亚型分类时，首先根据兴趣区域识别模型得到的概率热图切分目标WSI图像获得多个patch，将每N个patch做堆叠融合(Concatenate)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于病理图像的dMMR亚型分类方法，其特征在于，包括：划分已标注病理图像获得多个已知图像块，构建为数据集，以该数据集对深度学习网络进行训练，获得兴趣区域识别模型；通过该兴趣区域识别模型，获取目标病理图像的目标图像区域；将该目标图像区域划分为多个相同尺寸的目标图像块，将所有该目标图像块平均分为多份，将每份该目标图像块进行堆叠合并操作得到堆叠块；获取所有该堆叠块的特征表征，并根据所有该特征表征得到该目标病理图像的dMMR亚型分类结果。2.如权利要求1所述的dMMR亚型分类方法，其特征在于，将该已标注病理图像划分为多个分辨率下多个图像尺度的已知图像块，并将所有该已知图像块划分入对应分辨率的数据集，以该数据集训练对应分辨率下多个图像尺度的兴趣区域识别模型。3.如权利要求2所述的dMMR亚型分类方法，其特征在于，通过训练MobilenetV2网络以获得该兴趣区域识别模型。4.如权利要求1所述的dMMR亚型分类方法，其特征在于，采用神经网络获取该特征表征，对所有该特征表征以主成分分析方法进行降维处理，将降维处理后的特征表征输入随机森林分类器，获取该dMMR亚型分类结果。5.如权利要求4所述的dMMR亚型分类方法，其特征在于，采用ResNet
‑
18网络获取该特征表征。6.一种基于病理图像的dMMR亚型分类系统，其特征在于，包括：感兴趣区域提取模块，用于划分已标注病理图像获得多个已知图像块，构建为数据集，以该数据集对深度学习网络进行训练，获得兴趣区域识别模型；图像处理模块，用于通过该兴趣区域识别模型，获取目标病理图像的目标图像区域；将该目标...

【专利技术属性】
技术研发人员：赵娜，吴焕文，窦晋津，杜保林，王晓雯，
申请(专利权)人：重庆知见生命科技有限公司，
类型：发明
国别省市：