一种超高分辨率病理图像癌变区域可视化方法技术

本发明专利技术提供一种超高分辨率病理图像癌变区域可视化方法，首先，使用阈值最优算法识别待测超高分辨率病理图像的组织区域，并从组织区域有重叠地提取切片，达到剔除无关背景降低计算量及避免引入噪声的目的。其次，把提取的切片输入已持久化的深度神经网络模型进行预测，将预测得到的每张切片的概率构成概率矩阵Mp。而后，基于概率矩阵生成概率探针图像H，从H提取特征训练一个分类模型进行全图预测。最后，基于全图预测结果，将概率探针图像H可视化为癌变区域概率表达及癌变区域轮廓表达。本发明专利技术提供的癌变区域可视化方法用于辅助病理医生对病理切片进行分析和诊断，将极大地减轻病理医生的工作负担，提高诊断准确率。

A visualization method for cancer area in ultrahigh resolution pathological images

The invention provides a method for visualizing the cancerous region of a super-high-resolution pathological image. Firstly, the tissue region of a super-high-resolution pathological image to be measured is identified by using an optimal threshold algorithm, and the slices are extracted from the tissue region overlapping, so as to eliminate the unrelated background and reduce the calculation amount and avoid introducing noise. Secondly, the extracted slices are input into the persistent depth neural network model for prediction, and the probability of each slice is constructed into a probability matrix MP. Then, probabilistic probe image H is generated based on probability matrix, and a classification model is trained from H to predict the whole image. Finally, the probabilistic probe image H is visualized as a probabilistic expression of the cancerous region and a contour expression of the cancerous region. The method for visualizing the cancerous region provided by the invention is used for assisting pathologists to analyze and diagnose pathological sections, thereby greatly reducing the workload of pathologists and improving the diagnostic accuracy.

【技术实现步骤摘要】
一种超高分辨率病理图像癌变区域可视化方法
本专利技术涉及超高分辨率病理图像癌变区域可视化方法领域，更具体地，涉及一种超高分辨率病理图像癌变区域可视化方法。
技术介绍
病理学的基本医学任务是，通过研究病理材料得到疾病诊断结果，用以指导患者治疗。由于病理学自身的复杂性，以及病理学数字整体幻灯片图像的分辨率极高的特性，病理医生对病理图像的分析工作耗时耗力且准确率低。已有的应用计算机技术辅助病理图像医学诊断的相关工作成果，大都集中于小尺寸非超高分辨率的医学影像分析，而面对超高分辨率病理图像的诊断与分析任务，往往计算复杂度高，诊断结果无法直观表达，未能从本质上减轻病理医生工作负担。本专利技术采用分割思想，使用基于分块的切片提取方法极大地降低了计算复杂度；采用切片概率到概率矩阵的映射方法构建概率探针图像，并基于概率探针图像使用分类模型进行全图预测，提高了癌变判断准确率；进一步地，采用的可视化方法得到癌变区域概率表达和癌变区域轮廓表达实现癌区定位，使癌变组织得以直观展现，极大地提高了病理医生的诊断效率，减轻了病理医生的工作负担。
技术实现思路
本专利技术提供一种超高分辨率病理图像癌变区域可视化方法，该方法可实现对超高分辨率病理图像进行癌区定位与可视化。为了达到上述技术效果，本专利技术的技术方案如下：一种超高分辨率病理图像癌变区域可视化方法，包括以下步骤：S1：兴趣区域切片提取：采用基于像素RGB值的阈值最优算法将所述图像划分为组织区域和无关背景区域，对组织区域进行分割并提取切片；S2：模型预测及概率矩阵构建：将所述小切片输入卷积神经网络模型进行前向传播获得每张小切片的癌变概率，将所得概率按预设更新方法构建概率矩阵；S3：全图预测：基于概率探针图像对超高分辨率病理图像进行全图预测，划分为阳性和阴性两类；S4：预测结果可视化：基于全图预测结果，将概率探针图像映射得到癌变区域概率表达及癌变区域轮廓表达。进一步地，所述步骤S1的具体过程是：采用像素RGB值的阈值最优算法获得最优阈值，基于最优阈值对超高分辨率病理图像进行检测，识别组织区域并画出组织区域轮廓外接矩形；以外接矩形的左上角为起始坐标，有重叠地截取分辨率为256*256的切片保存至输入队列。进一步地，所述步骤S2中，设热度图分辨率对应在样本医学图像金字塔上的Level-K，构建Level-K对应维度的二维全零初始矩阵Mp，将切片输入深度神经网络模型进行前向传播获得相应预测概率，将该概率以对应切片映射至Level-K的中心坐标为索引更新矩阵Mp的相应元素。进一步地，所述步骤S3中，从训练集概率探针图像提取特征训练一个分类模型，从测试集生成的概率探针图像提取相同类型的特征输入分类模型进行预测，将超高分辨率病理图像划分为阳性和阴性两类。进一步地，所述步骤S4中，将概率探针图像H以阈值Alpha进行透明化处理，再与对应的Level-K的病理图像进行叠加处理生成新图像，得到癌变区域概率表达；将概率探针图像H进行二值化以及腐蚀与填充后进行轮廓检测，将轮廓坐标信息映射至对应的Level-K的病理图像后得到癌变区域轮廓表达。进一步地，所述的有重叠的切片截取并保存，包括滑窗截取和组织区域判断：利用待测样本图像的分辨率信息，滑窗自适应地以相应步长有重叠地截取测试样本；对所截取的切片基于所得的最优像素RGB阈值，判断切片组织区域占比是否大于30％，若是，则将该切片保存并扫描下一张切片进行判断；若否，则直接扫描下一张切片重复上述判断步骤。进一步地，所述的识别组织区域并画出组织区域轮廓外接矩形，实现过程基于分块方法：将超高分辨率病理图像均匀地分割成若干部分，分别对这些部分图像识别组织区域并画出组织区域轮廓外接矩形。进一步地，所述的从测试集生成的概率探针图像，基于概率矩阵生成，以概率矩阵Mp中的每个元素为扩充因子将二维矩阵Mp扩充为三维矩阵Mp1，基于Mp1生成概率探针图像H，其中颜色越深，表明该区域患癌概率越高，颜色越浅，表明该区域患癌概率越低。与现有技术相比，本专利技术技术方案的有益效果是：1、本专利技术采用的基于分块的兴趣区域切片提取方案，将病理图像均分为若干部分，分别对各个部分识别兴趣区域提取切片，相比传统的切片提取方法，本专利技术对非兴趣区域进行了更有效的剔除，提高了整个定位与可视化方法的运算效率；2、本专利技术采用的切片到概率矩阵的映射方法，通过坐标映射关系，在预测过程中自动更新概率矩阵，实现病理图像相应区域与癌变概率之间位置与概率的一一对应；3、本专利技术采用的从概率探针图像提取特征训练一个分类器进行全图预测的方案，相比现有的基于小切片的分类，本专利技术有效地将病理图像划分为阳性和阴性，提升了预测准确率；4、本专利技术提供的癌变区域可视化方法，将预测结果直观表示为癌变区域概率表达和癌变区域轮廓表达，用于辅助病理医生对病理切片进行分析和诊断，极大地减轻了病理医生的工作负担，提高诊断准确率。附图说明图1为本专利技术方法流程图；图2为从朴素切片提取方法改进为基于分块的切片提取方法示意图；图3为癌区定位与可视化方法示意图。具体实施方式附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本专利技术的技术方案做进一步的说明。实施例1如1-3所示，一种超高分辨率病理图像癌变区域可视化方法，包括以下步骤：S1：兴趣区域切片提取，采用基于像素RGB值的阈值最优算法将所述图像划分为组织区域和无关背景区域，对组织区域进行分割并提取切片。S2：模型预测及概率矩阵构建，将所述小切片输入卷积神经网络模型进行前向传播获得每张小切片的癌变概率，将所有概率构成概率矩阵。S3：全图预测，基于概率探针图像对超高分辨率病理图像进行全图预测，划分为阳性和阴性两类。S4：预测结果可视化，基于全图预测结果，将概率探针图像映射得到癌变区域概率表达及癌变区域轮廓表达。上述步骤具体实现方式如下：S1：兴趣区域切片提取兴趣区域切片提取包括以下步骤：(1)采用基于像素RGB值的阈值最优算法扫描全图，计算得到2组最优RGB阈值，分别为RGB阈值下限和RGB阈值上限，所有处于阈值区间内的像素都将判定为组织区域；(2)将图像平均划分为4部分，分别记录各个部分所在象限并计算该部分与原图像的像素坐标映射关系，分别基于最优阈值将各部分图像划分为兴趣区域和背景区域，并分别画出兴趣区域轮廓外接矩形；(3)根据待测样本图像的分辨率信息，大小为256*256像素的滑动窗口以外接矩形的左上角为起始坐标，自适应地以相应步长进行滑动，扫描测试样本图像，基于最优RGB阈值判断滑动窗口内组织区域占比是否大于30％，若是，则将窗口内图像以及该窗口中心根据象限映射关系映射至原图的坐标作为一个Patch，保存至输入队列；若否，则扫描下一窗口。S2：模型预测及概率矩阵构建待测病理图像分辨率为20480*27904，工作水平为Level-5，Level-5对应的分辨率为640*872。模型预测及概率矩阵构建包含以下步骤：(1)构建维度为640*872的二维全零矩阵Mp；(2)将输入队列的16张Patch作为为一个Batch，将每一个Batch进行标本文档来自技高网...

【技术保护点】
1.一种超高分辨率病理图像癌变区域可视化方法，其特征在于，包括以下步骤：S1：兴趣区域切片提取：采用基于像素RGB值的阈值最优算法将所述图像划分为组织区域和无关背景区域，对组织区域进行分割并提取切片；S2：模型预测及概率矩阵构建：将所述小切片输入卷积神经网络模型进行前向传播获得每张小切片的癌变概率，将所得概率按预设更新方法构建概率矩阵；S3：全图预测：基于概率探针图像对超高分辨率病理图像进行全图预测，划分为阳性和阴性两类；S4：预测结果可视化：基于全图预测结果，将概率探针图像映射得到癌变区域概率表达及癌变区域轮廓表达。

【技术特征摘要】
1.一种超高分辨率病理图像癌变区域可视化方法，其特征在于，包括以下步骤：S1：兴趣区域切片提取：采用基于像素RGB值的阈值最优算法将所述图像划分为组织区域和无关背景区域，对组织区域进行分割并提取切片；S2：模型预测及概率矩阵构建：将所述小切片输入卷积神经网络模型进行前向传播获得每张小切片的癌变概率，将所得概率按预设更新方法构建概率矩阵；S3：全图预测：基于概率探针图像对超高分辨率病理图像进行全图预测，划分为阳性和阴性两类；S4：预测结果可视化：基于全图预测结果，将概率探针图像映射得到癌变区域概率表达及癌变区域轮廓表达。2.根据权利要求1所述的超高分辨率病理图像癌变区域可视化方法，其特征在于，所述步骤S1的具体过程是：采用像素RGB值的阈值最优算法获得最优阈值，基于最优阈值对超高分辨率病理图像进行检测，识别组织区域并画出组织区域轮廓外接矩形；以外接矩形的左上角为起始坐标，有重叠地截取分辨率为256*256的切片保存至输入队列。3.根据权利要求2所述的超高分辨率病理图像癌变区域可视化方法，其特征在于，所述步骤S2中，设热度图分辨率对应在样本医学图像金字塔上的Level-K，构建Level-K对应维度的二维全零初始矩阵Mp，将切片输入深度神经网络模型进行前向传播获得相应预测概率，将该概率以对应切片映射至Level-K的中心坐标为索引更新矩阵Mp的相应元素。4.根据权利要求3所述的超高分辨率病理图像癌变区域可视化方法，其特征在于，所述步骤S3中，从训练集概率探针图像提取特征训练一个分类模型，从测试集生成的概率探针图像提取相同...

【专利技术属性】
技术研发人员：王国利，刘力，李亮，徐琰，郭斌，郭雪梅，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44