基于纹理加强的乳腺癌多分类方法技术

基于纹理加强的乳腺癌多分类方法，本发明专利技术涉及组织病理图像分类技术中，乳腺癌组织病理图像的多分类问题。组织病理图像分类技术通过图像处理技术提取出具有辨别性的类别特征进行癌症类型分类，在癌症诊断方面有着广泛的应用。然而由于乳腺癌的组织形象十分复杂和类型甚多，部分恶性亚型在临床和病理中表现出异质性差别小，导致在乳腺癌组织病理图像多分类中不易提取这些类别中具有区分性特征。为改善这一问题，本发明专利技术提出了一种基于纹理加强的乳腺癌多分类方法。实验表明，该方法能有效地提取不同乳腺癌亚型的具有辨别性的特征，减少分类误差，提高乳腺癌病理图像多分类精度。本发明专利技术应用于乳腺癌组织病理图像的多分类。应用于乳腺癌组织病理图像的多分类。应用于乳腺癌组织病理图像的多分类。

【技术实现步骤摘要】
基于纹理加强的乳腺癌多分类方法


[0001]本专利技术设计属于医学图像处理
，具体涉及一种基于纹理加强的乳腺癌多分类方法。

技术介绍

[0002]乳腺癌作为女性高发疾病之一，其发病率和死亡率一直占据女性恶性肿瘤的首位。乳腺癌的精确诊断对后续治疗具有重要意义。在乳腺癌诊断中，利用显微镜对活检组织进行分析较为常见；目前，对组织学病理图像的评估被认为是乳腺癌临床诊断和确定治疗靶点的“金标准”，病理学家在电子或光学显微镜下对经过苏木精
‑
伊红染色的乳腺活检组织切片进行观察，通过观察其细胞结构形态来决定乳腺组织是否发生病变。随着计算机辅助诊断系统的出现，已有大量的深度学习方法应用到乳腺癌组织病理图像的分类诊断中，其中由于ResNet在自然图片领域中的优秀性能，也在乳腺癌分类中使用广泛，但由于乳腺癌图像本身对比度低、类内差异小等特性，单纯只使用ResNet分类的效果并不理想，于是本文针对乳腺癌分类修改ResNet原始模型。
[0003]GLCM是在图像上定义为给定偏移处共现像素值（灰度值或颜色）的分布的矩阵。它被用作纹理分析的方法，具有各种应用，特别是在医学图像分析中。无论是考虑图像的强度或灰度值还是各种颜色维度，GLCM都通过计算图像中具有特定值和指定空间关系的像素对的频率来表征图像的纹理，然后从此矩阵中提取统计度量值。由于GLCM通常很大且稀疏，因此通常采用矩阵的各种指标来获得一组更有用的特征。使用这种技术生成的特征通常被称为Haralick特征，以Robert Haralick的名字命名。ACD算法考虑到由于组织病理学图片不同的标本制备、染色和扫描情况下，数字组织学图像的颜色外观是不同的，这种可变性会影响诊断并降低计算机辅助诊断方法的准确性。于是提出的一种新的，用于苏木精
‑
伊红（hematoxylin and eosin，H&E）染色的全切片图像的染色分离和颜色归一化方法。为了避免伪影和降低归一化的失败率，ACD模型考虑了多个染色先验知识，并嵌入到模型中。为了提高各种全切片的颜色归一化能力，设计了一种集成优化方法，可以同时估计染色分离和颜色归一化的参数。该方法在求解ACD模型和应用过程中只涉及像素级运算，效率高，适用于组织病理全切片图像。
[0004]因此结合上述技术，本文在ResNet模型的基础上提出了一种基于纹理加强的乳腺癌多分类方法，以提高模型对乳腺癌组织病理图像多分类的准确率。

技术实现思路

[0005]本专利技术的目的是为了解决乳腺癌组织病理图片局部特征识别弱，多分类准确率不高的问题，而提出的一种基于纹理加强的乳腺癌多分类方法。
[0006]上述专利技术目的主要是通过以下技术方案实现的：S1、利用GLCM算法提取乳腺癌组织病理图片的ASM纹理特征图；S2、利用ACD算法分离乳腺癌组织病理图片中的H通道图；
S3、将乳腺癌病理组织训练数据图片数据按照步骤S1和步骤S2分别生成对应纹理图，做为训练数据；S4、在ResNet模型基础上修改残差块，添加纹理特征注意力机制，将修改后的ResNet模型称为TResNet模型；S5、利用步骤S3中选取的训练数据和对应类别标签训练TResNet模型；S6、将待分类的乳腺癌组织病理图片输入到步骤S5得到的TResNet模型中去，通过TResNet模型输出最后待分类的乳腺癌组织病理图片所属的类别。
[0007]进一步的，所述步骤S1中利用GLCM算法提取乳腺癌组织病理图片的ASM纹理特征图，其具体方法包括：GLCM是像素距离和角度的矩阵函数，是图像中两个像素灰度级的联合直方图，是一种二阶统计量，定义为从灰度为的像素点出发，距离的另一像素点灰度为的概率，公式如下：其中表示用像素数量表示的相对距离；表示方向，一般为四个方向；；为图像中的像素坐标，为图像灰度级的数目。
[0008]ASM是基于GLCM计算出来的统计量之一，属于图像灰度分布均匀程度和纹理粗细的一个度量，当图像纹理均一规则时，ASM值越大，反之值越小，其计算公式如下：其中表示归一化后的GLCM。
[0009]进一步的，所述步骤S2中利用ACD算法分离乳腺癌组织病理图片中的H通道图，其具体方法如下所述：颜色反卷积(Colordeconvolution，CD)是ACD的基础，CD是基于Beer
‑
Lamber定律提出的，让表示图片中第i个像素在RGB颜色空间中的值，CD可以用以下方程简单表示：其中表示RGB通道的光密度，代表颜色反卷积矩阵，是包含染色密度的输出，表示背景强度即无染色组织时的像素值；对于苏木精和伊红（hematoxylin and eosin，H&E）染色的WSI图片，染色密度可以表示为：其中和分别表为苏木精和伊红染色的值，表示分离的残差，反卷积矩阵由一个SCA矩阵通过确定。
[0010]ACD考虑到反卷积矩阵由SCA矩阵决定，提出直接对进行优化然后计算，并在优化过程中求解归一化应变强度的参数，其中定义了一个染色权重矩阵
,因此将CD算法式3修改为：因此SCA矩阵能被分解为，其中，属于一个单位向量，描述了第染色对红、绿、蓝通道强度的贡献；为确保整个优化过程中，使用两个角度变量表示：SCA矩阵M可以用6个独立角度变量表示：，因此SCA矩阵可表示为，对应的CD矩阵为；通过求解和W的目标函数：得到优化的变量集和，其中：，其中：，其中：，其中：是权重参数，是用于优化的像素数，表示为平衡参数，为控制所需的染色强度参数；通过优化上述参数同时得到染色分离的自适应变量和染色强度归一化的自适应变量，通过可以分离WSI的染色成分，得到H通道的染色图。
[0011]进一步的，所述步骤S3将乳腺癌病理组织训练数据图片数据按照步骤S1和步骤S2分别生成对应纹理图，做为训练数据，其具体方法如下：将所有训练数据按照步骤S1和步骤S2分别生成ASM纹理图和染色分离H通道图，将原始图片和对应的ASM纹理图、H通道图组合作为训练数据，在训练模型时同时读入。
[0012]进一步的，所述步骤S4在ResNet模型基础上修改残差块，添加纹理特征注意力机制，将修改后的ResNet模型称为TResNet模型，其具体方法如下：原始ResNet模型残差块中只由主分支的卷积层、BN层和激活函数层堆叠而成，最后通过跳跃连接卷积前特征；为使模型能注意到更多的信息，在残差块中添加纹理注意力分支；该纹理注意力分支以ASM纹理图和染色分离H通道图作为输入，分别经过一层卷积层后按照比例通过sigmoid函数计算出纹理注意力权重，使用得到的纹理注意力权重融合进ResNet分支中调整ResNet模型计算得到的特征值。
[0013]进一步的，所述步骤S5利用步骤S3中选取的训练数据和对应类别标签训练TResNet模型，其具体方法如下：首先将训练数据输入TResNet模型后，通过模型中的特征提取器运算处理，模型学习到相应乳腺癌组织病理类别的特征；在训练完一次后模型会进行验证，优化器根据验证
结果会主动修改模型已学到的特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于纹理加强的乳腺癌多分类方法，其特征在于，包含纹理提取和模型训练：所述纹理提取包含步骤：S1、利用GLCM算法提取乳腺癌组织病理图片的ASM纹理特征图；S2、利用ACD算法分离乳腺癌组织病理图片中的H通道图；所述模型训练包含步骤：S3、将乳腺癌病理组织训练数据图片数据按照步骤S1和步骤S2分别生成对应纹理图，做为训练数据；S4、在ResNet模型基础上修改残差块，添加纹理特征注意力机制，将修改后的ResNet模型称为TResNet模型；S5、利用步骤S3中选取的训练数据和对应类别标签训练TResNet模型；S6、将待分类的乳腺癌组织病理图片输入到步骤S5得到的TResNet模型中去，通过TResNet模型输出最后待分类的乳腺癌组织病理图片所属的类别。2.如权利要求1所述的基于纹理加强的乳腺癌多分类方法，其特征在于，步骤S1中所述的GLCM算法和ASM纹理特征的计算如下：GLCM是像素距离和角度的矩阵函数，是图像中两个像素灰度级的联合直方图，是一种二阶统计量，定义为从灰度为的像素点出发，距离的另一像素点灰度为的概率，公式如下：其中表示用像素数量表示的相对距离；表示方向，一般为四个方向；;为图像中的像素坐标，为图像灰度级的数目；ASM是基于GLCM计算出来的统计量之一，属于图像灰度分布均匀程度和纹理粗细的一个度量，当图像纹理均一规则时，ASM值越大，反之值越小，其计算公式如下：其中表示归一化后的GLCM。3.如权利要求1所述的基于纹理加强的乳腺癌多分类方法，其特征在于，步骤S2中所述的ACD算法的计算方法如下：颜色反卷积(Colordeconvolution，CD)是ACD的基础，CD是基于Beer
‑
Lamber定律提出的，让表示图片中第i个像素在RGB颜色空间中的值，CD可以用以下方程简单表示：其中表示RGB通道的光密度，代表颜色反卷积矩阵，是包含染色密度的输出，表示背景强度即无染色组织时的像素值；对于苏木精和伊红（hematoxylin and eosin，H&E）染色的WSI图片，染色密度可以表示为：其中和分别表为苏木精和伊红染色的值，表示分离的残差，反卷积矩阵由一个
SCA矩阵通过确定；ACD考虑到反卷积矩阵由SCA矩阵决定，提出直接对进行优化然后计算，并在优化过程中求解归一化应变强...

【专利技术属性】
技术研发人员：周扬，周书航，王健，何勇军，丁博，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：