基于宽型金字塔的HER2图像分类方法及系统技术方案

本发明专利技术提供了一种基于宽型金字塔的HER2图像分类方法及系统，涉及图像分类技术领域，包括采集待分类HER2的IHC图像数据，并进行预处理；读取预处理后的IHC图像，将图像数字化，转化为RGB颜色空间的三维数值；获取图像的图像数字化信息，将获得的图像数字化信息输入至宽型金字塔神经网络，获取图像的多尺度特征图；再将图像的特征图输入分类器判断输入的IHC图像的类别，以深度学习的方法为基础，极大的降低了人工成本，自行在多次的训练学习中学会HER2分数区分的标准，在不需要人工干预的情况可自行对HER2分数进行判定，极大的提高了效率。率。率。

【技术实现步骤摘要】
基于宽型金字塔的HER2图像分类方法及系统


[0001]本专利技术涉及图像分类
，具体涉及基于宽型金字塔的HER2图像分类方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]人类表皮生长因子受体(HER2)基因扩增或高蛋白表达通常出现在乳腺癌患者中，也被称为HER2阳性乳腺癌。因此，HER2表达水平可用于乳腺癌的诊断。
[0004]HER2的表达水平通常通过免疫组织化学(IHC)或荧光原位杂交(FISH)来确定。临床医生和病理学家建议优先采用免疫组织化学(IHC)研究来衡量乳腺癌的严重程度。IHC筛选分析活检组织切片中细胞和细胞表面的蛋白，即根据浸润性癌细胞膜染色的程度和比例，给乳腺组织样品分配不同的HER2分数。
[0005]随着计算机技术的不断发展，数字化的图片有效的辅助了病理学家和医护人员对HER2分数的判断。数字切片扫描仪以数字化、快速、准确、高效的方式处理典型的病理图像。数字化切片的定量图像分析(QIA)减少了人为错误，提高了诊断的准确性，减少了病理医生的工作量，是评分系统标准化。
[0006]随着数字病理学中图像分析的出现以及人工智能的发展，已经可以通过计算机技术实现对HER2的IHC图像的客观判别，以机器为主导的方法大大降低病理医师人工识别的分辨难度和主观性差异，提高癌症分析与诊断的效率和准确率，从而造福人类。
[0007]到目前为止，已经存在利用机器学习算法来评估HER2图像的方法，但是大部分方法操作过于复杂，需要过多的人工干预，并且这些方法的准确率和计算成本都达不到标准。

技术实现思路

[0008]本专利技术为了解决上述问题，提出了基于宽型金字塔的HER2图像分类方法及系统，利用从宽度扩展的深度学习框架，不需要人工干预的情况下可自行对HER2分数进行判定。
[0009]根据一些实施例，本专利技术采用如下技术方案：
[0010]基于宽型金字塔的HER2图像分类方法，包括：
[0011]采集待分类HER2的IHC图像数据，并进行预处理；
[0012]读取预处理后的IHC图像，将图像数字化，转化为RGB颜色空间的三维数值；
[0013]获取图像的图像数字化信息，将获得的图像数字化信息输入至宽型金字塔神经网络，获取图像的多尺度特征图；
[0014]再将图像的特征图输入分类器判断输入的IHC图像的类别。
[0015]根据另一些实施例，本专利技术采用如下技术方案：
[0016]基于宽型金字塔的HER2图像分类系统，其特征在于，包括：
[0017]图像采集与预处理模块，其被配置为：采集待分类HER2的IHC图像数据，并进行预
处理；
[0018]图像读取模块，其被配置为：读取预处理后的IHC图像，将图像数字化，转化为RGB颜色空间的三维数值；
[0019]图像特征提取模块，其被配置为：获取图像的图像数字化信息，将获得的图像数字化信息输入至宽型金字塔神经网络，获取图像的多尺度特征图；
[0020]分类模块，其被配置为：输入获得的特征图，采用分类器判断输入的HER2的IHC图像的类别。
[0021]根据另一些实施例，本专利技术采用如下技术方案：
[0022]一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的基于宽型金字塔的HER2图像分类方法。
[0023]根据另一些实施例，本专利技术采用如下技术方案：
[0024]一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的基于宽型金字塔的HER2图像分类方法。
[0025]与现有技术相比，本专利技术的有益效果为：
[0026]本专利技术以深度学习的方法为基础，极大的降低了人工成本，依靠对模型框架的设计搭建，使计算机自行在多次的训练学习中学会HER2分数区分的标准。从而使计算机在不需要人工干预的情况下可自行对HER2分数进行判定。并且本专利技术可将每张HER2图像的分数判定时间压缩到0.55秒，极大的提高了效率。
[0027]本专利技术搭建的深度学习框架特点是从宽度角度进行扩展，宽度角度进行扩展的神经网络可以提取更多尺度的特征信息，对图像特征的充分提取和学习使得对HER2分数的识别准确率达到了95.75％。
附图说明
[0028]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0029]图1为实施例一的基于宽型金字塔神经网络的HER2图像分类系统的框架图；
[0030]图2为实施例一的HER2四个不同分数类别的IHC图像；
[0031]图3为实施例一的图像预处理前后的HER2图像和其颜色直方图的示意图
[0032]图4为实施例一的宽型金字塔神经网络的架构图；
[0033]图5为实施例一的宽型金字塔(WP)模块的运行示意图；
[0034]图6为实施例一的图像预处理前后的训练结果示意图；
[0035]图7为实施例一的多个模型对HER2分数分类的验证准确率对比图；
[0036]图8为实施例一的多个模型的针对HER2自动评分的准确率和训练参数量对比图。
[0037]图9为实施例一的宽型金字塔网络针对HER2分数分类的ROC曲线图。
具体实施方式：
[0038]下面结合附图与实施例对本专利技术作进一步说明。
[0039]应该指出，以下详细说明都是例示性的，旨在对本专利技术提供进一步的说明。除非另
有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。
[0040]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0041]实施例1
[0042]本专利技术的一种实施例中提供了一种基于宽型金字塔的HER2图像分类方法，如图1所示，具体步骤包括：
[0043]步骤1：采集待分类HER2的IHC图像数据，并进行预处理；
[0044]步骤2：读取预处理后的IHC图像，将图像数字化，转化为RGB颜色空间的三维数值；
[0045]步骤3：获取图像的图像数字化信息，将获得的图像数字化信息输入至宽型金字塔神经网络，获取图像的多尺度特征图；
[0046]步骤4：再将图像的特征图输入分类器判断输入的IHC图像的类别。
[0047]进一步的，图像预处理主要是对图像进行裁剪(或缩放)和降噪处理。由于后续的图像读取对图像大小有限制本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于宽型金字塔的HER2图像分类方法，其特征在于，包括：采集待分类HER2的IHC图像数据，并进行预处理；读取预处理后的IHC图像，将图像数字化，转化为RGB颜色空间的三维数值；获取图像的图像数字化信息，将获得的图像数字化信息输入至宽型金字塔神经网络，获取图像的多尺度特征图；再将图像的特征图输入分类器判断输入的IHC图像的类别。2.如权利要求1所述的基于宽型金字塔的HER2图像分类方法，其特征在于，预处理包括对图像进行裁剪和降噪处理，所述降噪处理为将图像从RGB颜色空间转移到HSV颜色空间，然后调整H，S，V分量的范围值，最后将图像传输回RGB颜色空间。3.如权利要求1所述的基于宽型金字塔的HER2图像分类方法，其特征在于，所述宽型金字塔神经网络特征提取的结构为：第一层由两个卷积层和一个最大的池化层组成，第二层是卷积层和最大池化层，第三层是宽金字塔结构，在连续三层宽金字塔结构之后，再使用一个平均池化层。4.如权利要求1所述的基于宽型金字塔的HER2图像分类方法，其特征在于，宽金字塔结构的最大池化层提取纹理信息，平均池化层提取背景信息，使用最大池化层和平均池化层并行的方式，输出不同比例尺的特征图。5.如权利要求1所述的基于宽型金字塔的HER2图像分类方法，其特征在于，在进行分类时，使用一层神经元个数为1024的全连接层，并在运行时对全连接层的神经元节点进行随机丢弃处理，在全连接层后使用softmax层，将多个神经元的输出进行映射，进行多分类。6.基于宽型金字塔的...

【专利技术属性】
技术研发人员：赵盛荣，郑苑泽，梁虎，
申请(专利权)人：齐鲁工业大学，
类型：发明
国别省市：