一种乳腺超声图像肿瘤分割方法技术

本发明专利技术公开了一种乳腺超声图像肿瘤分割方法，包括乳腺超声图像数据预处理、构建深度神经网络模型、定义损失函数、模型训练及结果生成。在数据预处理中，使用先镜像填充，后裁剪的方式既不会改变乳腺肿瘤的形态，又可以得到符合尺寸要求的乳腺超声图像。在构建深度神经网络模型步骤中，整体上遵循了UNet模型的设计模式。本发明专利技术使用ResNet18作为整个网络的编码器，因此具有更强的特征提取能力，从而能够获得更高的精度。在模型解码器部分使用了深监督技术来监督各层的学习，添加了SENet的逐通道加权模块；本发明专利技术除了能消除错误分割和分割边界不连续的问题之外，还能精准地捕捉肿瘤边界。界。界。

【技术实现步骤摘要】
一种乳腺超声图像肿瘤分割方法


[0001]本专利技术属于深度学习
，是一种有效的乳腺超声图像肿瘤分割新方法。

技术介绍

[0002]深度学习已成为当前人工智能的热点，深度学习技术是最近发展很快的一种机器学习技术，它以深层人工神经网络为模型，借助强大的硬件、海量的数据以及优化算法实现高性能学习。深层卷积神经网络(Deep CNN)目前已经在很多计算机视觉任务上取得了非常好的成绩，比如目标分类、目标检测、目标分割等，并在多个领域大幅超越传统机器学习和人工智能技术。
[0003]乳腺癌是女性最常见的死亡原因之一，在早期阶段，乳腺钼靶这样的X线摄影检查可以发现肿瘤，但其对致密性乳腺缺乏良好的判断能力，且带有一定的放射性，对孕妇等群体会带来伤害。相比之下，乳腺超声技术具有容易获取，无辐射，设备和诊疗费用低等优点，使它成为一种有效且通用的检测手段。然而，超声乳腺图像往往存在噪声较多、灰度不均匀以及肿瘤形状复杂多变等特性，极大增加了超声图像分割和分类的难度。
[0004]近几年来，有些学者提出了不同的乳腺超声图像分割方法，比如主动轮廓模型、基于图的算法等，这类非深度学习方法往往需要人为参与分割过程，带有一定的主观性；再比如UNet、Attention
‑
UNet、UNet++等模型，这类深度学习方法以端到端的训练方式，避免了人为参与，但往往存在错分割、欠分割及分割边界不连续等缺点。

技术实现思路

[0005]针对现有技术中存在的上述问题，本专利技术提出一种有效的乳腺超声图像肿瘤分割新方法。本专利技术的技术方案是：首先，本专利技术中的神经网络模型整体上遵循了UNet模型的设计模式。区别在于，不同于UNet原有的编码器，使用ResNet18作为整个网络的编码器，因此具有更强的特征提取能力，从而能够获得更高的精度。此外，在模型解码器部分使用了深监督技术来监督各层的学习，从而加速了模型的收敛。而且，添加了SENet的逐通道加权模块，通过引入这样的注意力机制，能够自动平衡高阶编码特征对分割结果的不同影响，使得模型能够更准确的捕捉超声图像中的肿瘤边界，带来更高的分割精度。
[0006]本专利技术所采用的技术方案是：
[0007]一种有效的乳腺超声图像肿瘤分割方法，包括以下步骤：乳腺超声图像数据预处理、深度神经网络模型构建、模型训练及结果生成。
[0008]步骤1，乳腺超声图像数据预处理：对于样本量比较少的数据集，需要进行数据增强，包括翻转、旋转等。对图像数量少，图像尺寸大小不一的乳腺超声数据集中的超声图像进行尺寸变换时，尤其是长宽比很大的图像，直接采用插值调整尺寸的方式不利于神经网络的学习，因为这种插值调整尺寸的方式会过分拉扯图像中肿瘤形态，这种过分拉扯后的肿瘤形态在现实场景中是不一定存在的。换句话说，这种过分拉扯后形成的肿瘤形态不符合真实乳腺超声数据分布，由此扩大了训练集与测试集之间的差距，导致模型方差增大，最
终导致测试集上的误差相对于训练集上的误差有一个巨大增量，测试集损失居高不下。根据人体乳腺组织的物理特性，使用非刚性形变这类的数据增强方式应当是合理可行的，但是如果相关参数设置不当，也会出现上述问题。使用数据增强方式是首先判断原图像A高度是否低于设置的高度阈值(本专利技术为448)，如果否，暂不作处理，如果是，则将原图像A向上做镜像翻转并拼接于原图像A上部，将原图像A向下做镜像翻转并拼接于原图像A下部，得到满足高度要求的图像B，然后判断图像B的宽度是否低于设置的宽度阈值(本专利技术为512)，如果是，则分别对图像B做左右镜像翻转并拼接于左右两边，得到满足高度和宽度要求的图像C，最后对图像C做中心裁剪，得到满足尺寸要求的图像(本专利技术为448x448)。乳腺肿瘤基本处于图像中心位置，使用这种尺寸调整方式不会改变肿瘤形态。
[0009]步骤2，构建神经网络模型：步骤1中的乳腺超声图像处理完毕后要输入到该步骤设计的神经网络中。按照UNet的设计架构，通过逐步增强的方式搭建神经网络。
[0010]步骤2.1，引入ResNet18作为UNet架构中的编码器，ResNet18包含卷积层和全连接层共计18层，舍去最后的全连接层。ResNet的恒等映射结构能够训练极深的神经网络，解决精度降低和梯度消失的问题，从而提高模型的特征提取能力。ResNet18的初始化参数为其在ImageNet上的预训练参数。
[0011]步骤2.2，在步骤2.1的基础上使用深监督方法，为解码器中的四层新添加辅助分支，每一个新添加的辅助分支由3个卷积层构成，新添加的辅助分支能够在训练时起到一种判断隐藏层特征图质量好坏的作用，从而为模型的收敛指引方向。
[0012]步骤2.3，在步骤2.2的基础上，在模型编码器的最高语义层添加SENet注意力模块，注意力模块可提升模型对通道特征的敏感性，通过对通道加权，强调与肿瘤相关的有效信息，抑制与肿瘤无关的无效信息，使得模型对肿瘤边缘的处理更加准确。
[0013]步骤3，确定损失函数。乳腺超声图像数据集存在类别不平衡问题，即在一张乳腺超声图像中，肿瘤的像素数非常少，绝大部分是背景像素。交叉熵损失函数可以解决输出不平衡问题，即假正例(False Positives)和假负例的问题，但不能有效应对类别不平衡的问题，Dice损失函数可以解决类别不平衡的问题，但不能有效应对输出不平衡问题。所以，针对乳腺超声图像数据集的特点，将交叉熵损失函数和Dice损失函数进行组合，损失函数定义如下：
[0014]模型最终输出的损失函数定义为：
[0015][0016]第i层深监督的损失函数定义为：
[0017][0018]总损失定义为：
[0019][0020]其中，表示模型最终的分割预测输出，y表示真实分割标记，i表示深监督分支索引，表示第i个深监督分支的输出，binary_cross_entropy表示二元交叉熵损失，dice_loss表示Dice损失。
[0021]步骤4，网络训练：乳腺超声图像预处理后输入到步骤2设计的神经网络，会得到神经网络的预测输出，将此输出与乳腺超声图像对应的真实标记利用步骤3设计的损失函数
计算出损失，然后利用神经网络反向传播优化算法，通过不断的输入
‑
输出
‑
计算误差
‑
反向传播误差的优化过程，对模型进行训练直至其收敛。
[0022]步骤5，结果生成：对测试数据，使用训练好分割模型进行分割，得到分割结果。
[0023]与现有技术相比，本专利技术具有以下优点：
[0024](1)在对一般的自然图像进行放缩时，使用线性插值是合理的。但对于乳腺超声图像，特别是具有较大长宽比的乳腺超声图像，简单的线性插值是不合理的，容易造成肿瘤畸变，不利用模型的训练及泛化。本专利技术使用先镜像填充后裁剪的方式，既可以维持肿瘤的形态，又可以得到符合尺寸要求的超声图像，有利于模型的训练，提高模型的泛化能力。
[0025](2)乳腺超声图像噪声多、纹理模糊不清且灰度分布本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种有效的乳腺超声图像肿瘤分割新方法，其特征在于，包括以下步骤：步骤一、获取乳腺超声图像数据集，并进行数据预处理；步骤二、使用Pytorch深度学习框架，搭建神经网络模型；步骤三、定义损失函数；步骤四、利用预处理后的乳腺超声图像及定义的损失函数对神经网络模型进行训练；步骤五、使用步骤四训练好的神经网络模型对测试数据进行肿瘤分割，得到分割结果。2.根据权利要求1所述的一种有效的乳腺超声图像肿瘤分割新方法，其特征在于，在步骤一中，首先对获取的乳腺超声图像进行镜像填充，具体地，首先判断原图像A高度是否低于设置的高度阈值448，如果否，暂不作处理，如果是，则将原图像A向上做镜像翻转并拼接于原图像A上部，将原图像A向下做镜像翻转并拼接于原图像A下部，得到满足高度要求的图像B，然后判断图像B的宽度是否低于设置的宽度阈值512，如果是，则分别对图像B做左右镜像翻转并拼接于左右两边，得到满足高度和宽度要求的图像C，最后对图像C做中心裁剪，得到满足尺寸要求448x448的图像；裁剪之后，随机使用水平翻转、垂直翻转、旋转以及转置数据增强方式，并且像素值标准化到[0，1]之间。3.根据权利要求1所述的一种有效的乳腺超声图像肿瘤分割新方法，其特征在于，在步骤二中，按照UNet的设计架构，通过逐步增强的方式搭建神经网络，具体包括以下步骤：步骤12、引入ResNet1...

【专利技术属性】
技术研发人员：杨新武，游桂增，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：