基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法技术

本发明专利技术公开了一种基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法，通过建立新颖的跨层空洞卷积网络结构、稀疏约束网络、分离稀疏空洞卷积层、带自适应权重调节和稀疏约束的损失函数，克服了现有方法对甲状腺结节超声图像结节区域语义分辨能力差，结节区域语义特征提取易受相似背景干扰问题，解决了深度学习网络在前向传播步骤中因感受野扩张能力有限而导致的甲状腺结节超声图像语义概率热图提取效果不佳等问题。

【技术实现步骤摘要】
基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法
本专利技术涉及超声医学图像信息处理领域，尤其涉及一种基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法。
技术介绍
甲状腺结节是一种临床上常见的病变，其中大部分为良性结节，部分为恶性甲状腺癌。超声检查是甲状腺结节的首选诊断方式，如何利用计算机和图像处理方法，准确提取超声图像中结节区域的语义概率热图，是甲状腺结节定位、识别、分割、良恶性判别和结节自动分级等应用的基础。目前，基于深度卷积神经网络的方法是一种有效的语义概率热图提取方法，该方法首先定义深度学习网络结构和相应损失函数，并最小化所述损失函数来驱动网络各层参数迭代优化，待损失函数收敛后，通过网络前向传播获取语义概率热图，进而基于热图对结节进行分割、定位和良恶性判别等处理。传统深度卷积神经网络方法对于结节形状比较清晰完整的情况具有较好的语义概率热图提取效果。然而，当甲状腺结节与周围背景相似或者结节内部灰度值分布变化较大时，因传统深度卷积神经网在前向传播步骤中感受野扩张能力不强，导致网络识别能力受限，输出结果对于甲状腺结节超声图像语义提取效果不佳。
技术实现思路
本专利技术要解决的问题是提供一种基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法，以解决现有深度学习网络甲状腺结节超声图像语义提取效果不佳的问题。本专利技术通过如下技术方案解决其技术问题：一种基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法，包括以下步骤：S1：采集含有甲状腺结节的超声原始图像，基于采集的超声原始图像建立图像训练集、验证集和测试集，并对各个图像集合中的甲状腺结节进行勾画；S2：建立图像预处理模块，对输入的超声原始图像进行预处理；S3：构建深度学习基础编码网络模块和深度学习基础解码网络模块，对图像预处理模块预处理后的图像依次进行编码和解码；S4：构建跨层空洞卷积网络模块，针对所述基础编码网络模块中深度学习网络的不同层次输出跨层空洞卷积特征图；S5：构建归一化堆叠层模块，对跨层空洞卷积网络模块输出的跨层空洞卷积特征图进行特征图归一化堆叠操作；S6：建立特征图稀疏约束网络模块，对归一化堆叠后的跨层空洞卷积特征图进行稀疏约束；S7：建立堆叠层模块，将所述基础解码网络模块和稀疏约束网络模块输出的特征图进行堆叠；S8：建立语义概率热图输出网络模块，基于堆叠层模块的输出结果计算输出语义概率热图；S9：建立联合约束损失函数，结合图像训练集中的甲状腺结节勾画结果训练各个模块，训练完成后固化各个模块的网络参数形成完整模型；S10：使用所述完整模型对新输入的甲状腺结节超声图像进行处理，获取结节语义概率热图。进一步的，步骤S2中，对输入的超声原始图像进行预处理具体包括：S21、对输入的超声原始图像进行中值滤波，降低超声图像斑点噪声的影响；S22、对进行中值滤波后的图像执行直方图均衡操作，降低像素灰度直方图分布偏差对模型的影响。进一步的，步骤S3中，构建的深度学习基础编码网络模块包括11层网络，网络内部层编号为第1至11层；各层网络串行排布，其中第1、3、4、6、7、9、10层为卷积层，2、5、8、11层为池化层；所有卷积层卷积核大小为3x3，步长为1；所有池化层均使用最大值池化，池化尺寸为2x2，步长为2；所有卷积层激活函数均使用ReLU函数。进一步的，步骤S3中，构建的深度学习基础解码网络模块包括8层网络，网络内部层编号为第12至19层；各层网络串行排布，其中第12、14、16、18层为反卷积层，第13、15、17、19层为卷积层；所有反卷积层卷积核大小为3x3，步长为1，反卷积输入特征图长和宽均匀插值为原来的2倍，插值位置填入数值0；所有卷积层的卷积核大小为3x3，步长为1，所有卷积层和反卷积层激活函数均使用ReLU函数。进一步的，步骤S4具体包括：针对所述基础编码网络模块中的第1、4、7、10层网络的输出构建4组跨层空洞卷积网络模块结构，各跨层空洞卷积网络模块之间为并行排布；其中第一组跨层空洞卷积网络模块网络内部层编号为第20、21、22层；第二组跨层空洞卷积网络模块网络内部层编号为第23、24、25层；第三组跨层空洞卷积网络模块网络内部层编号为第26、27、28层；第四组跨层空洞卷积网络模块网络内部层编号为第29、30、31层；每个跨层空洞卷积网络模块内部的3层网络串行排布，具体顺序为1个卷积核为3x3的卷积层，1个卷积核为3x3且膨胀率为2的空洞卷积层，以及1个卷积核为3x3且膨胀率为5的空洞卷积层；所有卷积层和空洞卷积层步长为1，激活函数使用ReLU函数。进一步的，步骤S5具体包括：建立归一化堆叠层模块汇总来自4组跨层空洞卷积网络模块的输出，所述归一化堆叠层模块的网络层编号为第32层；其中，第一组跨层空洞卷积网络模块第22层输出特征保持原分辨率不变，并加入第32层归一化堆叠层；对第二组跨层空洞卷积网络模块第25层输出特征图的长、宽分别上采样为原图2倍，并加入第32层归一化堆叠层；对第三组跨层空洞卷积网络模块第28层输出特征图长、宽分别上采样为原图4倍，并加入第32层归一化堆叠层；对第四组跨层空洞卷积网络模块第31层输出特征图长、宽分别上采样为原图8倍，并加入第32层归一化堆叠层。进一步的，步骤S6中，建立的特征图稀疏约束网络模块包含3层网络，网络层编号为第33、34、35层；其中，第33层和35层为卷积核为3x3，步长为1的卷积层，激活函数使用ReLU函数；第34层为一分离稀疏空洞卷积层，该层的卷积核为3x3且膨胀率为2的空洞卷积核，激活函数使用ReLU函数，卷积方式为：假设输入卷积特征图含有层子图，对于每个子特征图进行分离稀疏约束空洞卷积，具体计算公式如下：其中，z表示带有分离稀疏约束的空洞卷积计算结果，c表示第c个通道的子特征图，p表示网络第p层，表示卷积核，分别表示二维横纵坐标，r表示空洞膨胀率，b表示偏移量，表示稀疏系数，表示第c个通道的稀疏系数，表示稀疏度约束参数。进一步的，步骤S7中，建立的堆叠层模块中的堆叠层网络编号为第36层；其中堆叠的特征图第1至128层子图为基础解码网络模块输出的特征图，第129至256层子图为稀疏约束网络模块输出的特征图；步骤S8中，建立的语义概率热图输出网络模块包括3层网络，网络内部层编号为第37至39层；其中第37、38层为卷积层，且卷积层卷积核大小为3x3，步长为1，激活函数使用ReLU函数，第39层为soft-max层。进一步的，步骤S9具体包括：基于soft-max交叉熵构建一种带自适应权重调节和稀疏约束的联合约束损失函数，并结合训练集结节语义勾画结果训练网络；其中，自适应权重调节函数计算公式为：其中,表示某一训练图像中勾画区域的面积，分别是用于调节函数加权强度和幂次强度的固定参数，为训练集所有图像中勾画区域面积均值，计算公式为：其中，为第个训练样本勾画区域的面积；所述联合约束损失函本文档来自技高网...

【技术保护点】
1.一种基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法，其特征在于包括以下步骤：/nS1：采集含有甲状腺结节的超声原始图像，基于采集的超声原始图像建立图像训练集、验证集和测试集，并对各个图像集合中的甲状腺结节进行勾画；/nS2：建立图像预处理模块，对输入的超声原始图像进行预处理；/nS3：构建深度学习基础编码网络模块和深度学习基础解码网络模块，对图像预处理模块预处理后的图像依次进行编码和解码；/nS4：构建跨层空洞卷积网络模块，针对所述基础编码网络模块中深度学习网络的不同层次输出跨层空洞卷积特征图；/nS5：构建归一化堆叠层模块，对跨层空洞卷积网络模块输出的跨层空洞卷积特征图进行特征图归一化堆叠操作；/nS6：建立特征图稀疏约束网络模块，对归一化堆叠后的跨层空洞卷积特征图进行稀疏约束；/nS7：建立堆叠层模块，将所述基础解码网络模块和稀疏约束网络模块输出的特征图进行堆叠；/nS8：建立语义概率热图输出网络模块，基于堆叠层模块的输出结果计算输出语义概率热图；/nS9：建立联合约束损失函数，结合图像训练集中的甲状腺结节勾画结果训练各个模块，训练完成后固化各个模块的网络参数形成完整模型；/nS10：使用所述完整模型对新输入的甲状腺结节超声图像进行处理，获取结节语义概率热图。/n...

【技术特征摘要】
1.一种基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法，其特征在于包括以下步骤：
S1：采集含有甲状腺结节的超声原始图像，基于采集的超声原始图像建立图像训练集、验证集和测试集，并对各个图像集合中的甲状腺结节进行勾画；
S2：建立图像预处理模块，对输入的超声原始图像进行预处理；
S3：构建深度学习基础编码网络模块和深度学习基础解码网络模块，对图像预处理模块预处理后的图像依次进行编码和解码；
S4：构建跨层空洞卷积网络模块，针对所述基础编码网络模块中深度学习网络的不同层次输出跨层空洞卷积特征图；
S5：构建归一化堆叠层模块，对跨层空洞卷积网络模块输出的跨层空洞卷积特征图进行特征图归一化堆叠操作；
S6：建立特征图稀疏约束网络模块，对归一化堆叠后的跨层空洞卷积特征图进行稀疏约束；
S7：建立堆叠层模块，将所述基础解码网络模块和稀疏约束网络模块输出的特征图进行堆叠；
S8：建立语义概率热图输出网络模块，基于堆叠层模块的输出结果计算输出语义概率热图；
S9：建立联合约束损失函数，结合图像训练集中的甲状腺结节勾画结果训练各个模块，训练完成后固化各个模块的网络参数形成完整模型；
S10：使用所述完整模型对新输入的甲状腺结节超声图像进行处理，获取结节语义概率热图。


2.如权利要求1所述的方法，其特征在于，步骤S2中，对输入的超声原始图像进行预处理具体包括：
S21、对输入的超声原始图像进行中值滤波，降低超声图像斑点噪声的影响；
S22、对进行中值滤波后的图像执行直方图均衡操作，降低像素灰度直方图分布偏差对模型的影响。


3.如权利要求1所述的方法，其特征在于，步骤S3中，构建的深度学习基础编码网络模块包括11层网络，网络内部层编号为第1至11层；各层网络串行排布，其中第1、3、4、6、7、9、10层为卷积层，2、5、8、11层为池化层；所有卷积层卷积核大小为3x3，步长为1；所有池化层均使用最大值池化，池化尺寸为2x2，步长为2；所有卷积层激活函数均使用ReLU函数。


4.如权利要求3所述的方法，其特征在于，步骤S3中，构建的深度学习基础解码网络模块包括8层网络，网络内部层编号为第12至19层；各层网络串行排布，其中第12、14、16、18层为反卷积层，第13、15、17、19层为卷积层；所有反卷积层卷积核大小为3x3，步长为1，反卷积输入特征图长和宽均匀插值为原来的2倍，插值位置填入数值0；所有卷积层的卷积核大小为3x3，步长为1，所有卷积层和反卷积层激活函数均使用ReLU函数。


5.如权利要求4所述的方法，其特征在于，步骤S4具体包括：针对所述基础编码网络模块中的第1、4、7、10层网络的输出构建4组跨层空洞卷积网络模块结构，各跨层空洞卷积网络模块之间为并行排布；其中第一组跨层空洞卷积网络模块网络内部层编号为第20、21、22层；第二组跨层空洞卷积网络模块网络内部层编号为第23、24、25层；第三组跨层空洞卷积网络模块网络内部层编号为第26、27、28层；第四组跨层空洞卷积网络模块网络内部层编号为第29、30、31层；每个跨层空洞卷积网络模块内部的3层网络串行排布，具体顺序为1个卷积核为3x3的卷积层，1个卷积核为3x3且膨胀率为2的空洞卷...

【专利技术属性】
技术研发人员：姚劲草，徐栋，欧笛，李伟，杨琛，汪丽菁，王立平，周玲燕，朱乔丹，张含芝，张小，
申请(专利权)人：浙江省肿瘤医院浙江省癌症中心，
类型：发明
国别省市：浙江;33