基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统技术方案

本发明专利技术提供一种基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统，包括：甲状腺结节由粗到精的结节分类模块、甲状腺结节区域自动检测模块和甲状腺结节精分类模块；通过多尺度的特征融合的卷积神经网络提取不同感知区域的大小的特征，从而结合局部和全局的信息提取结节的上下文语义特征对甲状腺结节进行自动定位。本发明专利技术通过多尺度的由粗到精的神经网络的特征提取并通过设计金字塔结构的多尺度精分类AlexNet，能够准确的预测病灶的位置和良恶性发生的概率，可以辅助医生进行甲状腺病灶的诊断，提高诊断的客观性，具有实时性好，准确率高的特点。

【技术实现步骤摘要】
基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统
本专利技术涉及基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统，属于深度学习与辅助医疗领域。
技术介绍
在20世纪40年代，超声成像技术就开始在临床应用，在1962年，开始对甲状腺进行诊断。甲状腺超声成像技术能够为医生提供关于甲状腺的组织情况，已经成为现代医生首选的技术诊断手段。卷积神经网络技术自从上世纪八十年代起至今已经有了三十多年的研究历史，卷积神经网络最初应用于手写体的数字识别，在计算机视觉领域，人脸，物体等识别一直都是一个非常具有挑战性的研究热点。近几年来，随着互联网发展，大量数据集的获取不再是一个难题，12年，Alex利用卷积神经网络以超过第二名20％的优势获取了自然图像Imagenet比赛的冠军，此后卷积神经网络开始了新的时代，从物体识别，人脸识别，物体定位，语义分割等领域都以压倒性的优势刷新了排行榜。甲状腺的超生图像的识别此前一直依赖于有经验的医生的观察分析诊断，不仅耗时耗力，而且由于我国的医生资源不均衡，很难做到整体水平的提升。借助于卷积神经网络对于自然图像识别的优势，把有优质医疗资源转化为算法，对新的图像进行病灶的定位和识别，应用到甲状腺超声的识别上。此外，甲状腺超声的自动诊断对提高医生的工作效率有着重要的作用，具有广阔的应用前景和巨大的经济价值。然而，目前由于超生图像有着对比度低，边界不明显的特征，视觉差异小，对甲状腺的超声图像的研究还面临诸多挑战，因为这些现象背后蕴含着更为复杂的物理和视觉特征机制，要实现令人信服的仿真效果，需要多学科交叉理论和软硬件结合的高效算法设计作为支撑。
技术实现思路
本专利技术解决的技术问题是：克服了现有的甲状腺超声影像的诊断的不足，提供一种基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统，实现了甲状腺结节的自动定位和识别，可有效对甲状腺超声图像进行结节的定位和良恶性的判断。本专利技术采用的技术方案为：基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统，其特征在于包括：甲状腺结节由粗到精的结节分类模块、甲状腺结节区域自动检测模块和甲状腺结节精分类模块；其中：甲状腺结节由粗到精的结节分类模块：包括由粗到精的甲状腺超声图像结节的自动定位和分类法，所述自动定位和分类法包括两个阶段，第一个阶段为粗分类阶段，经过数据预处理过程，利用基于深度神经网络VGG的检测算法，首先提取通过由多尺度卷积神经所描述的语义特征，对可能的甲状腺结节进行定位和初步的粗分类，并给出候选框；第二阶段为根据候选框中的超声图像块，利用进一步提升的Alex网络在ImageNet数据集上训练自然图像的分类模型的参数模型在甲状腺结节的图像数据集上进行训练和迁移学习；训练之后通过模型参数提取特征向量，通过softmax函数得到每一类的概率值，以给出最终的结节的位置和良恶性的判断结果；甲状腺结节区域自动检测模块：包括训练和测试阶段，在训练阶段，通过基础网络和新增加的多尺度全卷积网络提取多尺度卷积特征，在检测过程中利用多个尺度的卷积核提取输入图像的多个尺度的特征和上下文语义信息，从而得到特征响应图，包括了结节预测框的坐标信息，同时进行分类训练，以预测位置和初步预测良恶性；同时，设计基于网格的候选区域选择机制，对图像块进行特征提取；图像块提取之后分别通过两个目标函数进行约束分别是分类的softmax函数，针对结节的位置，利用回归的L2范数进行约束，同时得到结节位置信息，保存训练好的网络参数；在测试阶段，首先对用户上传的图像进行预处理，然后输入到训练好的参数模型中；甲状腺超声图像精分类模块：根据自动检测模块得到的候选框的位置，对原始的超声图像进行截取相应位置的图像块，即把图像整体随机截取具有固定大小的子图，并把图像块输入到精分类神经网络中，精分类神经分类网络利用卷积操作提取多层特征的性质，参考甲状腺超声图像结节大小不固定的特征，在精分类神经网络的结构中引入金字塔空间结构，同时提取多尺度金子塔卷积特征，在多尺度金子塔卷积特征的基础上通过softmax函数估计良恶性的概率，给出属于良恶性结节的精分类结果。所述甲状腺结节超声图像由粗到精的结节分类模块的具体实现过程如下：(1)由数据预处理方法对原始采集的甲状腺超声图像进行数据预处理和数据增强，预处理包括对数据进行大小重置，数据增强对超声图像镜像映射，随机分块，把整体图像分割为不同的图像区域，来增加训练数据的量；(2)经过由粗到精两个阶段，在粗分类阶段，用于检测结节的由多尺度卷积神经VGG网络基础上的端到端自动检测网络模型所描述的语义特征，同时通过检测甲状腺结节区域的同时判断其良恶性，得到甲状腺结节的候选框和粗分类的结果对可能的甲状腺结节进行定位和初步的粗分类；(3)在精分类阶段，对原始的标注数据进行数据预处理和数据增强之后，根据候选框中的超声图像块，通过重新设计的AlexNet神经网络对候选框中的图形进行进一步分类得到确定的良恶性判断结果，利用进一步提升的Alex网络，提出了针对甲状腺的超声结节的多尺度的金字塔卷积神经网络，并在ImageNet数据集上训练自然图像的分类模型的参数模型在甲状腺结节的图像数据集上进行训练。训练之后通过模型参数提取特征向量，通过softmax函数得到每一类的概率值，以给出最终的结节的位置和良恶性的判断结果。所述甲状腺结节区域自动检测模块具体实现如下：在训练阶段，(1)首先通提取多尺度卷积核特征，具体是利用VGG-16卷积神经网络作为基础网络特征提取，然后增加了三个尺度的全卷积层，其中卷积核的大小为1，3，5，7来进一步提取不同尺度的特征和空间的上下文语义信息，从而得到特征响应图，包括了结节预测框的坐标信息，同时进行分类训练，以预测位置和初步预测良恶性；(2)设计基于网格的候选区域选择机制，基于整体图像进行特征提取之后，在全卷积层之后设计增加多个固定比例大小图像块，根据图像块大小把同一个图像平均分为不同比例的小图像块，并进一步针对框里的图像块进行特征提取；(3)图像块提取之后分别通过两个目标函数进行约束分别是分类的softmax函数，输入是探针框经过卷积层之后的Featuremaps，输出是成良恶性的概率；同时，针对结节的位置，利用回归的L2范数进行约束，同时得到结节位置信息，保存训练好的网络参数；(4)在测试阶段，首先对用户上传的图像进行预处理，然后输入到训练好的参数模型中。所述甲状腺超声图像精分类模块具体实现如下：(1)首先对原始的标注数据进行数据预处理和数据增强，其中，数据预处理包括对数据进行大小归一化，和分布的归一化，使其分布属于正态分布，均值为0，方差为1；(2)然后通过前五层的Alexnet进行特征提取初步提取甲状腺超声图像的特征；(3)在第六层，提出了针对甲状腺的超声结节的多尺度的金字塔卷积神经网络，在第五层输入之后，把所有的通道分裂为三个通道，并列提取不同的卷积核的大小的特征，分威威1，3，5，7空间金字塔结构，最后合并为同一个通道；(4)合并之后，通过利用分类约束的目标函数softmax进行约束，并在ImageNet数据集上训练自然图像的分类模型的参数模型在甲状腺结节的图像数据集上进行训练。同时利用反向传播算法进行梯度下降，得到每一类的概率值，以给出最终的结节的本文档来自技高网...

【技术保护点】
基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统，其特征在于：包括甲状腺结节由粗到精的结节分类模块、甲状腺结节区域自动检测模块和甲状腺结节精分类模块；其中：甲状腺结节由粗到精的结节分类模块：包括由粗到精的甲状腺超声图像结节的自动定位和分类法，所述自动定位和分类法包括两个阶段，第一个阶段为粗分类阶段，经过数据预处理过程，利用基于深度神经网络VGG的检测算法，首先提取通过由多尺度卷积神经所描述的语义特征，对可能的甲状腺结节进行定位和初步的粗分类，并给出候选框；第二阶段为根据候选框中的超声图像块，利用进一步提升的Alex网络在ImageNet数据集上训练自然图像的分类模型的参数模型在甲状腺结节的图像数据集上进行训练和迁移学习；训练之后通过模型参数提取特征向量，通过softmax函数得到每一类的概率值，以给出最终的结节的位置和良恶性的判断结果；甲状腺结节区域自动检测模块：包括训练和测试阶段，在训练阶段，通过基础网络和新增加的多尺度全卷积网络提取多尺度卷积特征，在检测过程中利用多个尺度的卷积核提取输入图像的多个尺度的特征和上下文语义信息，从而得到特征响应图，包括了结节预测框的坐标信息，同时进行分类训练，以预测位置和初步预测良恶性；同时，设计基于网格的候选区域选择机制，对图像块进行特征提取；图像块提取之后分别通过两个目标函数进行约束分别是分类的softmax函数，针对结节的位置，利用回归的L2范数进行约束，同时得到结节位置信息，保存训练好的网络参数；在测试阶段，首先对用户上传的图像进行预处理，然后输入到训练好的参数模型中；甲状腺超声图像精分类模块：根据自动检测模块得到的候选框的位置，对原始的超声图像进行截取相应位置的图像块，即把图像整体随机截取具有固定大小的子图，并把图像块输入到精分类神经网络中，精分类神经分类网络利用卷积操作提取多层特征的性质，参考甲状腺超声图像结节大小不固定的特征，在精分类神经网络的结构中引入金字塔空间结构，同时提取多尺度金子塔卷积特征，在多尺度金子塔卷积特征的基础上通过softmax函数估计良恶性的概率，给出属于良恶性结节的精分类结果。...

【技术特征摘要】
1.基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统，其特征在于：包括甲状腺结节由粗到精的结节分类模块、甲状腺结节区域自动检测模块和甲状腺结节精分类模块；其中：甲状腺结节由粗到精的结节分类模块：包括由粗到精的甲状腺超声图像结节的自动定位和分类法，所述自动定位和分类法包括两个阶段，第一个阶段为粗分类阶段，经过数据预处理过程，利用基于深度神经网络VGG的检测算法，首先提取通过由多尺度卷积神经所描述的语义特征，对可能的甲状腺结节进行定位和初步的粗分类，并给出候选框；第二阶段为根据候选框中的超声图像块，利用进一步提升的Alex网络在ImageNet数据集上训练自然图像的分类模型的参数模型在甲状腺结节的图像数据集上进行训练和迁移学习；训练之后通过模型参数提取特征向量，通过softmax函数得到每一类的概率值，以给出最终的结节的位置和良恶性的判断结果；甲状腺结节区域自动检测模块：包括训练和测试阶段，在训练阶段，通过基础网络和新增加的多尺度全卷积网络提取多尺度卷积特征，在检测过程中利用多个尺度的卷积核提取输入图像的多个尺度的特征和上下文语义信息，从而得到特征响应图，包括了结节预测框的坐标信息，同时进行分类训练，以预测位置和初步预测良恶性；同时，设计基于网格的候选区域选择机制，对图像块进行特征提取；图像块提取之后分别通过两个目标函数进行约束分别是分类的softmax函数，针对结节的位置，利用回归的L2范数进行约束，同时得到结节位置信息，保存训练好的网络参数；在测试阶段，首先对用户上传的图像进行预处理，然后输入到训练好的参数模型中；甲状腺超声图像精分类模块：根据自动检测模块得到的候选框的位置，对原始的超声图像进行截取相应位置的图像块，即把图像整体随机截取具有固定大小的子图，并把图像块输入到精分类神经网络中，精分类神经分类网络利用卷积操作提取多层特征的性质，参考甲状腺超声图像结节大小不固定的特征，在精分类神经网络的结构中引入金字塔空间结构，同时提取多尺度金子塔卷积特征，在多尺度金子塔卷积特征的基础上通过softmax函数估计良恶性的概率，给出属于良恶性结节的精分类结果。2.根据权利要求1所述的基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统，其特征在于：所述甲状腺结节超声图像由粗到精的结节分类模块的具体实现过程如下：(1)由数据预处理方法对原始采集的甲状腺超声图像进行数据预处理和数据增强，预处理包括对数据进行大小重置，数据增强对超声图像镜像映射，随机分块，把整体图像分割为不同的图像区域，来增加训练数据的量；(2)经过由粗到精两个阶段，在粗分类阶段，用于检测结节的由多尺度卷积神经VGG网络基础上的端到端自动检测网络模型所描述的语义特征，同时通过检测甲状腺结节区域的同时判断其良恶性，得到甲状腺结节的候选框和粗分...

【专利技术属性】
技术研发人员：李帅，宋文凤，刘吉，郝爱民，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11