基于深度学习检测甲状腺超声图像中结节的方法和装置制造方法及图纸

本公开提供了基于深度学习检测甲状腺超声图像中结节的方法，对甲状腺超声图像预处理操作；将预处理后的甲状腺超声图像特征提取，获取特征图像；将获取的特征图像分别输入至对应的分类与回归结构，获取针对每张特征图像中甲状腺结节区域的具体位置信息；对输入至对应的分类与回归结构中的特征图像计算所产生的分类损失、中心点距离回归损失以及偏移量损失，通过加权求和计算获取待训练模型的总体损失；对待训练模型进行训练以及测试操作。该方法提供了一种无需设置anchor box、高效的对甲状腺超声图像中结节区域进行检测的方法，避免与anchor box相关的计算与资源浪费、加快训练速度，增强实验结果泛化性能。本公开还提出基于深度学习检测甲状腺超声图像中结节的装置。

【技术实现步骤摘要】
基于深度学习检测甲状腺超声图像中结节的方法和装置
本公开涉及计算机生物学
，具体而言，涉及基于深度学习检测甲状腺超声图像中结节的方法和装置。
技术介绍
目前已有很多运用深度学习方法在医疗图像上进行辅助诊断的技术，针对甲状腺超声图像中甲状腺结节的辅助诊断，常用的深度学习方法可以分为两类：一种是基于区域候选网络的双阶段检测器，另一种是不基于区域候选网络的单阶段检测器。两种方法概括来说均需要以下步骤：首先获得超声图像经过卷积神经网络提取特征后的特征图；其次在特征图上设置锚点(anchor)和一定数量、尺寸的锚框(anchorbox)；最后进行锚框的位置回归算法以及类别划分算法，完成甲状腺超声图像中的结节检测。但是，现有技术方案中，具有以下两点缺点：(1)需要在实验前设置三种尺寸为64,128和256,三种比例为1:2,1:1和2:1的anchorbox，然而，由于实际情况中，输入甲状腺超声图像的尺寸不固定、图像内结节区域大小不一，anchorbox的尺寸、宽高比、个数等超参数会给实验结果带来很大的影响，在实际辅助诊断的过程中面临着巨大的考验。(2)为了给实验结果带来较高的召回率，在一张图像中往往会设置大量且密集的anchorbox，显而易见的是，每一张甲状腺超声图像中结节数量是极少的，往往是个位数，大量的anchorbox在训练阶段的类别划分时会带来极大的正负样本类别不均衡问题，并且在训练与测试阶段计算IoU时会加剧计算量且消耗内存资源。总体来说，现有技术会面临实验结果泛化性能不够好、模型训练过程缓慢、计算资源浪费等问题。
技术实现思路
为了解决现有技术中的技术问题，本公开实施例提供了基于深度学习检测甲状腺超声图像中结节的方法和装置，能够无需设置anchorbox，并且采用一种加快anchorbox回归的算法，最大限度的加快模型训练速度、增强实验结果泛化性能。第一方面，本公开实施例提供了基于深度学习检测甲状腺超声图像中结节的方法，所述方法包括：对甲状腺超声图像进行预处理操作；将预处理后的所述甲状腺超声图像进行特征提取，以获取特征图像；将获取的所述特征图像分别输入至对应的分类与回归结构，以获取针对每张所述特征图像中甲状腺结节区域的具体位置信息；对输入至对应的分类与回归结构中的所述特征图像计算所产生的分类损失、中心点距离回归损失以及偏移量损失，通过加权求和计算获取待训练模型的总体损失；对所述待训练模型进行训练以及测试操作。在其中一个实施例中，对甲状腺超声图像进行预处理操作包括：对所述甲状腺超声图像依次进行缩放、填充与归一化处理操作。在其中一个实施例中，将预处理后的所述甲状腺超声图像进行特征提取，以获取特征图像包括：将预处理后的所述甲状腺超声图像输入至特征提取网络进行特征提取，以获取多尺度的特征图；其中，所述特征提取网络由残差特征提取网络和多尺度特征融合网络构成。在其中一个实施例中，所述分类与回归结构由分类网络和回归网络构成。在其中一个实施例中，将获取的所述特征图像分别输入至对应的分类与回归结构，以获取针对每张所述特征图像中甲状腺结节区域的具体位置信息包括：所述特征图像经过多个卷积模块操作，提取到图像的深层分类特征；其中，每个卷积模块中包含卷积层、批归一化层、非线性激活函数；将深层分类特征经过感受野更大的卷积层，得到尺寸为W*H*1的张量；其中，所述特征图像中每个特征点预测为结节区域的分类置信度，W*H为所述特征图像的尺寸。在其中一个实施例中，还包括：所述分类特征经过偏移量分支执行卷积层操作，提取到图像的偏移量特征，得到所述特征图像中每个预测框至目标框中心点的偏移量预测值。在其中一个实施例中，对输入至对应的分类与回归结构中的所述特征图像计算所产生的分类损失、中心点距离回归损失以及偏移量损失，通过加权求和计算获取待训练模型的总体损失包括：对输入至对应的分类与回归结构中的所述特征图像通过第一预设公式计算所产生的分类损失；其中，所述第一预设公式为：Lcls＝-a(1-pred)2log(pred)其中，pred表示样本属于分类到正确类别的概率，正确样本为正样本时a＝0.75，正确样本为负样本时a＝0.25；再通过第二预设公式计算所产生的中心点距离回归损失；其中，所述第二预设公式为：其中，IoU表示目标框与预测框的交并比，c、cgt分别代表预测框和目标框的中心点，ρ表示两个矩形框中心点间的欧式距离，d为能够同时囊括预测框和目标框的最小矩形的对角线距离；再通过第三预设公式计算偏移量损失；其中，所述第三预设公式为：其中，公式中l*，t*，r*，b*分别表示预测框中心点至目标框坐标(xmin，ymin，xmax，ymax)的距离；最后通过第四预设公式对分类损失、中心点距离回归损失以及偏移量损失加权求和获取待训练模型的总体损失；其中，所述第四预设公式为：L＝λ1Lcls+λ2Lreg+λ3Lctr其中，公式中λ1＝1，λ2＝2.5，λ3＝1。第二方面，本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的方法的步骤。第三方面，本公开实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法的步骤。第四方面，本公开实施例提供了基于深度学习检测甲状腺超声图像中结节的装置，所述装置包括：预处理模块，用于对甲状腺超声图像进行预处理操作；特征提取模块，用于将预处理后的所述甲状腺超声图像进行特征提取，以获取特征图像；获取模块，用于将获取的所述特征图像分别输入至对应的分类与回归结构，以获取针对每张所述特征图像中甲状腺结节区域的具体位置信息；计算模块，用于对输入至对应的分类与回归结构中的所述特征图像计算所产生的分类损失、中心点距离回归损失以及偏移量损失，通过加权求和计算获取待训练模型的总体损失；训练与测试模块，用于对所述待训练模型进行训练以及测试操作。本专利技术提供的基于深度学习检测甲状腺超声图像中结节的方法和装置，对甲状腺超声图像进行预处理操作；将预处理后的所述甲状腺超声图像进行特征提取，以获取特征图像；将获取的所述特征图像分别输入至对应的分类与回归结构，以获取针对每张所述特征图像中甲状腺结节区域的具体位置信息；对输入至对应的分类与回归结构中的所述特征图像计算所产生的分类损失、中心点距离回归损失以及偏移量损失，通过加权求和计算获取待训练模型的总体损失；对所述待训练模型进行训练以及测试操作。该方法提供了一种无需设置anchorbox、高效的对甲状腺超声图像中结节区域进行检测的方法，可以避免与anchorbox相关的计算，同时避免资源浪费、加快训练速度，增强实验结果泛化性能；同时采用一种加快预测框位置回归的中心点距离回归算法，提高实验测试指标的同时，最大限度的加快模型训练速度；以及增加偏移量预测分支，在测试阶段表征预测框与目标框中心点的距离，帮助模型筛选正确的检测框，提高本文档来自技高网...

【技术保护点】
1.基于深度学习检测甲状腺超声图像中结节的方法，其特征在于，所述方法包括：/n对甲状腺超声图像进行预处理操作；/n将预处理后的所述甲状腺超声图像进行特征提取，以获取特征图像；/n将获取的所述特征图像分别输入至对应的分类与回归结构，以获取针对每张所述特征图像中甲状腺结节区域的具体位置信息；/n对输入至对应的分类与回归结构中的所述特征图像计算所产生的分类损失、中心点距离回归损失以及偏移量损失，通过加权求和计算获取待训练模型的总体损失；/n对所述待训练模型进行训练以及测试操作。/n

【技术特征摘要】
1.基于深度学习检测甲状腺超声图像中结节的方法，其特征在于，所述方法包括：
对甲状腺超声图像进行预处理操作；
将预处理后的所述甲状腺超声图像进行特征提取，以获取特征图像；
将获取的所述特征图像分别输入至对应的分类与回归结构，以获取针对每张所述特征图像中甲状腺结节区域的具体位置信息；
对输入至对应的分类与回归结构中的所述特征图像计算所产生的分类损失、中心点距离回归损失以及偏移量损失，通过加权求和计算获取待训练模型的总体损失；
对所述待训练模型进行训练以及测试操作。


2.根据权利要求1所述的基于深度学习检测甲状腺超声图像中结节的方法，其特征在于，对甲状腺超声图像进行预处理操作包括：对所述甲状腺超声图像依次进行缩放、填充与归一化处理操作。


3.根据权利要求1所述的基于深度学习检测甲状腺超声图像中结节的方法，其特征在于，将预处理后的所述甲状腺超声图像进行特征提取，以获取特征图像包括：将预处理后的所述甲状腺超声图像输入至特征提取网络进行特征提取，以获取多尺度的特征图；其中，所述特征提取网络由残差特征提取网络和多尺度特征融合网络构成。


4.根据权利要求1所述的基于深度学习检测甲状腺超声图像中结节的方法，其特征在于，所述分类与回归结构由分类网络和回归网络构成。


5.根据权利要求1所述的基于深度学习检测甲状腺超声图像中结节的方法，其特征在于，将获取的所述特征图像分别输入至对应的分类与回归结构，以获取针对每张所述特征图像中甲状腺结节区域的具体位置信息包括：
所述特征图像经过多个卷积模块操作，提取到图像的深层分类特征；其中，每个卷积模块中包含卷积层、批归一化层、非线性激活函数；
将深层分类特征经过感受野更大的卷积层，得到尺寸为W*H*1的张量；其中，所述特征图像中每个特征点预测为结节区域的分类置信度，W*H为所述特征图像的尺寸。


6.根据权利要求5所述的基于深度学习检测甲状腺超声图像中结节的方法，其特征在于，还包括：所述分类特征经过偏移量分支执行卷积层操作，提取到图像的偏移量特征，得到所述特征图像中每个预测框至目标框中心点的偏移量预测值。


7.根据权利要求1所述的基于深度学习检测甲状腺超声图像中结节的方法，其特征在于，对输入至对应的分类与回归结构中的所述特征图像计算所产生的分类损...

【专利技术属性】
技术研发人员：罗渝昆，谢芳，林科汝，陈东浩，张艳，田晓琦，张颖，王筱斐，叶丹，任改霞，李发根，欧阳勇春，
申请(专利权)人：中国人民解放军总医院第一医学中心，北京邮电大学，北京红云智胜科技有限公司，
类型：发明
国别省市：北京;11