一种基于医学图像的结节检测方法、装置及电子设备制造方法及图纸

一种基于医学图像的结节检测方法，该方法以基于医学图像的图像序列作为输入，通过粗检测网络对候选结节进行定位并输出第一预测分数；以经粗检测网络定位的候选结节所对应的图像序列，通过假阳性抑制网络进行分类训练，得到待定结节及其第二预测分数；构建待定结节的单个特征，基于多个所述待定结节的单个特征构建全局特征，将所述单个特征及所述全局特征拼接为融合特征，进行回归训练后输出第三预测分数，完成结节检测结果。解决了现有技术中针对磨玻璃结节及特殊位置的效果不佳的问题。

【技术实现步骤摘要】
一种基于医学图像的结节检测方法、装置及电子设备
本专利技术涉及计算机
，特别涉及一种基于医学图像的结节检测方法和装置、计算机可读存储介质以及电子设备。
技术介绍
肺癌是当今对人类生命健康威胁最大的恶性肿瘤之一。肺癌早期诊断与治疗能够可将病人的五年生存率从14％上升到49％，因此，尽早的对肺癌进行检测和诊断是提升患者生存几率的关键。通说认为，结节是癌症最重要的早期征象之一，根据结节的病变特征能够推断出病灶特性，而CT检查对肺结节被认为是发现和诊断肺结节最佳的诊断工具。由于结节的大小、形状以及密度等特征的不确定性，传统的人工识别在工作量以及精度均难以满足检测要求。对计算机辅助检测(ComputerAidedDetection，CAD)的需求变得迫切。早期，研究者主要通过人工提取特征，然后使用各种机器学习方法对特征化向量进行分类。然而，人工提取的特征表达能力低，还需要额外的预处理以降低无关区域的影响，使得无法应用于实际环境。近年来，随着人工智能和深度学习算法的发展，医疗诊断中的图像处理也越来越多的涉足其中，受以CNN为代表的深度神经网络在图像分类任务上的突破影响，研究者开始尝试使用CNN从原始CT图像中提取特征，能够更客观的表征图像自身的特性，渐渐成为结节检测方法的主流。目前基于肺部CT影像的肺结节常规检测算法，对孤立性肺结节的检测上表现良好，但是对于处于特殊位置的结节以及磨玻璃影等类型结节的检出效果并不理想。孤立性肺结节边界清晰且位置明显，较易检出；肺门区结节因与血管、支气管、淋巴结组织混杂，容易产生假阳性判定。而对于另一类别的肺结节，如以磨玻璃影为主要特点的磨玻璃结节(GGN)，利用常规检测算法检测效果较差。从组织病理学的角度看，GGN的出现多提示病变仍处于早期、活动期或进展期，因此及时、正确地判定GGN其形态和性质对指导治疗十分重要。另一方面，肺结节种类繁多、形态各异，肺内其它部分组织例如血管增粗也会呈现类球形，与肺结节在CT影像中的呈现状态相似，也为检测算法应解决的难点之一。目前常用的一些以深度学习CAD方法中，例如对原始CT图像做目标提取，之后采用基于区域的卷积神经网络(Region-basedConvolutionalNeuralNetwork，RCNN)系列进行目标检测的算法等，普遍存在的问题是目标检测易被大量负样本影响，在应对磨玻璃结节与其它类似形态组织的分类时，对假阳性的结果抑制效果不佳,检测位于特殊位置的结界时效果不佳。如何解决上述检测算法中所面临的问题，对于充分利用医疗资源、缓解医生诊断压力有着重大意义。
技术实现思路
针对现为了解决相关技术中针对磨玻璃结节及特殊位置的效果不佳的问题，本专利技术提出一种基于医学图像的结节检测方法，主要包括以下三个阶段：S1.粗检测阶段，以基于医学图像的图像序列作为输入，通过粗检测网络对候选结节进行定位并输出第一预测分数；S2假阳性抑制阶段以经粗检测网络定位的候选结节所对应的图像序列，通过假阳性抑制网络进行分类训练，得到待定结节及其第二预测分数；S3全局判定阶段，构建待定结节的单个特征，基于多个所述待定结节的单个特征构建全局特征，将所述单个特征及所述全局特征拼接为融合特征，进行回归训练后输出第三预测分数，完成结节检测；其中所述待定结节的单个特征以其在假阳性抑制网络的特征参数，结合人工特征而构建。其中，在粗检测阶段，为了整合多尺度信息而采用特征金字塔网络。特征金字塔网络浅层网络输出的特征图包含了更多的几何信息，目标位置更准确；深层网络的特征图包含更多语义信息，但尺寸较小目标位置粗略。特征金字塔网络结合语义信息及几何信息/细节信息，适合于本医学图像场景中结节大小不同的实际情况。此外，另一样本特点是简单负样本的绝对数量较多，且负样本中的易分样本多于难分样本的情况。通过采用焦点损失函数(FocalLoss)，针对在目标检测任务中正负样本极度不均衡且目标检测的损失极容易被大量的简单负样本所左右的情况。该函数可以通过减少易分样本的权重，使得模型在训练时更专注于难分样本。此种难例挖掘机制更为关注难分样本，提高对于磨玻璃结节等复杂类型的结节的检测准确度。在假阳性抑制阶段，对粗检测网络得到的候选结节起到精细分类的作用。3D卷积神经网络进而可对粗检测阶段的输出结果起到良好的假阳性抑制效果，尽可能消除粗检测阶段粗检测输出结果中的非结节区域。一种典型的3D卷积神经网络包括输入层、卷积层、池化层、Dropout层、全连接层及输出层，其中卷积层为3D卷积核。经过3D卷积神经网络后，给出第二输出分数，代表肺结节的判定结果，通过第二输出分数的判定选择的待定结节，比粗检测阶段所确定的候选结节，其非结节区域有了明显的减少。前两个阶段框架的设计已较大程度上满足肺结节高检出率与低假阳性的要求，但依据单一结节特征而进行结果判定可能出现检测偏差。通过全局信息通过结合病例内所有结节的全局信息，进一步弥补了假阳性抑制阶段仅依靠单一结节进行判定的问题。可采用ContextNet的结构来实现利用全局信息的综合判定，一个典型的ContextNet的具体实施方式为：S301：提取待定结节在假阳性抑制阶段的特征参数，结合人工特征构成待定结节的单个特征；其中假阳性抑制阶段的特征参数可选择所述阶段采用的3D卷积神经网络中全连接层的特征，以构成单个特征的基础特征向量。人工特征可由待定结节经粗检测网络第一输出分数、假阳性抑制网络第二输出分数、结节形态特征中的一种或多种参数组成，形态特征可包括长径、短径、密度等。S302：构建多个待定结节的全局特征；其中全局特征通过如下方法构造：选择所有待定结节的前n个单个特征进行拼接，构成全局特征，若病例待定结节少于n，则在空位以0填充，保证与全局特征长度相等。S303：对单个特征及全局特征进行融合；对于每一个待定区域结节，将其S301中构建的单个特征及S302构建的全局特征构成融合，形成待定结节的融合特征。S304：对融合特征进行分类，得到第三预测分数，一种分类方法是采用梯度提升决策树GBDT(GradientBoostingDecisionTree)进行回归训练。根据第三预测分数所进行分类后，完成本专利技术中通过三阶段框架的结节检测。在本专利技术的另一方面，还包括使用分割网络对检测到的结节图像提取轮廓信息以计算形态特征，包含结节的长径、短径、等效直径、体积、Hu值中的一个或多个，在实际场景中供医生使用。分割网络可以采用任何效果较好的模型，例如3DU-Net。在本专利技术的另一方面还包括随访匹配步骤。由于每次扫描时，病人的姿势，呼吸会对图像采集的角度和形状产生明显的影响，不同时期的医学图像无法通过像素位置进行匹配，因此本专利技术中通过3D全卷积网络进行图像配准。图像配准的基础上，通过计算不同时期的肺结节间的欧氏距离，将满足阈值设定的结节间连边建图，选取连通分量之中距离最小的结节对作为最终的配对结果，可建立不同时期的图像中结节对应关系，辅助医生对于旧结节的变化和新结节进行识别和分析。...

【技术保护点】
1.一种基于医学图像的结节检测方法，其特征在于，包括以下步骤：/n以基于医学图像的图像序列作为输入，通过粗检测网络对候选结节进行定位并输出第一预测分数；/n以经粗检测网络定位的候选结节所对应的图像序列，通过假阳性抑制网络进行分类训练，得到待定结节及其第二预测分数；/n构建待定结节的单个特征，基于多个所述待定结节的单个特征构建全局特征，将所述单个特征及所述全局特征拼接为融合特征，进行回归训练后输出第三预测分数；/n所述待定结节的单个特征以其在假阳性抑制网络的特征参数，结合人工特征而构建；/n待定结节的所述人工特征包含待定结节第一预测分数、第二预测分数、结节形态特征中的一种或多种参数。/n

【技术特征摘要】
1.一种基于医学图像的结节检测方法，其特征在于，包括以下步骤：
以基于医学图像的图像序列作为输入，通过粗检测网络对候选结节进行定位并输出第一预测分数；
以经粗检测网络定位的候选结节所对应的图像序列，通过假阳性抑制网络进行分类训练，得到待定结节及其第二预测分数；
构建待定结节的单个特征，基于多个所述待定结节的单个特征构建全局特征，将所述单个特征及所述全局特征拼接为融合特征，进行回归训练后输出第三预测分数；
所述待定结节的单个特征以其在假阳性抑制网络的特征参数，结合人工特征而构建；
待定结节的所述人工特征包含待定结节第一预测分数、第二预测分数、结节形态特征中的一种或多种参数。


2.根据权利要求1所述的基于医学图像的结节检测方法，其特征在于，所述粗检测网络采用特征金字塔网络进行特征提取，分类训练中采用焦点损失函数作为损失函数。


3.根据权利要求1所述的基于医学图像的结节检测方法，其特征在于，所述假阳性抑制网络采用3D卷积神经网络。


4.根据权利要求1至3中任一项4所述的基于医学图像的结节检测方法，其特征在于，构建全局特征通过以下的方式进行：选择所有待定结节的前n个单个特征进行拼接，若病例的待定结节少于n，则在空位以0填充；对于融合特征采用梯度提升决策树进行回归训练；优选的，所述n为20-30。

【专利技术属性】
技术研发人员：张佳琦，吕晨翀，丁佳，王子腾，孙安澜，胡阳，
申请(专利权)人：广西医准智能科技有限公司，
类型：发明
国别省市：广西;45