基于深度学习的胆结石自动识别及分割系统、计算机设备、存储介质技术方案

本发明专利技术公开了一种基于深度学习的胆结石自动识别及图像自动分割系统，属于图像识别及图像分割技术领域。该系统包括基于目标检测及目标分割模型，所述的目标检测和目标分割模型包括：特征提取网络、以及两个分支网络包括目标检测网络和目标分割网络；首先利用特征提取网络对输入的腹部CT图像进行卷积池化等操作特征提取，将提取的特征图利用目标检测网络进行回归以及分类，输出胆结石的位置与概率；同时，图像分割网络利用反卷积将卷积和池化的特征图进行上采样，将图像恢复到原图像大小，并最终得到胆结石的分割后的轮廓，即掩膜，可以清晰地定量分析胆结石的大小及形状等特征。

【技术实现步骤摘要】
基于深度学习的胆结石自动识别及分割系统、计算机设备、存储介质
本专利技术涉及图像识别技术与图像分割
，特别涉及基于深度学习的胆结石自动识别及分割系统、计算机设备、存储介质。
技术介绍
胆结石是世界范围内的常见病，在传统诊断方法中，医师通过采集的医学图像，按照以往的经验对胆结石进行提取和标记，这种依靠经验的诊断方法带来极大的主观性，同时胆结石的CT影像特征与急性胆囊炎等疾病的特征及其相似，极易造成漏诊和误诊，对于医生的经验及专业素养有极大的依赖，诊断的准确性受到限制。医疗领域逐步开始借助人工智能技术与计算机视觉的相关技术进行辅助诊断，而且有很多成功的案例，在肺结节人工智能识别以及皮肤病的人工智能识别方面，人工智能技术已经超过人类医师的诊断效果，胆结石作为一种常见且漏诊和误诊率高的疾病，亟需一种人工智能识别手段对医生进行辅助，胆结石的大小和形状对后续的治疗也具有重要影响，现阶段也是通过医师对轮廓进行手动勾画，存在极大的主观性，因此对胆结石的形态进行自动提取也是及其必要的。
技术实现思路
本专利技术实施例提供了一种基于深度学习的胆结石自动识别及分割系统、计算机设备、存储介质为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。根据本专利技术实施例的第一方面，提供了一种基于深度学习的胆结石自动识别及自动分割系统。在一些可选实施例中，所述系统包括目标检测与目标分割模型，目标检测与目标分割模型包括：特征提取网络，以及两个分支网络包括目标检测网络和目标分割网络，首先利用特征提取网络对输入的腹部CT图像进行卷积池化等操作特征提取；将提取的特征图利用目标检测网络进行回归以及分类，输出胆结石的位置与概率；同时，图像分割网络利用反卷积将卷积和池化的特征图进行上采样，将图像恢复到原图像大小，并最终得到胆结石的分割后的轮廓，可以清晰地定量分析胆结石的大小及形状等特征。可选的，所述特征提取网络使用跳跃金字塔模块对胆结石CT图像的特征进行多尺度提取，其核心思想在于使用多个不同大小的卷积核对全局特征及精细特征进行提取，多个不同大小的卷积核进行并联，提取不同尺度特征后将所有特征图进行连接。可选的，所述的目标检测网络中候选区生成器的对特征提取后的特征图进行筛选，生成胆结石的候选区域的步骤，其具体包括：将经过特征提提取网络后的特征图设定预定个数的候选区域，从而获取特定个数的候选区域，将这些候选区域送入区域候选网络进行二值分类和限定框回归，过滤掉一部分候选区域，对剩下的候选区域进行ROIAlign操作，即把原图的特征图与像素对应起来。可选的，所述的目标分割网络即对腹部CT图像的每个像素点进行分类，确定每个点所属的类别，目标分割网络作为一个分支连接到特征提取网络之后，主要进行反卷积操作，形成一个U形网络，其具体包括：特征提取网络后得到的特征图反卷积进行上采样，与裁剪之前的低层特征图，进行融合；然后再次上采样。重复这个过程，直到获得输出与原图大小相同的特征图，最后经过归一化指数函数后获得最终的输出特征图，即每个像素的分类结果。可选的，所述视觉注意力机制，使用视觉注意力机制提升目标分割的能力，模拟医生检查CT图像时的习惯，将注意力主要集中在病灶常发的部位，其核心思想在于在进行上采样的反卷积时对每个特征通道进行编码进行重要性学习，通过反向传播和梯度下降，经过不断的迭代优化调整通道的权重，对于影响结果越大的特征图进行加权处理，削弱对结果影响小的特征图。可选的，对所述的特征提取网络使用ImageNet的预训练模型进行初始化，对所述的目标检测网络使用ImageNet的预训练模型进行初始化。根据本专利技术的实施的第二方面，提供一种计算机设备。在一些可选实施例中，所述计算机设备，包括存储器，显卡，中央处理器，以及存储在所述存储器上的可被所述中央处理器以及显卡并行处理的可执行程序，器特征在于，所述中央处理器所执行所述程序时实现一下步骤：构建目标检测与目标分割模型，所述目标检测与目标分割模型包括：特征提取网络，以及两个分支网络包括目标检测网络和目标分割网络，首先利用特征提取网络对输入的腹部CT图像进行卷积池化等操作特征提取；将提取的特征图利用目标检测网络进行回归以及分类，输出胆结石的位置与概率；同时，图像分割网络利用反卷积将卷积和池化的特征图进行上采样，将图像恢复到原图像大小，并最终得到胆结石的分割后的轮廓，即掩膜，可以清晰地定量分析胆结石的大小及形状等特征。可选的，所述特征提取网络使用跳跃金字塔模块对胆结石CT图像的特征进行多尺度提取，其核心思想在于使用多个不同大小的卷积核对全局特征及精细特征进行提取，多个不同大小的卷积核进行并联，提取不同尺度特征后将所有特征图进行连接。所选的，所述的目标分割网络即对腹部CT图像的每个像素点进行分类，确定每个点所属的类别，目标分割网络作为一个分支连接到特征提取网络之后，主要进行反卷积操作，形成一个U形网络，其具体包括：特征提取网络后得到的特征图反卷积进行上采样，与裁剪之前的低层特征图，进行融合；然后再次上采样。重复这个过程，直到获得输出与原图大小相同的特征图，最后经过归一化指数函数后获得最终的输出特征图，即每个像素的分类结果。可选的，所述视觉注意力机制，其特征在于，使用视觉注意力机制提升目标分割的能力，模拟医生检查CT图像时的习惯，将注意力主要集中在病灶常发的部位，其核心思想在于在进行上采样的反卷积时对每个特征通道进行编码进行重要性学习，对于影响结果越大的特征图进行加权处理，削弱对结果影响小的特征图。可选的，对所述的特征提取网络使用ImageNet的预训练模型进行初始化，对所述的目标检测网络使用ImageNet的预训练模型进行初始化。本专利技术实施例提供的技术方案可以包括以下有益效果：利用计算机视觉技术及人工智能技术对CT序列进行智能处理，能够避免医生诊断带来的主观影响，自动对胆结石的识别与分割，能够协助医生完成对胆结石更加精确地诊断，并标定胆结石的形态与位置，减少人工操作，处理速度快，有利于集成和大规模的应用。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。图1是根据一示例性示出的一种深度学习的胆结石自动识别及分割系统的框图。具体实施方式以下描述和附图充分地示出本专利技术的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本专利技术的实施方案的范围包括权本文档来自技高网...

【技术保护点】
1.一种基于深度学习的胆结石自动识别与分割系统，其特征在于，包括目标检测与目标分割模型，所述目标检测与目标分割模型包括：特征提取网络，以及两个分支网络包括目标检测网络和目标分割网络，首先利用特征提取网络对输入的腹部CT图像进行卷积池化等操作特征提取；将提取的特征图利用目标检测网络进行回归以及分类，输出胆结石的位置与概率；同时，图像分割网络利用反卷积将卷积和池化的特征图进行上采样，将图像恢复到原图像大小，并最终得到胆结石的分割后的轮廓，即掩膜，可以清晰地定量分析胆结石的大小及形状等特征。/n

【技术特征摘要】
1.一种基于深度学习的胆结石自动识别与分割系统，其特征在于，包括目标检测与目标分割模型，所述目标检测与目标分割模型包括：特征提取网络，以及两个分支网络包括目标检测网络和目标分割网络，首先利用特征提取网络对输入的腹部CT图像进行卷积池化等操作特征提取；将提取的特征图利用目标检测网络进行回归以及分类，输出胆结石的位置与概率；同时，图像分割网络利用反卷积将卷积和池化的特征图进行上采样，将图像恢复到原图像大小，并最终得到胆结石的分割后的轮廓，即掩膜，可以清晰地定量分析胆结石的大小及形状等特征。


2.如权利要求1所述的系统，其特征在于，所述的目标检测网络中候选区生成器的对特征提取后的特征图进行筛选，生成胆结石的候选区域的步骤，其具体包括：将经过特征提提取网络后的特征图设定预定个数的候选区域，从而获取特定个数的候选区域，将这些候选区域送入区域候选网络进行二值分类(即前景和后景)和限定框回归(BB回归)，过滤掉一部分候选区域，对剩下的候选区域进行ROIAlign操作，即把原图的特征图与像素对应起来。


3.如权利要求1所述的系统，其特征在于，所述的目标分割网络即对腹部CT图像的每个像素点进行分类，确定每个点所属的类别，目标分割网络作为一个分支连接到特征提取网络之后，主要进行反卷积操作，形成一个U形网络，其具体包括：特征提取网络后得到的特征图反卷积进行上采样，与裁剪之前的低层特征图，进行融合；然后再次上采样。重复这个过程，直到获得输出与原图大小相同的特征图，最后经过归一化指数函数后获得最终的输出特征图，即每个像素的分类结果。


4.如权利要求3所述的系统，其特征在于，使用视觉注意力机制提升目标分割的能力，模拟医生检查CT图像时的习惯，将注意力主要集中在病灶常发的部位，其核心思想在于在进行上采样的反卷积时对每个特征通道进行编码进行重要性学习，通过反向传播和梯度下降，经过不断的迭代优化调整通道的权重，对于影响结果越大的特征图进行加权处理，削弱对结果影响小的特征图。


5.如权利1所述的系统，其特征在于，对所述的特征提取网络使用ImageNet的预训练模型进行初始化，对所述的目标检测网络使用ImageNet的预训练模型进行初始化。


6.一种计算机设备，包括存储器，显卡，中央处理器，以及存储在所述存储器上的可被所述中央处理器以及显卡并行处理的可执行程序，器特...

【专利技术属性】
技术研发人员：宋弢，孟凡，王珣，谢鹏飞，李颖，庞皓月，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：山东;37