一种基于注意力机制和多示例学习的医学影像肿瘤定位方法技术

本发明专利技术公开了一种基于注意力机制和多示例学习的医学影像肿瘤定位方法，包括医学影像处理的相关技术，包含以下步骤：S1：收集患者电子计算机断层扫描(CT)图像，并进行预处理；S2：基于预处理后的影像图片，利用卷积和注意力机制提取示例特征，构建预测模型；S3：将影像图片输入预测模型，获取注意力机制在示例包中的关注区域，即医学影像图片中肿瘤位置。本发明专利技术通过卷积神经网络获取图像块局部特征，结合注意力机制对示例包进行学习，从单层CT图像中获取肿瘤病灶位置，弥补了传统医学影像图片识别工作中无法对没有精确标签的CT图像进行训练和预测的缺陷。该模型可以运用于自动化医学影像图片处理及自动化辅助诊断中。图片处理及自动化辅助诊断中。

【技术实现步骤摘要】
一种基于注意力机制和多示例学习的医学影像肿瘤定位方法


[0001]本专利技术涉及医院影像处理技术和深度学习技术，具体涉及一种基于注意力机制和多示例学习的医学影像肿瘤定位方法。

技术介绍

[0002]近年来，深度学习技术的发展已经在各个领域超越了传统机器学习方法，在图像识别领域，更是几乎达到人类的识别能力。然而，其固有的缺点也十分明显，即优秀的图像识别模型需要大量细致且精确的图像标注，并且随着明确标注的样本数据量的提升，图像识别模型的精确性往往才能得到提高。对于传统的图像标注任务来说，精确标注大量日常物品难度不大。但对于医学影像来说，准确获取并精确标注具体的肿瘤位置十分困难，并且由于医学影像的标注需要有经验和具备相应专科知识的医生耗费大量时间，效率低下，这使得标注工作更加困难。
[0003]传统机器学习或深度学习的强监督学习方法在处理医学影像图片时会在人工标注的已知标签区域获取相应特征向量，再由分类器进行运算得到最后结果。考虑到大多数医学影像图片仅具有粗粒度标签信息，即图像中是否具有肿瘤的标签信息，无法精确获取肿瘤未知的特征向量。多示例学习作为弱监督学习的一种方法，仅依赖于粗粒度标签即可对图像进行分类，并且融入了注意力机制，可获取多示例学习模型识别医学影像图片过程中的关注区域，帮助实现自动化医学影像肿瘤定位。

技术实现思路

[0004]本专利技术针对目前医学影像图片处理标注困难造成的数据量少等问题，提出了一种基于注意力机制和多示例学习的医学影像肿瘤定位方法。
[0005]本专利技术的技术方案是：一种基于注意力机制和多示例学习的医学影像肿瘤定位方法，包括以下步骤：
[0006]S1：收集患者电子计算机断层扫描(CT)图像，并进行预处理；
[0007]S2：基于预处理后的影像图片，利用卷积和注意力机制提取示例特征，构建预测模型；
[0008]S3：将影像图片输入预测模型，获取注意力机制在示例包中的关注区域，即医学影像图片中肿瘤位置。
[0009]本专利技术的有益效果是：本专利技术利用患者肿瘤信息和肿瘤所在CT图像层面信息组成的示例包进行训练，使得深度学习模型可以从单层CT图像中获取肿瘤病灶位置，减少了传统医学影像识别工作中花费大量人力物力进行细致肿瘤位置勾画的时间。本专利技术利用多示例学习和注意力机制的学习方法弥补了传统医学影像图片识别工作中无法对没有精确标签的CT图像进行训练和预测的缺陷。该模型可以运用于自动化医学影像图片处理及自动化辅助诊断中。
[0010]进一步，所述步骤S1具体包括以下子步骤：
[0011]S1.1：收集患者电子计算机断层扫描(CT)图像、确诊肿瘤病理类型、肿瘤及相应器官组织所在CT图像层面信息以CSV文件形式存储；
[0012]S1.2：CSV文件中存储患者CT图像序列中肿瘤及相应器官所在的起始层面和结束层面，并根据图像动脉期窗宽窗位进行预处理；
[0013]S1.3：将处理后的单张CT图像按照固定像素尺寸的滑动窗口进行分割为若干尺寸相同的图像块，并去除CT图像边缘空白区域，剩余图像块组成单张CT图像的示例包，并划分成训练集和测试集输入至预测模型中。
[0014]进一步，所述步骤S2具体包括以下子步骤：
[0015]S2.1：使用UNet神经网络对输入的示例包进行特征提取，获取图像局部特征；
[0016]S2.2：利用注意力机制学习提取特征间的内在关系，再将多示例学习层进行聚合；
[0017]S2.3：将聚合后的输出输入至带有Sigmoid激活函数的分类器，输出单张CT图像的预测概率，并利用优化函数进行训练，完成预测模型。
[0018]上述进一步方案的有益效果是：在本专利技术中，使用了医学图像领域广泛应用的高性能UNet网络，在提高特征提取步骤速度的同时，充分获取单张CT图像上下文内容信息。
[0019]进一步地，步骤S2.2中，多示例学习进行聚合时，会使用注意力机制获取预测模型对于示例包中示例的关注程度α，其计算公式为：
[0020][0021]其中，k表示示例包中单个示例的序号，w、V、U均表示超参数，h表示单个示例的高维映射，T表示转置矩阵，“·”表示矩阵点乘。
[0022]进一步地，步骤S2.3中，模型训练时，损失函数为交叉熵损失函数，优化器设置为Adam优化器，初始学习率为0.0001，学习率衰减系数为0.0005，batch size为1，即以一个包的示例数为一个batch。
附图说明
[0023]图1为医学CT影像肿瘤定位方法的流程图。
[0024]具体实施方法
[0025]下面结合附图，对本专利技术实施例作进一步详细解释。此处描述实施例仅作解释本专利技术，并不用于限定本专利技术应用范围。
[0026]如图1所示，本专利技术提供了一种基于注意力机制和多示例学习的医学影像肿瘤定位方法，包括以下步骤：
[0027]S1：收集患者电子计算机断层扫描(CT)图像，并进行预处理；
[0028]S2：基于预处理后的影像图片，利用卷积和注意力机制提取示例特征，构建预测模型；
[0029]S3：
[0030]在本专利技术实施例中，如图1所示，步骤S1包括以下子步骤：
[0031]S1.1：收集患者电子计算机断层扫描(CT)图像、确诊肿瘤病理类型、肿瘤及相应器官组织所在CT图像层面信息以CSV文件形式存储。
[0032]收集的患者CT图像均为患有肾癌的增强CT动脉期图像，并将患者完整动脉期CT图
像以DICOM文件格式保存至单个文件夹中。
[0033]S1.2：CSV文件中存储患者CT图像序列中肿瘤及相应器官所在的起始层面和结束层面，并根据图像动脉期窗宽窗位进行预处理；
[0034]由于患者采集CT图像使用的机器及时间不同，需将CT图像统一化，因此使用pydicom软件包读取患者DICOM文件中机器信息及窗宽窗位信息，统一化后去除相关信息，以PNG文件格式保存。
[0035]S1.3：将处理后的单张CT图像按照固定像素尺寸的滑动窗口进行分割为若干尺寸相同的图像块，并去除CT图像边缘空白区域，剩余图像块组成单张CT图像的示例包，并划分成训练集和测试集输入至预测模型中。
[0036]使用[64*64]像素大小、步长为16像素的滑动窗口将单张CT图像分割为若干图像块，去除图像上下4个步长，左右2个步长的边缘区域，剩余图像构成单个示例包。以7：3的比例从全部示例包中划分训练集和测试集。
[0037]在本专利技术实施例中，如图1所示，步骤S2包括以下子步骤：
[0038]S2.1：使用UNet神经网络对输入的示例包进行特征提取，获取图像局部特征；
[0039]S2.2：利用注意力机制学习提取特征间的内在关系，再将多示例学习层进行聚合；
[0040]S2.3：将聚合后的输出输入至带有Sigmoid激活函数的分类器，输出单张CT图像的预测概率，并利用优化函数进行训练，完成预测模型。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制和多示例学习的医学影像肿瘤定位方法，其特征在于，包括以下步骤：S1：收集患者电子计算机断层扫描(CT)图像，并进行预处理；S2：基于预处理后的影像图片，利用卷积和注意力机制提取示例特征，构建预测模型；S3：将影像图片输入预测模型，获取注意力机制在示例包中的关注区域，即医学影像图片中肿瘤位置。2.根据权利要求1所述的基于注意力机制和多示例学习的医学影像肿瘤定位方法，其特征在于，所述步骤S1包括以下子步骤：S1.1：收集患者电子计算机断层扫描(CT)图像、确诊肿瘤病理类型、肿瘤及相应器官组织所在CT图像层面信息以CSV文件形式存储；S1.2：CSV文件中存储患者CT图像序列中肿瘤及相应器官所在的起始层面和结束层面，并根据图像动脉期窗宽窗位进行预处理；S1.3：将处理后的单张CT图像按照固定像素尺寸的滑动窗口进行分割为若干尺寸相同的图像块，并去除CT图像边缘空白区域，剩余图像块组成单张CT图像的示例包，并划分成训练集和测试集输入至预测模型中。3.根据权利要求1所述的基于注意力机制和多...

【专利技术属性】
技术研发人员：阚延晟，周祯，
申请(专利权)人：南京大学人工智能生物医药技术研究院，
类型：发明
国别省市：