【技术实现步骤摘要】
本专利技术属于医学影像处理领域，具体涉及一种面向医学影像肿瘤生境分析的多尺度特征融合病变检测方法。
技术介绍
1、肿瘤成像是医学领域中至关重要的一部分，通过各种先进的成像技术，可以帮助医生诊断、治疗和监测肿瘤疾病。在这个过程中，生境的概念逐渐成为研究的焦点之一。生境不仅仅是指肿瘤的生长环境，还包括了肿瘤周围的微环境、细胞因子、血管系统等多个方面。生境的了解对于深入研究肿瘤的发展、预测肿瘤的行为和制定有效的治疗策略至关重要。
2、肿瘤生境通过聚类方式生成包含多个子生境的生境地图，可捕捉肿瘤上述细微变化，以反映其生长及治疗反应；而这些子生境还存在一些具有类似基因型和表型的肿瘤细胞，可在一定程度上反映肿瘤内部空间异质性，而后者又与其耐药性、分级及预后相关。但是在进行生境分析之前，我们需要检测出病变区域以及周围环境的特征。如果借助自动化计算机辅助诊断系统，可以自动框选出疑似病变位置以及周围的微环境，为生境分析提供有效特征。
3、计算机辅助检测旨在通过目标检测方法来检测病变区域。目标检测是计算机视觉中的一项重要任务，大部分目标检测方法最初是为了检测自然图像中的一般物体设计的，将这些方法直接用于ct扫描图像中不一定能保证满意的性能，仍然存在一些挑战性。首先，病变的类型与其位置之间往往存在相关性。如黏液性囊性肿瘤是胰腺囊性肿瘤的一种类型，最常发生在胰腺体和尾部。现有的方法主要集中在病变区域，而没有充分利用病变周围的信息。其次，传统的检测器在进行多尺度特征融合时存在两个缺点：(1)不同特征层的直接融合，减少了多尺度特征的
技术实现思路
1、为了克服现有技术的不足，针对医学影像与自然图像间存在的差异，本专利技术提出了一种面向医学影像肿瘤生境分析的多尺度特征融合病变检测方法，主要提出了一种基于层内的上下文增强模块和基于层间的跨层特征加权模块的多尺度特征融合网络。该技术从两个角度丰富了特征表示，对现有的检测器进行了优化。具体来说，上下文增强模块利用空洞注意力来捕获病变区域与背景的依赖性。跨层特征加权模块交互不同的特征层，以增强详细的特征表示，这样可以保留低级信息，而不混淆高级语义信息。这种方法可以高效提升病变的检测性能，从而能更轻松的实现生境分析，为医生提供更为准确的预后评估工具。
2、本专利技术通过以下技术方案达到上述目的：
3、一种面向医学影像肿瘤生境分析的多尺度特征融合病变检测方法，包括以下步骤：
4、步骤s1：对ct扫描成像预处理并分组；
5、步骤s2：将图片缩放成相同大小，并进行数据增强操作；
6、步骤s3：构建基于多尺度特征融合网络的病变检测模型；
7、步骤s4：训练病变检测模型；
8、步骤s5：推理病变检测模型；
9、步骤s6：验证评估病变检测模型的性能；
10、步骤s7：保存病变检测模型；
11、步骤s8：利用模型框选出病变以及周围微环境，按生境技术划分子生境；
12、进一步，所述步骤s1中，对ct扫描成像预处理并分组的过程为：利用医学影像领域的窗口技术对ct成像进行预处理，通过设置窗宽、窗位，选择感兴趣的ct值范围，突出病变特征；按8:2的大小将数据集随机分成训练集和测试集，两个集合没有重复。
13、再进一步，所述步骤s2中，将图片缩放成相同大小，并进行数据增强操作的过程为：在网络开始之前，将输入图像缩放成相同大小，保证输入的一致性，更好的支持并行化；同时，利用简单的数据增强操作(例如翻转)随机对输入数据进行增强，提高样本质量。
14、更进一步，所述步骤s3中，构建基于多尺度特征融合网络的病变检测模型的过程为：目标检测算法由三个部分组成：主干网络，颈部的特征金字塔网络以及检测头部网络，颈部是一般是由特征金字塔组成，目标检测任务通常利用特征金字塔网络fpn，使模型能够有效地检测不同尺度上的目标；传统的fpn结构，简单自上而下的多尺度特征融合，会导致信息丢失，有效地融合不同层次的特征，可以提高网络对不同大小对象的检测精度，针对颈部的特征金字塔网络进行了优化，病变检测模型构建一个由resnet50组成的主干网络，构建颈部的多尺度特征金字塔网络，即本基于层内的上下文增强模块和基于层间的跨层特征加权模块的多尺度特征融合网络，构建预测头部网络，三个分支组合：分类预测头、边界框回归预测头和中心度预测头。
15、进一步的，所述步骤s4中，训练病变检测模型的过程为：
16、4.1.从训练集按批次大小随机读取数据的图像和标签；
17、4.2.利用主干网络提取图片的多尺度特征图，选择resnet50的结构作为主干网络，resnet50是一种深度残差结构，有效捕获并表达图像中的复杂特征，经过主干网络下采样，得到四个不同大小的特征图c2、c3、c4和c5，分别是原图的1/4、1/8、1/16和1/32；
18、4.3.多尺度特征ci(i＝2，3，4，5)经过三个分支得到三个不同语义特征，步骤如下：
19、4.3.1.上下文增强模块提取每个尺度特征图的上下文增强特征，过程如下：对于每一个ci首先应用卷积来丰富局部细节，i＝3，4，5；将特征图按通道维度划分为三个头部；对每个头部设置不同的空洞率r＝1、2、3；计算每个头部的空洞注意力，扩大感受野；将三个头部的不同感受野的特征在通道维度拼接在一起，并将拼接的特征输入到一个线性层中；然后利用残差结构补充细节信息；最后经过mlp层和残差层获得了最终的层内交互特征ifi，i＝3，4，5；
20、4.3.2.跨层特征加权模块融合多尺度特征，并将融合的特征加权到不同尺度。优选地，过程如下：在一阶段检测器fcos的颈部部分，直接采用自上而下的机制来合并c3、c4和c5，为了保留更详细的小目标信息，这里引入了c2层的特征，并采用不同的融合机制；首先将四层不同尺度的特征对齐到一个统一的大小，通过将不同分辨率的图像映射到c4的大小来避免计算过于复杂，对于高分辨率的特征图，采用平均池化操作进行下采样，采用转置卷积对低分辨率的图像进行上采样，由于传统的上采样方法可能会导致信息的丢失，所以采用了转置卷积的方法，通过学习参数，可以灵活地保留和重建原始输入中的信息；
21、将对齐后的特征在通道维度进行拼接，并利用双轴注意机制融合拼接后的特征，提取出全局特征，双轴注意是指分别在垂直和水平方向上建立依赖关系。特征图按通道维度划分为两部分，一部分在垂直方向上被均匀地分割成w不重叠的垂直轴向条纹，投影为q1，k1，另一部分在水平方向上被均匀地分割成h条不重叠的水平轴向条纹，投影为q2、k2。v由特征图直接投影，在两个轴上共享；
22、虽然双轴注意机制降低了注意的复杂性，但在计算自注意力时轴与轴的空间信息本文档来自技高网...
【技术保护点】
1.一种面向医学影像肿瘤生境分析的多尺度特征融合病变检测方法，其特征在于，所述方法包括以下步骤：
2.如权利要求1所述的一种面向医学影像肿瘤生境分析的多尺度特征融合病变检测方法，其特征在于，所述步骤S1中，对CT扫描成像预处理并分组的过程为：利用医学影像领域的窗口技术对CT成像进行预处理，通过设置窗宽、窗位，选择感兴趣的CT值范围，突出病变特征；按8:2的大小将数据集随机分成训练集和测试集，两个集合没有重复。
3.如权利要求1或2所述的一种面向医学影像肿瘤生境分析的多尺度特征融合病变检测方法，其特征在于，所述步骤S2中，将图片缩放成相同大小，并进行数据增强操作的过程为：将输入图像缩放成相同大小640×640，保证输入的一致性，更好的支持并行化。同时，利用简单的数据增强操作随机对输入数据进行增强，提高样本质量。
4.如权利要求1或2所述的一种面向医学影像肿瘤生境分析的多尺度特征融合病变检测方法，其特征在于，所述步骤S3中，构建基于多尺度特征融合网络的病变检测模型的过程为：构建一个由ResNet50组成的主干网络，颈部的多尺度特征金字塔网络，即由基
5.如权利要求1或2所述的一种面向医学影像肿瘤生境分析的多尺度特征融合病变检测方法，其特征在于，所述步骤S4中，训练病变识别模型的过程为：从训练集按批次大小随机读取数据的图像和标签；利用主干网络提取图片的多尺度特征图，经过主干网络下采样，得到四个不同大小的特征图C2、C3、C4和C5，分别是原图的1/4、1/8、1/16和1/32；多尺度特征Ci(i＝2，3，4，5)经过三个分支得到三个不同语义特征，(1)上下文增强模块提取每个尺度特征图的上下文增强特征。对于每一个Ci首先应用卷积来丰富局部细节；将特征图按通道维度划分为三个头部；对每个头部设置不同的空洞率R＝1、2、3；计算每个头部的空洞注意力，扩大感受野；将三个头部的不同感受野的特征在通道维度拼接在一起，并将拼接的特征输入到一个线性层中；然后利用残差结构补充细节信息；最后经过MLP层和残差层获得了最终的层内交互特征；(2)跨层特征加权模块融合多尺度特征，并将融合的特征加权到不同尺度，首先将四层不同尺度的特征对齐到一个统一的大小，将对齐后的特征在通道维度进行拼接，并利用双轴注意机制融合拼接后的特征，提取出全局特征，双轴注意是指在垂直和水平方向上建立纵向依赖关系。特征图按通道尺寸划分为两部分，一部分在垂直方向上被均匀地分割成W不重叠的垂直轴向条纹，投影为Q1，K1；另一部分在水平方向上被均匀地分割成H条不重叠的水平轴向条纹，投影为Q2、K2；V由特征图X投影，在两个轴上共享，同时利用卷积对共享的V进行空间交互，补充不同轴之间的连接，然后将两个部分的最终输出沿着通道尺寸连接起来则为提取的全局特征；为了有效地将全局信息融合到不同的层中，使用不同的权重来增强每个层级的特征，得到跨层交互特征；(3)利用卷积映射每个尺度特征图，特征图利用卷积得到层特征，自适应融合层内交互特征、跨层交互特征和层特征这三个不同语义特征，然后经过检测头网络输出预测结果，检测头分为三个分支：分类分支、边界框回归分支和中心度回归分支，分类分支和边界框回归分支均由两层卷积层网络构成，中心度回归由边界框回归分支引出，得到三个最终的预测结果，对预测结果与真实值进行损失计算，损失函数对应三个分支，分别使用FocalLoss损失函数、IoU损失函数和交叉熵损失函数进行迭代训练，梯度反向传播更新网络模型参数。
6.如权利要求1或2所述的一种面向医学影像肿瘤生境分析的多尺度特征融合病变检测方法，其特征在于，所述步骤S5中，所述的推理病变检测模型的过程为：测试集按批次大小读取输入给模型，推理过程与训练过程相同，不同点是在检测头部输出预测结果后不进行损失函数计算，直接推理结果并进行后处理，过滤掉重复冗余的结果。
7.如权利要求1或2所述的一种面向医学影像肿瘤生境分析的多尺度特征融合病变检测方法，其特征在于，所述步骤S6中，验证评估病变检测模型的性能的过程为：使用测试数据集来评估模型的性能。当训练集和测试集效果均好时，才能体现模型的健壮性和鲁棒性。通过测试结果来获知训练模型的性能，确定优化方向是否正确。主要使用两个评估指标：常用的用于目标检测的平均精度AP指标和FROC，AP定义为某一类别的精度召回率PR曲线下面积，包括AP、AP50、AP75、APS、APM和APL，mAP是指每个类的总和AP的平均值；FROC用于医疗领域，允许对每个图像上的任意异常进行评估；医学图像的检测...
【技术特征摘要】
1.一种面向医学影像肿瘤生境分析的多尺度特征融合病变检测方法，其特征在于，所述方法包括以下步骤：
2.如权利要求1所述的一种面向医学影像肿瘤生境分析的多尺度特征融合病变检测方法，其特征在于，所述步骤s1中，对ct扫描成像预处理并分组的过程为：利用医学影像领域的窗口技术对ct成像进行预处理，通过设置窗宽、窗位，选择感兴趣的ct值范围，突出病变特征；按8:2的大小将数据集随机分成训练集和测试集，两个集合没有重复。
3.如权利要求1或2所述的一种面向医学影像肿瘤生境分析的多尺度特征融合病变检测方法，其特征在于，所述步骤s2中，将图片缩放成相同大小，并进行数据增强操作的过程为：将输入图像缩放成相同大小640×640，保证输入的一致性，更好的支持并行化。同时，利用简单的数据增强操作随机对输入数据进行增强，提高样本质量。
4.如权利要求1或2所述的一种面向医学影像肿瘤生境分析的多尺度特征融合病变检测方法，其特征在于，所述步骤s3中，构建基于多尺度特征融合网络的病变检测模型的过程为：构建一个由resnet50组成的主干网络，颈部的多尺度特征金字塔网络，即由基于层内的上下文增强模块和跨层特征加权模块的多尺度特征融合网络构成，构建预测头部网络，三个分支组合：分类预测头、边界框回归预测头和中心度预测头。
5.如权利要求1或2所述的一种面向医学影像肿瘤生境分析的多尺度特征融合病变检测方法，其特征在于，所述步骤s4中，训练病变识别模型的过程为：从训练集按批次大小随机读取数据的图像和标签；利用主干网络提取图片的多尺度特征图，经过主干网络下采样，得到四个不同大小的特征图c2、c3、c4和c5，分别是原图的1/4、1/8、1/16和1/32；多尺度特征ci(i＝2，3，4，5)经过三个分支得到三个不同语义特征，(1)上下文增强模块提取每个尺度特征图的上下文增强特征。对于每一个ci首先应用卷积来丰富局部细节；将特征图按通道维度划分为三个头部；对每个头部设置不同的空洞率r＝1、2、3；计算每个头部的空洞注意力，扩大感受野；将三个头部的不同感受野的特征在通道维度拼接在一起，并将拼接的特征输入到一个线性层中；然后利用残差结构补充细节信息；最后经过mlp层和残差层获得了最终的层内交互特征；(2)跨层特征加权模块融合多尺度特征，并将融合的特征加权到不同尺度，首先将四层不同尺度的特征对齐到一个统一的大小，将对齐后的特征在通道维度进行拼接，并利用双轴注意机制融合拼接后的特征，提取出全局特征，双轴注意是指在垂直和水平方向上建立纵向依赖关系。特征图按通道尺寸划分为两部分，一部分在垂直方向上被均匀地分割成w不重叠的垂直轴向条纹，投影为q1，k1；另一部分在水平方向上被均匀地分割成h条不重叠的水平轴向条纹，投影为q2、k2；v由特征图x投影，在两个轴上...
【专利技术属性】
技术研发人员：管秋，潘梦洁，陈峰，余仲文，杨志强，周乾伟，胡海根，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。