一种基于转导推理的医学影像小样本分割方法技术

本发明专利技术公开了一种基于转导推理的医学影像小样本分割方法，包括以下步骤；(1)使用神经网络作为特征提取网络，提取二维医学影像或者三维影像切片的特征图；(2)基于转导推理对支撑集数据与查询集数据进行融合分析，并从中分别提取出用于对查询集进行分割的前景类别对应的原型特征向量与背景类别对应原型特征向量；(3)对查询集的特征图中的每一个特征，分别计算其与各个类别的原型特征相似度，然后通过比较各个类别相似度的大小，确定查询集中各个特征对应的类别，即其类别为相似度最大的原型特征所对应的类别。本发明专利技术能够提升分割效果，实现分割结果的精度最大化。实现分割结果的精度最大化。实现分割结果的精度最大化。

【技术实现步骤摘要】
一种基于转导推理的医学影像小样本分割方法


[0001]本专利技术属于人工智能、计算机视觉与医学影像分析
，具体涉及一种基于转导推理的医学影像小样本分割方法。

技术介绍

[0002]随着医学影像成像技术的发展，尤其是CT、MRI等成像手段的出现，极大的促进了医疗诊断与治疗手段的进步，同时也极大地促进了医学影像自动化分析算法的发展，其中，基于深度学习的计算机视觉算法在医学影像相关的分类、检测、分割等任务中，表现亮眼，可以为医生提供辅助甚至于实现自动化诊断算法，大幅提成现代医疗水平。但常见的基于深度学习的医学影像分割方法《U
‑
Net:ConvolutionalNetworksforBiomedicalImageSegmentation》，通常需要大量的数据进行学习，才能针对有限范围内的病灶或者器官进行分割，这导致了U
‑
Net难以在实际场景中被运用。同时，影像数据本身受到隐私、伦理等方面的限制，且标注则需要专业的医师花费大量时间进行标注，这两个限制都使得传统的医学影像分割算法的研发与推广面领着较大的困难。
[0003]据专利技术人了解，针对目前医学影像分割算法通常需要使用大量数据进行训练的问题，尽管Ouyang等研究人员提出了诸如《Self
‑
supervisionwithSuperpixels:TrainingFew
‑
ShotMedicalImageSegmentationWithoutAnnotation》等基于采用小样本的医学影像分割方法作为解决方案，但是现有的方法仅从支撑集提取任务关键信息用于分割任务，而无法有效的利用查询集自身的信息，同时忽略了支撑集与查询集之间的分布差异，导致分割效果受限，且需要较多的支撑数据。

技术实现思路

[0004]为了克服上述现有技术存在的不足，本专利技术的目的在于提供一种基于转导推理的医学影像小样本分割方法，通过转导推理分析支撑集与查询集数据特征，提取更加有效的原型特征，对没有学习过的分割任务所涉及的区域进行分割，能够提升分割效果，实现分割结果的精度最大化。
[0005]为了实现上述目的，本专利技术采用的技术方案是：
[0006]一种基于转导推理的医学影像小样本分割方法，其中支撑集数据与查询集数据作为输入，支撑集为带有分割标注的影像数据，查询集为带分割的影像数据，分割方法包括以下步骤；
[0007](1)使用神经网络作为特征提取网络，提取二维医学影像或者三维影像切片x的特征图z；
[0008](2)基于转导推理对支撑集数据与查询集数据进行融合分析，并从中分别提取出用于对查询集进行分割的前景类别对应的原型特征向量与背景类别对应原型特征向量；
[0009](2a)采用标注信息嵌入网络，将影像对应的分割标注y作为输入构建影像的标注信息v；
[0010](2b)使用信息融合网络，将影像对应的特征图z与通过影像标注构建的标注信息v作为输入，对这两种信息进行融合，形成融合信息u；
[0011](2c)通过转导推理模块，将支撑集与查询集的融合信息u
S
与u
Q
作为输入，并通过转导推理模块进行融合、学习，然后对输入的查询集融合信息u
Q
进行补全，并生成新的查询集融合信息
[0012](2d)采用解算网络，对转导推理模块的输出的融合信息进行处理，来解码其中的潜在的查询集标注信息v
Q
；
[0013](2e)使用原型选择网络，对支撑集与查询集的特征图z与标注信息v进行融合、分析，从中选择用于对查询集分割的各个类别的原型特征z
P
；
[0014](3)对查询集的特征图z
Q
中的每一个特征，分别计算其与各个类别的原型特征的相似度，然后通过比较各个类别相似度s
i
的大小，确定查询集中各个特征对应的类别，即其类别为相似度最大的原型特征所对应的类别。
[0015]上述步骤中，所述的各类符号定义中，上标S表示支撑集对应的数据信息，上表Q表示查询集对应的数据信息，例如z表示特征图，则z
Q
表示查询集特征图，z
S
b表示支撑集特征图。
[0016]所述步骤(1)中所述的特征提取网络F
feat
为由多层神经或者多层卷积神经网络组成，输入为单通道二维图片x，输出为高维特征成，输入为单通道二维图片x，输出为高维特征
[0017]所述步骤(2a)中所述的标注信息嵌入网络T
anno
具体公式如下，
[0018][0019]其中，y为网络输入，表示影像对应的分割标注；v为网络输出，表示由标注信息嵌入网络构建的标注信息；
[0020]reshape表示将输入的数据中长与宽两个维度合并为一个维度，reshape
′
表示将输入的数据中由长与宽合并的维度拆分为长和宽两个维度；
[0021]E
anno
(
·
)表示短语嵌入网络，通过滑动窗口的方式，将影像的标注y中每一个像素及其相邻区域所表示的标注信息转化为基于特征向量的表示形式；
[0022]F
anno
(
·
)为多层卷积神经网络，用于进一步提取向量化表示的标注中隐含的特征并挖掘更多潜在的信息；
[0023]G
anno
(
·
)表示多层全连接神经网络，用于从全局层面对标注信息进行融合；
[0024]支撑集影像的标注信息由支撑集影像对应的标注产生，对于不包含标注信息的查询集数据，则以空白作为输入产生标注信息，这里空白为既不表示前景也不表示背景的伪标注。
[0025]所述步骤(2b)信息融合网络T
fuse
的计算公式如下，
[0026]u＝T
fuse
(z,v)＝Trans(encode＝v,decode＝z)
[0027]其中，Trans为包含编码器与解码器的Transformer神经网络，编码器的输入为标注信息v，解码器的输入为影像对应的特征图z，网络的输出为影像的特征图与标注信息所融合的结果，即融合信息u。
[0028]所述步骤(2c)转导推理模块的表达式与计算步骤如下；
[0029][0030]首先，使用沿着长宽维度进行拼接的操作将支撑集融合特征u
S
与查询集融合特征u
Q
进行拼接，得到同时以相同的方式将支撑集的标注信息v
S
与查询集的空白标注信息进行拼接，得到
[0031]然后，使用包含编码器与解码器的Transformer神经网络(Trans)，对拼接的融合信息u与标注信息v进行转导推理，以补全查询集中标注信息v
Q
，其中，编码器输入为解码器输入为输出为更新的支撑集与查询集融合信息；
[0032]最本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于转导推理的医学影像小样本分割方法，其特征在于，其中支撑集数据与查询集数据作为输入，支撑集为带有分割标注的影像数据，查询集为带分割的影像数据，分割方法包括以下步骤；(1)使用神经网络作为特征提取网络，提取二维医学影像或者三维影像切片x的特征图z；(2)基于转导推理对支撑集数据与查询集数据进行融合分析，并从中分别提取出用于对查询集进行分割的前景类别对应的原型特征向量与背景类别对应原型特征向量；(2a)采用标注信息嵌入网络，将影像对应的分割标注y作为输入构建影像的标注信息v；(2b)使用信息融合网络，将影像对应的特征图z与通过影像标注构建的标注信息v作为输入，对这两种信息进行融合，形成融合信息u；(2c)通过转导推理模块，将支撑集与查询集的融合信息u
S
与u
Q
作为输入，并通过转导推理模块进行融合、学习，然后对输入的查询集融合信息u
Q
进行补全，并生成新的查询集融合信息(2d)采用解算网络，对转导推理模块的输出的融合信息进行处理，来解码其中的潜在的查询集标注信息v
Q
；(2e)使用原型选择网络，对支撑集与查询集的特征图z与标注信息v进行融合、分析，从中选择用于对查询集分割的各个类别的原型特征z
P
；(3)对查询集的特征图z
Q
中的每一个特征，分别计算其与各个类别的原型特征的相似度，然后通过比较各个类别相似度s
i
的大小，确定查询集中各个特征对应的类别，即其类别为相似度最大的原型特征所对应的类别。2.根据权利要求1所述的一种基于转导推理的医学影像小样本分割方法，其特征在于，所述步骤(1)中所述的特征提取网络F
feat
为由多层神经或者多层卷积神经网络组成，输入为单通道二维图片x，输出为高维特征3.根据权利要求1所述的一种基于转导推理的医学影像小样本分割方法，其特征在于，所述步骤(2a)中所述的标注信息嵌入网络T
anno
具体公式如下，v＝T
anno
(y)＝reshape
’
(G
anno
(reshape(F
anno
(E
anno
(y)))))其中，y为网络输入，表示影像对应的分割标注；v为网络输出，表示由标注信息嵌入网络构建的标注信息；reshape表示将输入的数据中长与宽两个维度合并为一个维度，reshape
′
表示将输入的数据中由长与宽合并的维度拆分为长和宽两个维度；E
anno
(
·
)表示短语嵌入网络，通过滑动窗口的方式，将影像的标注y中每一个像素及其相邻区域所表示的标注信息转化为基于特征向量的表示形式；F
anno
(
·
)为多层卷积神经网络，用于进一步提取向量化表示的标注中隐含的特征并挖掘更多潜在的信息；G
anno
(
·
)表示多层全连接神经网络，用于从全局层面对标注信息进行融合；支撑集影像的标注信息由支撑集影像对应的标注产生，对于不包含标注信息的查询集
数据，则以空白作为输入产生标注信息，这里空白为既不表示前景也不表示背景的伪标注。4.根据权利要求1所述的一种基于转导推理的医学影像小样本分割方法，其特征在于，所述步骤(2b)信息融合网络T
fuse
的计算公式如下，u＝T
fuse
(z,v)＝Trans(encode＝v,decode＝z)其中，Trans为包含编码器与解码器的Transformer神经网络，编码器的输入...

【专利技术属性】
技术研发人员：张亮，李约瀚，华聪，朱光明，沈沛意，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：