基于HoVer-Transformer的乳腺肿瘤良恶性鉴别方法及装置制造方法及图纸

本发明专利技术公开了一种基于HoVer

【技术实现步骤摘要】
基于HoVer
‑
Transformer的乳腺肿瘤良恶性鉴别方法及装置


[0001]本专利技术属于超声图像的
，具体涉及一种基于HoVer
‑
Transformer的乳腺肿瘤良恶性鉴别方法及装置。

技术介绍

[0002]乳腺癌是全世界女性中最常见和最严重的癌症之一，发病率自上世纪70年代以来一直呈上升趋势，并且已经成为世界上诊断数量最多的女性癌症。在传统的超声检查中，医生根据超声图像，结合自己的专业知识及临床经验进行诊断，主观性较强，且会受到其他身体组织和阴影等其它干扰，因此易产生漏诊或者误诊的情况。为解决这些问题，将机器学习算法引入计算机辅助诊断系统中，用于辅助医师诊断，减少人为因素的干预，进而提高诊断质量。
[0003]最近，深度学习已经成为各个研究领域的先进工具之一。卷积神经网络是近年来医学图像分类等自动分析系统中最常用的网络。然而，由于这些神经网络模型的信息感受域局部化，它们在长距离依赖信息学习中的表现较差，限制了网络对全局信息的获取能力和分析性能。Transformer网络架构是目前自然语言处理(NLP)领域的主流模型，其自注意力机制擅长捕获长距离依赖信息；由于该模型在自然语言处理领域取得成功，人们将其架构引入视觉图像处理领域，得到的新模型称为VisionTransformer(ViT)，借助其优势来处理视觉图像信息和图像分类应用；虽然ViT模型在处理自然图像的任务上已经取得了出色的成绩，甚至在多个大型自然图像数据集的表现超越了卷积神经网络，但是利用ViT模型处理医学影像的模型和方案至今仍少之又少。现存方法中有采用原始ViT模型直接对医学影像处理，但针对自然图像设计的ViT模型显然不能捕获不同模态的医学影像的特点，在处理医学影像的任务上达不到最佳效果。因此，利用最先进图像处理技术和设计符合医学影像处理的模型构架来提升计算机辅助诊疗的性能表现有着广阔的前景和需要更进一步的研究。

技术实现思路

[0004]本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种基于HoVer
‑
Transformer的乳腺肿瘤良恶性鉴别方法及装置，本方法通过对乳腺超声图像进行横向和纵向的图像采样，构建transformer结构模型捕获行图像块级和列图像块集的全局信息，再对行、列图像块集的全局信息进行融合，利用融合信息对乳腺超声图像进行良恶性鉴别。
[0005]为了达到上述目的，本专利技术采用以下技术方案：
[0006]本专利技术第一目的在于提供一种基于HoVer
‑
Transformer的乳腺肿瘤良恶性鉴别方法，其特征在于，包括下述步骤：
[0007]采集乳腺超声图像并进行采样获得图像块集；
[0008]将图像块集映射为嵌入特征集并进行重构，得到乳腺超声图像带有令牌的嵌入特征集；
[0009]将图像块集嵌入特征集和带有令牌的嵌入特征集输入HoVer
‑
Transformer模型的自注意力模块中进行自注意力运算，得到带有令牌的新嵌入特征集；
[0010]所述HoVer
‑
Transformer模型包括自注意力模块及多层感知机层；所述自注意力模块包括多头注意力层和多头交叉注意力层；
[0011]将带有令牌的新嵌入特征集输入HoVer
‑
Transformer模型的多层感知机层，得到乳腺超声图像的良恶性鉴别结果。
[0012]作为优选的技术方案，所述采样获得图像块集，具体为：
[0013]在乳腺超声图像上选择与图像块尺寸高度相等的高度区间，将处于同一高度区间的图像块进行划分获得行图像块集X
r
＝{x
r(1)
,x
r(2)
,
…
,x
r(n)
}，n为乳腺超声图像划分为行图像块的数量；
[0014]在乳腺超声图像上选择与图像块尺寸宽度相等的宽度区间，将处于同一宽度区间的图像块进行划分获得列图像块集X
c
＝{x
c(1)
,x
c(2)
,
…
,x
c(m)
}；m为乳腺超声图像划分为列图像块的数量。
[0015]作为优选的技术方案，所述得到乳腺超声图像带有令牌的嵌入特征集，具体为：
[0016]将行图像块集X
r
线性映射为高维特征并与对应的可学习位置信息相加得到行嵌入特征集Y
r
＝{y
r(1)
,y
r(2)
,
…
,y
r(n)
}，将列图像块集X
c
线性映射为高维特征并与对应的可学习位置信息相加得到列嵌入特征集Y
c
＝{y
c(1)
,y
c(2)
,
…
,y
c(m)
}；
[0017]将行嵌入特征集和列嵌入特征集分别进行重构，即分别对行嵌入特征集Y
r
和列嵌入特征集Y
c
展平为向量后，做若干标准化和线性映射处理，获得乳腺超声图像带有行令牌的行嵌入特征集和带有列令牌的列嵌入特征集，表示为：
[0018]I
r
＝{C
r
,z
r(1)
,z
r(2)
,
…
,z
r(n)
}＝{C
r
,Z
r
}
[0019]I
c
＝{C
c
,z
c(1)
,z
c(2)
,
…
,z
c(m)
}＝{C
c
,Z
c
}
[0020]其中，I
r
表示乳腺超声图像带有行令牌的行嵌入特征集，C
r
表示行令牌，z
r(n)
表示第n行图像块集的行嵌入特征集；I
c
表示乳腺超声图像带有列令牌的列嵌入特征集，C
c
表示列令牌，z
c(m)
表示第m列图像块集的列嵌入特征集。
[0021]作为优选的技术方案，对于行嵌入特征集Y
r
中第n行的行嵌入特征集表示为：
[0022]y
r(n)
＝{y
r(n,1)
,y
r(n,2)
,
…
,y
r(n,j)
},j∈[1,m][0023]对于列嵌入特征集Y
c
中第m列的列嵌入特征集表示为：
[0024]y
c(m)
＝{y
c(1,m)
,y
c(2,m)
,
…
,y
c(i,m)
}本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于HoVer
‑
Transformer的乳腺肿瘤良恶性鉴别方法，其特征在于，包括下述步骤：采集乳腺超声图像并进行采样获得图像块集；将图像块集映射为嵌入特征集并进行重构，得到乳腺超声图像带有令牌的嵌入特征集；将图像块集嵌入特征集和带有令牌的嵌入特征集输入HoVer
‑
Transformer模型的自注意力模块中进行自注意力运算，得到带有令牌的新嵌入特征集；所述HoVer
‑
Transformer模型包括自注意力模块及多层感知机层；所述自注意力模块包括多头注意力层和多头交叉注意力层；将带有令牌的新嵌入特征集输入HoVer
‑
Transformer模型的多层感知机层，得到乳腺超声图像的良恶性鉴别结果。2.根据权利要求1所述的基于HoVer
‑
Transformer的乳腺肿瘤良恶性鉴别方法，其特征在于，所述采样获得图像块集，具体为：在乳腺超声图像上选择与图像块尺寸高度相等的高度区间，将处于同一高度区间的图像块进行划分获得行图像块集X
r
＝{x
r(1)
，x
r(2)
，
…
，x
r(n)
}，n为乳腺超声图像划分为行图像块的数量；在乳腺超声图像上选择与图像块尺寸宽度相等的宽度区间，将处于同一宽度区间的图像块进行划分获得列图像块集X
c
＝{x
c(1)
，x
c(2)
，
…
，x
c(m)
}；m为乳腺超声图像划分为列图像块的数量。3.根据权利要求2所述的基于HoVer
‑
Transformer的乳腺肿瘤良恶性鉴别方法，其特征在于，所述得到乳腺超声图像带有令牌的嵌入特征集，具体为：将行图像块集X
r
线性映射为高维特征并与对应的可学习位置信息相加得到行嵌入特征集Y
r
＝{y
r(1)
，y
r(2)
，
…
，y
r(n)
}，将列图像块集X
c
线性映射为高维特征并与对应的可学习位置信息相加得到列嵌入特征集Y
c
＝{y
c(1)
，y
c(2)
，...，y
c(m)
}；将行嵌入特征集和列嵌入特征集分别进行重构，即分别对行嵌入特征集Y
r
和列嵌入特征集Y
c
展平为向量后，做若干标准化和线性映射处理，获得乳腺超声图像带有行令牌的行嵌入特征集和带有列令牌的列嵌入特征集，表示为：I
r
＝{C
r
，z
r(1)
，z
r(2)
，...，z
r(n)
}＝{C
r
，Z
r
}I
c
＝{C
c
，z
c(1)
，z
c(2)
，...，z
c(m)
}＝{C
c
，Z
c
}其中，I
r
表示乳腺超声图像带有行令牌的行嵌入特征集，C
r
表示行令牌，z
r(n)
表示第n行图像块集的行嵌入特征集；I
c
表示乳腺超声图像带有列令牌的列嵌入特征集，C
c
表示列令牌，z
c(m)
表示第m列图像块集的列嵌入特征集。4.根据权利要求3所述的基于HoVer
‑
Transformer的乳腺肿瘤良恶性鉴别方法，其特征在于，对于行嵌入特征集Y
r
中第n行的行嵌入特征集表示为：y
r(n)
＝{y
r(n，1)
，y
r(n，2)
，...，y
r(n，j)
}，j∈[1，m]对于列嵌入特征集Y
c
中第m列的列嵌入特征集表示为：y
c(m)
＝{y
c(1，m)
，y
c(2，m)
，...，y
c(i，m)
}，i∈[1，n]其中，y
r(n，j)
表示第n行第j列图像块的行嵌入特征，y
c(i，m)
表示第i行第m列图像块的列嵌入特征。5.根据权利要求3所述的基于HoVer
‑
Transformer的乳腺肿瘤良恶性鉴别方法，其特征
在于，所述多头注意力层采用Transformer神经网络的注意力机制来提取嵌入特征；所述多头交叉注意力层采用Transformer神经网络的注意力机制，使多个多头注意力层产生的多种类型的嵌入特征进行交互和融合，得到注意力加持后的新嵌入特征集，即得到所述带有令牌的新嵌入特征集，具体为：将行嵌入特征集Y
r
和列嵌入特征集Y
c
分别输入HoVer
‑
Transformer模型中第l个自注意力模块进行运算，运算公式为：力模块进行运算，运算公式为：力模块进行运算，运算公式为：力模块进行运算，运算公式为：其中表示为自注意力模块运算过程中的中间变量，表示在第l个自注意力模块中计算得到的行嵌入特征集，表示在第l个自注意力模块中计算得到的列嵌入特征集，l＝1，2，...，L，L为自注意力模块的总数，LN层为标准化模块，MSA为多头自注意力层；同时，将乳腺超声图像带有行令牌的行嵌入特征集I
r
与行嵌入特征集Y
r
一同输入第l个自注意力模块进行运算，将乳腺超声图像带有列令牌的列嵌入特征集I
c
与列嵌入特征集Y
c
一同输入第l个自注意力模块进行运算，运算公式为：一同输入第l个自注意力模块进行运算，运算公式为：一同输入第l个自注意力模块进行运算，运算公式为：一同输入第l个自注意力模块进行运算，运算公式为：一同输入第l个自注意力模块进行运算，运算公式为：一同输入第l个自注意力模块进行运算，运算公式为：一同输入第l个自注意力模块进行运算，运算公式为：一同输入第l个自注意力模块进行运算，运算公式为：其中，均为自注意力模块运算过程中的中间变量，表示在第l
‑
1个自注意力模块中的除去行令牌的部分，表示第l个自注意力模块中注意力加持后的带有行令牌的行嵌入特征集，表示在第l
‑
1个自注意力模块中的除去列令牌的部分，表示表示第l个自注意力模块中注意力加持后的带有列令牌的列嵌入特征集，FC为映射操作，MLP为多层感知机层；得到注意力加持后的带有行令牌的行嵌入特征集和注意力加持后的带有列令牌的列嵌入特征集其中，表示第l个自注意力模块中注意力加持后的行令牌，表示第l个自注意力模块中注意力加持后的行嵌入特征集，表示第l个自注意力模块中注意力加持后的列令牌，表示第l个自注意力模块中注意力加持后的列嵌入
特征集；将注意力加持后的带有行令牌的行嵌入特征集和注意力加持后的带有列令牌的列...

【专利技术属性】
技术研发人员：王瑛，刘再毅，韩楚，磨昱豪，梁长虹，李振辉，黄春旺，刘宇，许泽艳，
申请(专利权)人：广东省人民医院，
类型：发明
国别省市：