一种基于语义分割网络对造影图像进行分割的方法和装置制造方法及图纸

本发明专利技术实施例涉及一种基于语义分割网络对造影图像进行分割的方法和装置，所述方法包括：获取第一造影图像和第二造影图像；对预设的分割模式进行识别；若分割模式为第一模式，则使用单帧语义分割网络分别对第一造影图像和第二造影图像进行语义分割处理；若分割模式为第二模式，则使用双帧语义分割网络对第一造影图像和第二造影图像进行语义分割处理。本发明专利技术提高了血管狭窄部位的确认效率和确认精度。明提高了血管狭窄部位的确认效率和确认精度。明提高了血管狭窄部位的确认效率和确认精度。

【技术实现步骤摘要】
一种基于语义分割网络对造影图像进行分割的方法和装置


[0001]本专利技术涉及数据处理
，特别涉及一种基于语义分割网络对造影图像进行分割的方法和装置。

技术介绍

[0002]冠状动脉性心脏病(coronary artery heart disease,CHD)简称冠心病，是指因冠状动脉狭窄、供血不足而引起的心肌机能障碍和(或)器质性病变，故又称缺血性心肌病。在冠状动脉造影图像的定量分析中，需要分析冠状动脉具体的狭窄部位，然后再根据狭窄部位的狭窄程度做进一步判断。常规情况下，上述对血管狭窄部位的确认过程都是基于人工经验完成的。这种操作模式过于依赖人为因素，诸如人员从业经验、人眼的识别能力等，极容易出现确认不准的情况。而准确地分割出血管的边界对于分析血管的直径变化非常重要。

技术实现思路

[0003]本专利技术的目的，就是针对现有技术的缺陷，提供一种基于语义分割网络对造影图像进行分割的方法、装置、电子设备及计算机可读存储介质，采用由卷积神经网络(Convolutional Neural Networks,CNN)、残差网络(Residual Network,ResNet)、自注意力机制(Self
‑
attention Mechanism)网络构成的单帧或双帧语义分割网络对单帧或双帧造影图像进行语义分割，从而得到带有像素级聚类特征信息的特征数据也就是特征图像。基于本专利技术，既可以解决常规血管狭窄部位确认操作过于依赖人工因素的问题，还可以提高血管狭窄部位的确认效率和确认精度。
>[0004]为实现上述目的，本专利技术实施例第一方面提供了一种基于语义分割网络对造影图像进行分割的方法，所述方法包括：
[0005]获取第一造影图像和第二造影图像；
[0006]对预设的分割模式进行识别；若所述分割模式为第一模式，则使用单帧语义分割网络分别对所述第一造影图像和所述第二造影图像进行语义分割处理；若所述分割模式为第二模式，则使用双帧语义分割网络对所述第一造影图像和所述第二造影图像进行语义分割处理。
[0007]优选的，所述单帧语义分割网络包括第一特征提取网络组E1和第二特征提取网络组D1；
[0008]所述第一特征提取网络组E1由多个第一特征提取网络E1
i
组成，i的取值范围为1到N，N>1；所述第二特征提取网络组D1由多个第二特征提取网络D1
i
组成；
[0009]所述第一特征提取网络E1
i
的网络结构包括卷及神经网络结构和残差网络结构；
[0010]所述第二特征提取网络D1
i
的网络结构包括卷及神经网络结构和残差网络结构；
[0011]i＝N时，第二特征提取网络D1
N
的网络结构还包括自注意力机制网络结构；
[0012]所述第一特征提取网络组E1中，所述第一特征提取网络E1
i
与第一特征提取网络
E1
i+1
和所述第二特征提取网络D1
i
连接；
[0013]所述第二特征提取网络组D1中，所述第二特征提取网络D1
i
与第二特征提取网络D1
i
‑1连接；
[0014]所述单帧语义分割网络的第一特征提取网络E11用于接收输入的所述第一造影图像或所述第二造影图像，第二特征提取网络D11用于输出语义分割结果。
[0015]优选的，所述双帧语义分割网络包括第三特征提取网络组E2、第一自注意力网络A和第四特征提取网络组D2；
[0016]所述第三特征提取网络组E2由多个第三特征提取网络E2
j
组成，j的取值范围为1到M，M>1；
[0017]所述第四特征提取网络组D2由多个第四特征提取网络D2
j
组成；
[0018]所述第三特征提取网络E2
j
的网络结构包括卷及神经网络结构和残差网络结构；
[0019]所述第一自注意力网络A的网络结构为自注意力机制网络结构；
[0020]所述第四特征提取网络D2
j
的网络结构包括卷及神经网络结构和残差网络结构；
[0021]所述第三特征提取网络组E2与所述第一自注意力网络A连接；
[0022]所述第一自注意力网络A与所述第四特征提取网络组D2连接；
[0023]所述第三特征提取网络组E2中，所述第三特征提取网络E2
j
与第三特征提取网络E2
j+1
连接；
[0024]所述第四特征提取网络组D2中，所述第四特征提取网络D2
j
与第四特征提取网络D2
j
‑1连接；
[0025]所述双帧语义分割网络的第三特征提取网络E21用于接收输入的所述第一造影图像和所述第二造影图像，第四特征提取网络D21用于输出第一造影图像和第二造影图像的语义分割结果。
[0026]优选的，所述使用单帧语义分割网络分别对所述第一造影图像和所述第二造影图像进行语义分割处理，具体包括：
[0027]将所述第一造影图像或所述第二造影图像作为第一输入图像；
[0028]将所述第一输入图像输入所述单帧语义分割网络的所述第一特征提取网络组E1的所述第一特征提取网络E11进行特征提取，生成对应的第一特征数据fe1；将第一特征数据fe
i
‑1输入所述第一特征提取网络E1
i
进行特征提取，生成对应的第一特征数据fe
i
；直到将第一特征数据fe
N
‑1输入第一特征提取网络E1
N
进行特征提取，生成对应的第一特征数据fe
N
为止；
[0029]将所述第一特征数据fe
N
输入所述第二特征提取网络组D1的所述第二特征提取网络D1
N
进行特征提取，生成对应的第二特征数据fd
N
；对所述第二特征数据fd
N
与所述第一特征数据fe
N
‑1进行数据融合处理，并将融合数据输入第二特征提取网络D1
N
‑1进行特征提取，生成对应的第二特征数据fd
N
‑1；对第二特征数据fd
i
与所述第一特征数据fe
i
‑1进行数据融合处理，并将融合数据输入所述第二特征提取网络D1
i
‑1进行特征提取，生成对应的第二特征数据fd
i
‑1；直到对第二特征数据fd2与所述第一特征数据fe1进行数据融合处理，并将融合数据输入所述第二特征提取网络D11进行特征提取，生成对应的第二特征数据fd1为止；
[0030]将所述第二特征数据fd1作为与所述第一输入图像对应的语义分割结果输出。
[0031]优选的，所述使用双帧语义分割网络对所述第一造影图像和所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义分割网络对造影图像进行分割的方法，其特征在于，所述方法包括：获取第一造影图像和第二造影图像；对预设的分割模式进行识别；若所述分割模式为第一模式，则使用单帧语义分割网络分别对所述第一造影图像和所述第二造影图像进行语义分割处理；若所述分割模式为第二模式，则使用双帧语义分割网络对所述第一造影图像和所述第二造影图像进行语义分割处理。2.根据权利要求1所述的基于语义分割网络对造影图像进行分割的方法，其特征在于，所述单帧语义分割网络包括第一特征提取网络组E1和第二特征提取网络组D1；所述第一特征提取网络组E1由多个第一特征提取网络E1
i
组成，i的取值范围为1到N，N>1；所述第二特征提取网络组D1由多个第二特征提取网络D1
i
组成；所述第一特征提取网络E1
i
的网络结构包括卷及神经网络结构和残差网络结构；所述第二特征提取网络D1
i
的网络结构包括卷及神经网络结构和残差网络结构；i＝N时，第二特征提取网络D1
N
的网络结构还包括自注意力机制网络结构；所述第一特征提取网络组E1中，所述第一特征提取网络E1
i
与第一特征提取网络E1
i+1
和所述第二特征提取网络D1
i
连接；所述第二特征提取网络组D1中，所述第二特征提取网络D1
i
与第二特征提取网络D1
i
‑1连接；所述单帧语义分割网络的第一特征提取网络E11用于接收输入的所述第一造影图像或所述第二造影图像，第二特征提取网络D11用于输出语义分割结果。3.根据权利要求1所述的基于语义分割网络对造影图像进行分割的方法，其特征在于，所述双帧语义分割网络包括第三特征提取网络组E2、第一自注意力网络A和第四特征提取网络组D2；所述第三特征提取网络组E2由多个第三特征提取网络E2
j
组成，j的取值范围为1到M，M>1；所述第四特征提取网络组D2由多个第四特征提取网络D2
j
组成；所述第三特征提取网络E2
j
的网络结构包括卷及神经网络结构和残差网络结构；所述第一自注意力网络A的网络结构为自注意力机制网络结构；所述第四特征提取网络D2
j
的网络结构包括卷及神经网络结构和残差网络结构；所述第三特征提取网络组E2与所述第一自注意力网络A连接；所述第一自注意力网络A与所述第四特征提取网络组D2连接；所述第三特征提取网络组E2中，所述第三特征提取网络E2
j
与第三特征提取网络E2
j+1
连接；所述第四特征提取网络组D2中，所述第四特征提取网络D2
j
与第四特征提取网络D2
j
‑1连接；所述双帧语义分割网络的第三特征提取网络E21用于接收输入的所述第一造影图像和所述第二造影图像，第四特征提取网络D21用于输出第一造影图像和第二造影图像的语义分割结果。4.根据权利要求2所述的基于语义分割网络对造影图像进行分割的方法，其特征在于，所述使用单帧语义分割网络分别对所述第一造影图像和所述第二造影图像进行语义分割
处理，具体包括：将所述第一造影图像或所述第二造影图像作为第一输入图像；将所述第一输入图像输入所述单帧语义分割网络的所述第一特征提取网络组E1的所述第一特征提取网络E11进行特征提取，生成对应的第一特征数据fe1；将第一特征数据fe
i
‑1输入所述第一特征提取网络E1
i
进行特征提取，生成对应的第一特征数据fe
i
；直到将第一特征数据fe
N
‑1输入第一特征提取网络E1
N
进行特征提取，生成对应的第一特征数据fe
N
为止；将所述第一特征数据fe
N
输入所述第二特征提取网络组D1的所述第二特征提取网络D1
N
进行特征提取，生成对应的第二特征数据fd
N
；对所述第二特征数据fd
N
与所述第一特征数据fe
N
‑1进行数据融合处理，并将融合数据输入第二特征提取网络D1
N
‑1进行特征提取，生成对应的第二特征数据fd
N
‑1；对第二特征数据fd
i
与所述第一特征数据fe
i
‑1进行数据融合处理，并将融合数据输入所述第二特征提取网络D1
i
‑1进行特征提取，生成对应的第二特征数据fd
i
‑1；直到对第二特征数据fd2与所述第一特征数据fe1进行数据融合处理，并将融合数据输入所述第二特征提取网络D11进行特征提取，生成对应的第二特征数据fd1为止；将所述第二特征数据fd1作为与所述第一输入图像对应的语义分割结果输出。5.根据权利要求3所述的基于语义分割网络对造影图像进行分割的方法，其特征在于，所述使用双帧语义分割网络对所述第一造影图像和所述第二造影图像进行语义分割处理，具体包括：将所述第一造影图像输入所述双帧语义分割网络的所述第三特征提取网络组E2的所述第三特征提取网络E21进行特征提取，生成对应的第三一特征数据fe
a1
；将第三一特征数据fe
a(j
‑
1)
输入所述第三特征提取网络E2
j
进行特征提取，生成对应的第三一特征数据fe
aj
；直到将第三一特征数据fe
a(M
‑
1)
输入第三特征提取网络E2
M
进行特征提取，生成对应的第三一特征数据fe
aM
为止；由得到的所有第三一特征数据按先后顺序组成第三一特征数据序列；所述第三一特征数据序列为(fe
a1
,fe
a2
…
fe
aj
…
fe
aM
)；将所述第二造影图像输入所述第三特征提取网络E21进行特征提取，生成对应的第三二特征数据fe
b1
；将第三二特征数据fe
b(j
‑
1)
输入所述第三特征提取网络E2
j
进行特征提取，生成对应的第三二特征数据fe
bj
；直到将第三二特征数据fe
b(M
‑
1)
输入所述第三特征提取网络E2
M
进行特征提取，生成对应的第三二特征数据fe
bM
为止；由得到的所有第三二特征数据按先后顺序组成第三二特征数据序列；所述第三二特征数据序列为(fe
b1
,fe
b2
…
fe
bj
…
fe
bM
)；将所述第三一特征数据序列(fe
a1
,fe
a2
…
fe

【专利技术属性】
技术研发人员：吴泽剑，曹君，
申请(专利权)人：乐普北京医疗器械股份有限公司，
类型：发明
国别省市：