【技术实现步骤摘要】
本专利技术涉及图像处理，特别是涉及一种基于时空对应注意力网络的冠状动脉序列血管分割方法、装置、设备及存储介质。
技术介绍
1、冠状动脉疾病主要由动脉粥样硬化引起，这会导致血管的狭窄或阻塞。x射线冠状动脉造影被公认为是冠状动脉疾病临床诊断和介入治疗的金标准。从x射线冠状动脉造影图像序列中提取血管是计算机辅助诊断和治疗的重要先决条件。
2、然而，由于冠状动脉造影图像的对比度低、噪声多；呼吸和心脏等器官的运动会带来伪影；复杂的血管结构，例如多尺度结构、分叉结构和重叠结构。这些特点使得从x射线冠状动脉造影图像序列中高效准确提取血管仍然是一项具有挑战性的任务。
3、卷积神经网络由于权重共享、稀疏连接以及强大的特征提取能力，近年来在血管分割方面取得了显著的进展。unet是一种基于卷积神经网络的医学图像处理网络，设计有对称的编码-解码和跳跃连接结构。该网络能够融合医学图像的多级特征，因此许多扩展方法被用来提取复杂的血管结构。然而，如果这些网络只关注像素级分割，忽略血管结构的时序信息，会进一步加剧血管分割的破碎和缺失。此外，血管分割任务中通常存在前景血管像素数和背景像素数的类别不平衡问题。
技术实现思路
1、鉴于上述问题，本专利技术提供用于克服上述问题或者至少部分地解决上述问题的一种血管分割方法、装置、设备及存储介质。
2、本专利技术提供了如下方案：
3、一种血管分割方法，包括：
4、获取连续多帧的血管造影图像，并由连续多帧所述血管造影图
5、利用值编码器对所述当前分割帧图像以及若干所述前序帧图像进行编码获得多级的骨干特征；利用记忆编码器对若干所述前序帧图像以及若干所述前序帧图像各自对应的分割掩膜进行编码获得记忆特征；
6、利用时空对应注意力组件对最高级的所述骨干特征以及所述记忆特征进行处理获得空间注意力特征图、通道注意力特征图以及时空对应特征图；所述时空对应注意力组件包括利用输入的最高级的所述骨干特征获取所述空间注意力特征图的空间注意力模块、利用输入的最高级的所述骨干特征获取所述通道注意力特征图的通道注意力模块以及利用输入的最高级的所述骨干特征以及所述记忆特征获得所述时空对应特征图的时空对应模块；
7、将所述空间注意力特征图、所述通道注意力特征图、所述时空对应特征图在通道维度拼接后输入解码器，同时将多级的所述骨干特征以跳跃连接的方式输入所述解码器，以便所述解码器产生分割结果。
8、优选地：所述值编码器与所述记忆编码器的结构相同，均采用多个卷积块提取输入数据的多尺度特征，并经过最大池化的降采样层；每个所述卷积块包括两个卷积核大小为3×3的卷积、批归一化以及线性整流单元。
9、优选地：所述空间注意力模块用于将所有空间位置加权，选择性的聚合每个空间位置的特征；所述空间注意力模块用于执行以下操作：
10、分别采用和对最高级的所述骨干特征进行卷积操作，产生对应的特征图和c表示特征图的通道数，h和w是图像的高度和宽度；
11、通过对k和q的转置矩阵相乘之后应用softmax层，获得空间注意力矩阵表示如下：
12、
13、式中：s(x,y)表示第y个位置对第x个位置的影响，kx表示特征图k的第x个位置、表示特征图q转置后的第y个位置。
14、将特征图v与s(x,y)相乘得到空间注意力增强的特征f′。
15、优选地：所述通道注意力模块用于对不同通道的特征进行全局表示和归一化，所述通道注意力模块用于执行以下操作：
16、将最高级的所述骨干特征与其转置特征相乘得到通道依赖矩阵对通道依赖矩阵进行softmax处理，得到通道注意力矩阵表示如下：
17、
18、式中：c(x,y)表示第y个通道对x个通道的影响，bx表示当前帧最高级骨干特征的x个通道，表示当前帧最高级骨干特征转置后的第y个通道；
19、将c(x,y)和b相乘，获得通道注意力增强的特征f″。
20、优选地：所述时空对应模块用于比较骨干特征中当前分割帧和前序帧的相关性获得时空关联矩阵，进而从高级记忆特征中提取时间判别的显著特征；所述时空对应模块用于执行以下操作：
21、分别采用的卷积操作，产生对应的特征图和将当前分割帧特征图的形状重塑为前序帧特征图的形状重塑为对当前分割帧q1和前序帧q0的转置应用相似度函数后，再经过softmax层处理，获得时空匹配矩阵表示如下：
22、
23、式中：表示当前分割帧中的x点，表示前序帧中的y点，t表示相似度函数，即负平方欧氏距离；
24、将t(0,1)和记忆特征m相乘，获得与当前帧关联的时序特征f″′。
25、优选地：结合ce损失函数和dice损失函数对所述解码器的四个输出进行深监督训练；
26、所述ce损失函数由下式表示：
27、
28、式中：yi∈{0,1}是位置i的金标准，pi∈[0，1]是位置i的预测值，n是像素总数；
29、所述dice损失函数由下式表示：
30、
31、式中：ε是保持数值稳定的一个很小常数。
32、优选地：将所述当前分割帧图像作为下一次分割的前序帧图像，所述前分割帧图像和下一帧图像一并用于输入值编码器，前分割帧图像的分割掩码和前分割帧图像作为前序帧一起输入记忆编码器，开启下一帧分割。
33、一种血管分割装置，包括：
34、图像获取单元，用于获取连续多帧的血管造影图像，并由连续多帧所述血管造影图像中选择确定待分割的当前分割帧图像以及所述当前分割帧图像之前连续的若干前序帧图像；
35、特征获取单元，用于利用值编码器对所述当前分割帧图像以及若干所述前序帧图像进行编码获得多级的骨干特征；利用记忆编码器对若干所述前序帧图像以及若干所述前序帧图像各自对应的分割掩膜进行编码获得记忆特征；
36、注意力特征图获取单元，用于利用时空对应注意力组件对最高级的所述骨干特征以及所述记忆特征进行处理获得空间注意力特征图、通道注意力特征图以及时空对应特征图；所述时空对应注意力组件包括利用输入的最高级的所述骨干特征获取所述空间注意力特征图的空间注意力模块、利用输入的最高级的所述骨干特征获取所述通道注意力特征图的通道注意力模块以及利用输入的最高级的所述骨干特征以及所述记忆特征获得所述时空对应特征图的时空对应模块；
37、分割单元，用于将所述空间注意力特征图、所述通道注意力特征图、所述时空对应特征图在通道维度拼接后输入解码器，同时将多级的所述骨干特征以跳跃连接的方式输入所述解码器，以便所述解码器产生分割结果。
38、一种血管分割设备，所述设备包括处理器以及存储器：
39、所述存储器用于存储程序代码，并将所述程序代码传输给本文档来自技高网...
【技术保护点】
1.一种血管分割方法，其特征在于，包括：
2.根据权利要求1所述的血管分割方法，其特征在于，所述值编码器与所述记忆编码器的结构相同，均采用多个卷积块提取输入数据的多尺度特征，并经过最大池化的降采样层；每个所述卷积块包括两个卷积核大小为3×3的卷积、批归一化以及线性整流单元。
3.根据权利要求1所述的血管分割方法，其特征在于，所述空间注意力模块用于将所有空间位置加权，选择性的聚合每个空间位置的特征；所述空间注意力模块用于执行以下操作：
4.根据权利要求1所述的血管分割方法，其特征在于，所述通道注意力模块用于对不同通道的特征进行全局表示和归一化，所述通道注意力模块用于执行以下操作：
5.根据权利要求1所述的血管分割方法，其特征在于，所述时空对应模块用于比较所述骨干特征中当前分割帧和前序帧的相关性获得时空关联矩阵，进而从高级记忆特征中提取时间判别的显著特征；所述时空对应模块用于执行以下操作：
6.根据权利要求1所述的血管分割方法，其特征在于，结合ce损失函数和dice损失函数对所述解码器的四个输出进行深监督训练；
8.一种血管分割装置，其特征在于，包括：
9.一种血管分割设备，其特征在于，所述设备包括处理器以及存储器：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-7任一项所述的血管分割方法。
...【技术特征摘要】
1.一种血管分割方法，其特征在于，包括：
2.根据权利要求1所述的血管分割方法，其特征在于，所述值编码器与所述记忆编码器的结构相同，均采用多个卷积块提取输入数据的多尺度特征，并经过最大池化的降采样层；每个所述卷积块包括两个卷积核大小为3×3的卷积、批归一化以及线性整流单元。
3.根据权利要求1所述的血管分割方法，其特征在于，所述空间注意力模块用于将所有空间位置加权，选择性的聚合每个空间位置的特征；所述空间注意力模块用于执行以下操作：
4.根据权利要求1所述的血管分割方法，其特征在于，所述通道注意力模块用于对不同通道的特征进行全局表示和归一化，所述通道注意力模块用于执行以下操作：
5.根据权利要求1所述的血管分割方法，其特征在于，所述时空对应模块用于比较所述骨干特征中当前分割帧和前序帧的相关性获得时空...
【专利技术属性】
技术研发人员：艾丹妮，高云龙，杨健，范敬凡，肖德强，付天宇，宋红，邵龙，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。