基于多任务算法的实时多器械分割方法和系统技术方案

本发明专利技术属于图像分析领域，具体涉及了一种基于多任务算法的实时多器械分割方法和系统，旨在解决现有的X涉嫌图像器械分割无法同时分割出多种器械、透视图像中多种器械像素重叠和实时性差的问题。本发明专利技术包括：获取X光视频序列，作为被测视频序列，基于所述被测视频序列，通过训练好的基于多任务学习的轻量级深度特征细化网络获取预设类别器械的预测分割结果。本发明专利技术的基于多任务学习的轻量级深度特征细化网络通过添加特征细化模块和通道标定模块，并结合混合损失函数、交叉熵损失函数和多任务损失函数，实现了在X射线图像中进行实时多仪器分割，解决了同时仪器分割的像素重叠的问题，提高了预测分割的准确性和鲁棒性。提高了预测分割的准确性和鲁棒性。提高了预测分割的准确性和鲁棒性。

【技术实现步骤摘要】
基于多任务算法的实时多器械分割方法和系统


[0001]本专利技术属于图像分析领域，具体涉及了一种基于多任务算法的实时多器械分割方法和系统。

技术介绍

[0002]腹主动脉瘤(Abdominal aortic aneurysm,AAA)是一种局部扩张的主动脉，在破裂前通常不会展现出典型症状，因此导致其致死率为85％——90％。
[0003]在血管内介入手术中，导丝经股动脉插入血管，在X射线透视图像的引导下送入血管狭窄处，进行支架植入、消融等治疗。由于介入手术的复杂性，手术过程中通常需要高剂量的辐射照射和大剂量肾毒性碘造影剂，这将导致患者出现常见的术后并发症，如肾功能不全。因此，减少造影剂的使用十分重要。
[0004]手术前，医生可通过三维CT(3D computed tomography)图像获取血管信息。目前已有研究证明融合术前信息与术中透视来指导介入手术可以减少造影剂的使用，并加快手术进程。然而，由于患者的运动或介入器械引起的血管变形，融合可能变得不准确。了解导丝、导管、支架等器械的存在及其形状和位置有助于评估融合质量和重校准，也可作为术中变形校正算法的输入，直接辅助再配准。因此，实时、准确的多器械分割必不可少。
[0005]然而，这项任务并不简单，目前面临的主要挑战如下:导丝和导管像素与背景像素的比例较低，导致像素类别不平衡；不同介入手术中支架形态不同，具有不同的形状、大小等视觉特征；造影剂和脊柱的伪影会干扰器械边缘像素的分类精度。
[0006]目前有很多针对x射线图像中器械的检测和分割任务的研究，主要包括两大类方法，分别为基于特征的方法和基于学习的方法。其中，基于特征的方法需要经验丰富的操作人员与之配合，因此大大影响了其鲁棒性和临床适用性。近年来，卷积神经网络(CNN)在这一领域取得了令人瞩目的成果。然而，大多数方法都是针对某一种特定器械，从而无法适用于其他器械，并且在存在其他器械的情况下，自身性能还可能会下降。常规的多类分割种每个像素可能只有一个类关联，而在透视图像中，导丝、导管、支架的像素严重重叠，因此这是一个多任务学习问题。Laina等人提出过一个器械分割和姿态估计的多任务学习算法，但该算法无法满足实时性要求。近年，Islam等人尝试通过多阶段训练来优化多任务学习模型，但仍无法解决速度较慢的问题。

技术实现思路

[0007]为了解决现有技术中的上述问题，即现有的X涉嫌图像器械分割无法同时分割出多种器械、透视图像中多种器械像素重叠和实时性差的问题，本专利技术提供了一种基于多任务算法的实时多器械分割方法，包括：
[0008]步骤S100，获取X光视频序列，作为被测视频序列；
[0009]步骤S200，基于所述被测视频序列，通过训练好的基于多任务学习的轻量级深度特征细化网络获取预设类别器械的预测分割结果；所述预测分割结果为包含预设类别器械
的二值分割掩膜；
[0010]所述基于多任务学习的轻量级深度特征细化网络基于多级编码器
‑
解码器结构构建，包括顺次连接的第一卷积层、编码器部分、解码器部分、特征拼接模块、通道标定模块和多任务输出通道；其中解码器部分包括解码器模块和特征细化模块。
[0011]在一些优选的实施方式中，步骤S200包括：
[0012]步骤S210，基于所述被测视频序列，抽取一张图像作为当前图像；
[0013]步骤S220，基于所述当前图像，通过所述第一卷积层获得第一特征图；
[0014]步骤S230，基于所述第一特征图，通过所述编码器部分分级编码获得分级特征压缩图像；
[0015]步骤S240，将各级编码器部分的输入信息作为低层特征LF通过残差连接传递至解码器部分的特征细化模块；
[0016]步骤S250，基于所述低层特征和各级编码器部分的输入信息，通过所述解码器部分分级解码和捕获远程依赖关系，获得精确化后的分级特征；
[0017]步骤S260，基于所述精确化后的分级特征，通过所述特征拼接模块进行特征拼接，获得精确化后的拼接特征；
[0018]步骤S270，基于所述精确化后的拼接特征，通过通道标定模块捕获跨通道关系重新校准多层特征的融合权重，获得通道标定特征图像；
[0019]步骤S280，基于所述通道标定特征图像，通过多任务输出通道，获得预设类别器械的预测分割结果。
[0020]在一些优选的实施方式中，步骤S250包括：
[0021]步骤S251，通过解码器部分的解码器模块，对所述分级特征压缩图像进行分级解码，获得高层特征；
[0022]步骤S252，将所述高层特征和低层特征在通道维度拼接，具体为，对于第k层的高层特征和低层特征通过两个空间池化核(H，1)和(1，W)将全局平均池化操作分解为两个一维特征编码操作，混合池化在高度h和宽度w处的输出的混合池化特征为：解为两个一维特征编码操作，混合池化在高度h和宽度w处的输出的混合池化特征为：
[0023]其中，k
c
表示第k层的第c个通道，表示第k层的第c个通道的高层特征和低层特征在通道维度拼接获得的混合特征，i表示当前像素的纵坐标，j表示当前像素的横坐标，z
c
(h)表示高度h通道c的混合特征，z
c
(w)表示宽度h通道c的混合特征；
[0024]步骤S253，计算每一个像素的混合池化特征，通过卷积操作、一组归一化和一组参数整流线性单元PReLU，在垂直和水平方向编码空间信息，获得中间特征f：f＝δ(W
T
F
c
(z
c
(h)，z
c
(w)))
[0025]其中，δ表示PReLU的激活函数，W表示权值，F
c
表示通道维度拼接，其中f∈R
2C
/r
×
(H+W)
；
[0026]步骤S254，将所述中间特征图f，在空间维度分为两个独立的张量f
h
∈R
2C/r
×
H
和f
w
∈R
2C/r
×
W
，r表示预设的衰减比例；
[0027]步骤S255，基于两个独立的张量，通过两个1*1的卷积转变为与混合特征通道数相同的张量，输出精确化后的分级特征数相同的张量，输出精确化后的分级特征
[0028]表示第k层精确化后的特征，表示第k层的低层特征，表示元素对应相乘，σ表示Sigmoid激活函数，W
h
和W
w
分别表示高和宽方向的权值，
[0029]在一些优选的实施方式中，步骤S270包括：
[0030]基于所述精确化后的分级特征获取的精确化后的拼接特征和中间特征图像F，通过通道标定模块推断出通道标定的特征图像F
′
：
[0031]F表示中间特征f构成的中间特征图像，M
c
表示一维通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务算法的实时多器械分割方法，其特征在于，所述方法包括：步骤S100，获取X光视频序列，作为被测视频序列；步骤S200，基于所述被测视频序列，通过训练好的基于多任务学习的轻量级深度特征细化网络获取预设类别器械的预测分割结果；所述预测分割结果为包含预设类别器械的二值分割掩膜；所述基于多任务学习的轻量级深度特征细化网络基于多级编码器
‑
解码器结构构建，包括顺次连接的第一卷积层、编码器部分、解码器部分、特征拼接模块、通道标定模块和多任务输出通道；其中解码器部分包括解码器模块和特征细化模块。2.根据权利要求1所述的基于多任务算法的实时多器械分割方法，其特征在于，步骤S200包括：步骤S210，基于所述被测视频序列，抽取一张图像作为当前图像；步骤S220，基于所述当前图像，通过所述第一卷积层获得第一特征图；步骤S230，基于所述第一特征图，通过所述编码器部分分级编码获得分级特征压缩图像；步骤S240，将各级编码器部分的输入信息作为低层特征通过残差连接传递至解码器部分的特征细化模块；步骤S250，基于所述低层特征和各级编码器部分的输入信息，通过所述解码器部分分级解码和捕获远程依赖关系，获得精确化后的分级特征；步骤S260，基于所述精确化后的分级特征，通过所述特征拼接模块进行特征拼接，获得精确化后的拼接特征；步骤S270，基于所述精确化后的拼接特征，通过通道标定模块捕获跨通道关系重新校准多层特征的融合权重，获得通道标定特征图像；步骤S280，基于所述通道标定特征图像，通过多任务输出通道，获得预设类别器械的预测分割结果。3.根据权利要求2所述的基于多任务算法的实时多器械分割方法，其特征在于，步骤S250包括：步骤S251，通过解码器部分的解码器模块，对所述分级特征压缩图像进行分级解码，获得高层特征；步骤S252，将所述高层特征和低层特征在通道维度拼接，具体为，对于第k层的高层特征和低层特征通过两个空间池化核(H，1)和(1，W)将全局平均池化操作分解为两个一维特征编码操作，平均池化和最大池化的混合池化在高度h和宽度w处的输出的特征为：为：其中，k
c
表示第k层的第c个通道，表示第k层的第c个通道的高层特征和低层特
征在通道维度拼接获得的混合特征，i表示当前像素的纵坐标，j表示当前像素的横坐标，z
c
(h)表示高度h通道c的混合特征，z
c
(w)表示宽度h通道c的混合特征；步骤S253，计算每一个像素的混合池化特征，通过卷积操作、一组归一化和一组参数整流线性单元PReLU，在垂直和水平方向编码空间信息，获得中间特征f：f＝δ(W
T
F
c
(z
c
(h)，z
c
(w)))其中，δ表示PReLU的激活函数，W表示权值，F
c
表示通道维度拼接，其中f∈R
2C/r
×
(H+W)
；步骤S254，将所述中间特征图f，在空间维度分为两个独立的张量f
h
∈R
2C/r
×
H
和f
w
∈R
2C/r
×
W
，r表示预设的衰减比例；步骤S255，基于两个独立的张量，通过两个1*1的卷积转变为与混合特征通道数相同的张量，输出精确化后的分级特征同的张量，输出精确化后的分级特征同的张量，输出精确化后的分级特征表示第k层精确化后的特征，表示第k层的低层特征，表示元素对应相乘，σ表示Sigmoid激活函数，W
h
和W
w
分别表示高和宽方向的权值，4.根据权利要求3所述的基于多任务算法的实时多器械分割方法，其特征在于，步骤S270包括：基于所述精确化后的分级特征获取的精确化后的拼接特征和中间特征图像F，通过通道标定模块推断出通道标定的特征图像F
′
：F表示中间特征f构成的中间特征图像，M
c
表示一维通道精确图；其中，M
c
(F)＝σ(Wf
mix
(x))其中，W表示权重，f
mix
(x)表示融合平均池化特征和最大池化特征的混合池化：f
mix
(x)＝σ(w
T
x)f
max
(x)+(1
‑
σ(w
T
x))f
avg
(x)其中，σ表示Sigmoid激活函数，f
max
(x)表示最大池化特征，f
avg
(x)表示平均池化特征，w表示调制权重。...

【专利技术属性】
技术研发人员：刘市祺，谢晓亮，周小虎，侯增广，刘暴，来志超，王超楠，周彦捷，马西瑶，
申请(专利权)人：中国医学科学院北京协和医院，
类型：发明
国别省市：