特定冠状动脉钙化分析的多视图形状约束系统和方法技术方案

本发明专利技术公开了一种多视图形状约束系统，包括：切片单元，对接收到的图像进行切片，获得冠状切片、矢状切片和轴向切片；第一扩张Unet单元、第二扩张Unet单元和残差扩张网络RDN单元，分别接收冠状切片、矢状切片和轴向切片，第一扩张Unet单元和第二扩张Unet单元对冠状切片和矢状切片进行建模并获得冠状和矢状视图的预测图作为钙化病变的补充信息，所述残差扩张网络RDN单元对轴向切片进行建模输出轴向切片的预测图；多视图形状约束单元，通过多视图注意力学习来集成不同的视图信息，生成多视图注意力特征；以及多任务学习单元，利用多视图形状约束单元的输出估计相关的钙化指数。

【技术实现步骤摘要】
特定冠状动脉钙化分析的多视图形状约束系统和方法
本专利技术涉及医学图像处理领域，更具体地，本专利技术涉及特定冠状动脉钙化分析的多视图形状约束系统和方法。
技术介绍
特定冠状动脉钙化分析为不同冠状血管中的钙化提供综合判断。通过同时检测和直接定量特定动脉钙化来揭示每个冠状动脉狭窄的部位和狭窄程度。钙的检测可捕获钙病灶的分布信息、几何和结构特征，提供较高的诊断价值。特定动脉钙化的定量测量能够提供各个动脉的钙化程度，这与这些血管的狭窄严重程度密切相关。然而，特定冠状动脉钙化分析的问题旨在获得多类型的高维任务的区分特征表示。首先，在二维平面检测和一维线性量化指标之间存在维度差异。这种维度差异导致这些多类型冠状动脉钙化指标的复杂关系，增加了多类型任务依赖学习和共性挖掘的难度。第二，不同钙分数之间存在分布差异。具体而言，阿格斯顿分数与每个钙化病变的峰值CT强度和面积相关，而质量分数取决于每个病变的平均CT强度和体积。对于不同的定量分数，透视点多样性导致分布多样性和更复杂的特征表示。第三，结合估计检测和定量冠状动脉钙化(CAC)嵌入在高维空间中。这种内在特征对此类多类型任务的区分性特征表示造成困难。目前，存在许多用于冠脉钙化的自动定量方法，但是由于其固有的结构局限性，它们无法进行特定动脉钙化分析的区分特征表示。这些方法仅用于CAC的分类或回归，因此它们不适合特定动脉钙化分析中多类型任务的任务依赖学习和共性挖掘。现有方法无法学习多个回归任务的联合分布，因为它们每次仅关注一个分数。另外，由于特定动脉钙化分析的多类型高维指标估计，在其他领域的现有的多任务学习方法也无法给出令人满意的效果。
技术实现思路
本专利技术提供一种多视图形状约束(MVSC)框架，我们提出了一种多视图形状约束(MVSC)框架，以探索通过多任务学习自动同时检测和直接定量特定动脉CAC的区别特征表示。首先，提出了一种先进的残差扩张网络(RDN)模块，用于学习用于将残差网络和扩张卷积无缝结合的多类型钙化任务的表达CAC特征。其次，钙化病灶通常占据相邻的切片。为了提取全局语义特征并模仿报告临床医生的检查程序，本专利技术通过残差注意力学习将多视图形状约束机制和RDN集成在一起，以形成一个多视图三编码器注意力模块，从而增强了RDN特征的可分辨性。第三，建立用于左前降支(LAD)，左环外动脉(LCX)，右冠状动脉(RCA)和全心的钙化的语义分割的解码器模型，以及用于特定动脉钙分数的回归模型，结合用于任务依赖性学习和相互增强。将多视图三编码器注意力模块和多任务模块的区分特征表示相结合，可以有效地进行动脉特异性分析。根据本专利技术的一个实施例，提供一种多视图形状约束系统，包括：切片单元，所述切片单元对接收到的图像进行切片，获得冠状切片、矢状切片和轴向切片；第一扩张Unet单元、第二扩张Unet单元和残差扩张网络RDN单元，其中所述第一扩张Unet单元、第二扩张Unet单元和残差扩张网络RDN单元分别接收冠状切片、矢状切片和轴向切片，所述第一扩张Unet单元和第二扩张Unet单元对冠状切片和矢状切片进行建模并获得冠状和矢状视图的预测图作为钙化病变的补充信息，所述残差扩张网络RDN单元对轴向切片进行建模输出轴向切片的预测图；多视图形状约束单元，所述多视图形状约束单元接收第一扩张Unet单元、第二扩张Unet单元和残差扩张网络RDN单元的输出，通过多视图注意力学习来集成不同的视图信息，从而生成多视图注意力特征；以及多任务学习单元，所述多任务学习单元利用多视图形状约束单元的输出估计相关的钙化指数。在本专利技术的一个实施例中，该多视图形状约束系统还包括：下采样单元，所述下采样单元对输入图像进行下采样，并将下采样图像提供给切片单元。在本专利技术的一个实施例中，所述多视图形状约束系统的目标被定义为：其中t∈{seg，as，vs，ms}指示特定的目标任务，lt表示任务t的损耗函数，‖W‖2表示网络参数的L2归一化。在本专利技术的一个实施例中，残差扩张网络RDN包括收缩路径和扩展路径，在收缩路径中，使用具有4个残差块的广泛的深度残差网络ResNet对输入轴向切片进行编码，所述残差块分别由3、4、6、3个残差模块组成，每个残差模块具有三个连续的卷积层，其内核大小为1×1、3×3、1×1，每个卷积层之后是批归一化层(BN)以及修正线性单位(ReLU)，批归一化层(BN)用于对输出特征图进行归一化，修正线性单位(ReLU)则可以改善稀疏性，最后一个残差块用扩张卷积代替常规的卷积，以使输出特征图的有效接受域大于原始输入图像；在扩展路径中，使用上采样操作恢复特征图的维数，其后是与收缩路径的相应级别特征图的级联以及分别具有16个内核的两个3×3卷积；对于收缩路径和扩展路径之间的跳跃连接，合并了三个连续的扩张卷积层以从收缩路径组装特征图，而不是直接将它们传播到扩展路径中。在本专利技术的一个实施例中，第一扩张Unet单元和第二扩张Unet单元通过扩张卷积代替U-Net的跳跃连接，以结合U-Net和扩张的卷积的优点，在第一扩张Unet单元和第二扩张Unet单元的末尾，使用Sigmoid层将其输出归一化为[0,1]的范围。在本专利技术的一个实施例中，所述残差注意力学习被定义为：AMmv(xi,c)＝(1+Mcv(xi,c)+Msv(xi,c))*Fav(xi,c)其中i和c分别指示所有的空间位置和通道的索引，xi,c指示第i空间位置第c通道的特征向量；Mcv(xi,c)和Msv(xi,c)分别表示冠状和矢状切片的预测图；Fav(xi,c)表示RDN的输出预测图；AMmv(xi,c)表示多视图注意力模型学习的特征。在本专利技术的一个实施例，所述多任务学习单元包括级联单元、分割单元和回归单元，其中通过级联单元，先前的所述切片单元接收到的图像与多视图注意力特征相结合，用于在分割单元中进行精确的特定动脉钙化检测，在卷积层之后是BN层和ReLU层，将通道数转换为4，上采样层将特征图恢复为原始图像大小；在回归单元中，应用的大小为128×128×16、64、12的三个完全连接层，带有丢弃层和加法运算以及第一维度，来回归钙分数。根据本专利技术的另一个实施例，提供一种特定冠状动脉钙化分析的多视图形状约束方法，包括：对输入图像进行下采样；对下采样的图像进行切片，获得冠状切片、矢状切片和轴向切片；通过第一扩张Unet单元和第二扩张Unet单元对冠状切片和矢状切片进行建模并获得冠状和矢状视图的预测图作为钙化病变的补充信息，通过残差扩张网络RDN单元对轴向切片进行建模获得轴向切片的预测图；通过多视图注意力学习来集成冠状切片、矢状切片和轴向切片的预测图，从而生成多视图注意力特征；以及通过多任务学习单元利用多视图形状约束单元的输出估计相关的钙化指数。在本专利技术的另一个实施例中，所述多视图形状约束方法的目标被定义为：其中t∈{seg，as，vs，ms}指示特定的目标任务，本文档来自技高网...

【技术保护点】
1.一种多视图形状约束系统，包括：/n切片单元，所述切片单元对接收到的图像进行切片，获得冠状切片、矢状切片和轴向切片；/n第一扩张Unet单元、第二扩张Unet单元和残差扩张网络RDN单元，其中所述第一扩张Unet单元、第二扩张Unet单元和残差扩张网络RDN单元分别接收冠状切片、矢状切片和轴向切片，所述第一扩张Unet单元和第二扩张Unet单元对冠状切片和矢状切片进行建模并获得冠状和矢状视图的预测图作为钙化病变的补充信息，所述残差扩张网络RDN单元对轴向切片进行建模输出轴向切片的预测图；/n多视图形状约束单元，所述多视图形状约束单元接收第一扩张Unet单元、第二扩张Unet单元和残差扩张网络RDN单元的输出，通过多视图注意力学习来集成不同的视图信息，从而生成多视图注意力特征；以及/n多任务学习单元，所述多任务学习单元利用多视图形状约束单元的输出估计相关的钙化指数。/n

【技术特征摘要】
1.一种多视图形状约束系统，包括：
切片单元，所述切片单元对接收到的图像进行切片，获得冠状切片、矢状切片和轴向切片；
第一扩张Unet单元、第二扩张Unet单元和残差扩张网络RDN单元，其中所述第一扩张Unet单元、第二扩张Unet单元和残差扩张网络RDN单元分别接收冠状切片、矢状切片和轴向切片，所述第一扩张Unet单元和第二扩张Unet单元对冠状切片和矢状切片进行建模并获得冠状和矢状视图的预测图作为钙化病变的补充信息，所述残差扩张网络RDN单元对轴向切片进行建模输出轴向切片的预测图；
多视图形状约束单元，所述多视图形状约束单元接收第一扩张Unet单元、第二扩张Unet单元和残差扩张网络RDN单元的输出，通过多视图注意力学习来集成不同的视图信息，从而生成多视图注意力特征；以及
多任务学习单元，所述多任务学习单元利用多视图形状约束单元的输出估计相关的钙化指数。


2.如权利要求1所述的多视图形状约束系统，其特征在于，还包括：下采样单元，所述下采样单元对输入图像进行下采样，并将下采样图像提供给切片单元。


3.如权利要求1所述的多视图形状约束系统，其特征在于，所述多视图形状约束系统的目标被定义为：



其中t∈{seg，as，vs，ms}指示特定的目标任务，lt表示任务t的损耗函数，W是整个网络所有参数的集合，‖W‖2表示网络参数的L2正则化，λ是L2正则化项的超参，为金标准。


4.如权利要求1所述的多视图形状约束系统，其特征在于，残差扩张网络RDN包括收缩路径和扩展路径，
在收缩路径中，使用具有4个残差块的广泛的深度残差网络ResNet对输入轴向切片进行编码，所述残差块分别由3、4、6、3个残差模块组成，每个残差模块具有三个连续的卷积层，其内核大小为1×1、3×3、1×1，每个卷积层之后是批归一化层(BN)以及修正线性单位(ReLU)，批归一化层(BN)用于对输出特征图进行归一化，修正线性单位(ReLU)则可以改善稀疏性，最后一个残差块用扩张卷积代替常规的卷积，以使输出特征图的有效接受域大于原始输入图像；
在扩展路径中，使用上采样操作恢复特征图的维数，其后是与收缩路径的相应级别特征图的级联以及分别具有16个内核的两个3×3卷积；
对于收缩路径和扩展路径之间的跳跃连接，合并了三个连续的扩张卷积层以从收缩路径组装特征图，而不是直接将它们传播到扩展路径中。


5.如权利要求1所述的多视图形状约束系统，其特征在于，第一扩张Unet单元和第二扩张Unet单元通过扩张卷积代替U-Net的跳跃连接，以结合U-Net和扩张的卷积的优点，在第一扩张Unet单元和第二扩张Unet单...

【专利技术属性】
技术研发人员：杨光，牛张明，江荧辉，李劳，徐磊，张贺晔，
申请(专利权)人：杭州海睿博研科技有限公司，帝工杭州科技产业有限公司，
类型：发明
国别省市：浙江;33