基于关键点检测的颈动脉斑块回声分类方法技术

本发明专利技术公开了一种基于关键点检测的颈动脉斑块回声分类方法，其特征在于包括：对超声图像的非成像区域进行裁剪，并归一化超声图现象；根据颈动脉超声斑块中心点的标注，利用一个非标准的二维正态分布生成用于定位的热图标签；将一个斑块视作一个点，利用关键点定位技术建立斑块定位子网络，完成颈动脉斑块中心点定位；在斑块定位子网络产出结果的基础上提取斑块的全局和局部特征，结合去冗余技术建立斑块分类子网络,完成颈动脉斑块回声分类。该方法可以缓解超声影像中斑块大小较小而带来的斑块特征提取困难，并且能差别利用斑块区域和整张超声图形的有效信息，能用于单斑块的颈动脉超声图像的回声分类。动脉超声图像的回声分类。动脉超声图像的回声分类。

【技术实现步骤摘要】
基于关键点检测的颈动脉斑块回声分类方法


[0001]本专利技术属于计算机领域，具体涉及一种对医学影像中颈动脉斑块进行检测和回声分类的方法。

技术介绍

[0002]心血管疾病已经成为了世界上死亡率最高的疾病之一。颈动脉粥样硬化斑块，简称颈动脉斑块，是导致心血管事件的一个重要因素。颈动脉斑块是由脂质、细胞外基质、巨噬细胞、堆积在动脉血管壁上的平滑肌细胞相互作用而产生。当斑块破裂，由血小板聚集体或者斑块碎片组成的动脉粥样硬化血栓栓塞可能进入大脑，阻塞较小的动脉，导致缺血性发作或者中风。容易破损的斑块成为易损斑块或者不稳定斑块。斑块的稳定性与斑块的组成成分与组织结构相关，富含钙质且表面光滑的斑块偏向于是稳定斑块，相反，富含脂质、表面粗糙的斑块偏向于是不稳定斑块。目前诊断颈动脉斑块的手段主要包括颈动脉超声超声、计算机体层成像、核磁共振、数字剪影血管造影术等。超声由于其便捷、低廉、无辐射、无创伤等特点成为应用最广泛的颈动脉检查手段。
[0003]医生可以根据颈动脉超声检查，实时地观察到患者的血管形态、斑块形态。通过简单的标注能医生能得到斑块更多的技术指标，例如斑块的狭窄率、斑块大小等，进而做出诊断。通常，医生根据斑块的回声类型，将斑块分为强回声斑块、混合回声斑块及低回声斑块。其中强回声斑块一般比较稳定，低回声斑块不稳定，而混合回声斑块的稳定性介于两者之间。然而，由于在颈动脉超声影像中劲动脉斑块相对于整张图像的占比较低，约为百分之二，且存在着不规则分布的伪影、散斑噪声、低对比度和局部灰度变化等困难，所以利用计算机技术进行超声中的斑块回声类型分类仍然是一项挑战。

技术实现思路

[0004]本专利技术要解决的技术问题是：超声影像中斑块大小较小而带来的斑块特征提取困难的问题。本专利技术的目的在于通过关键点检测技术，从而结合斑块的全局和局部特征，提出一种基于关键点检测的颈动脉斑块回声分类方法，该模型可以缓解超声影像中斑块大小较小而带来的斑块特征提取困难，并且能差别利用斑块区域和整张超声图形的有效信息，能用于单斑块的颈动脉超声图像的回声分类。
[0005]为达到上述目的，本专利技术的构思是：首先对超声图像进行预处理，去除无关信息。然后利用关键点定位技术确定斑块大致位置。最后定位的基础上提取超声图像关于斑块的全局和局部特征并实现斑块分类。
[0006]本专利技术的技术方案：
[0007]一种基于关键点检测的颈动脉斑块回声分类方法，其特征在于包括：
[0008]A.数据预处理：对超声图像的非成像区域进行裁剪，并归一化超声图现象；
[0009]B.定位标签生成：根据颈动脉超声斑块中心点的标注，利用一个非标准的二维正态分布生成用于定位的热图标签；
[0010]C.建立斑块定位子网络：将一个斑块视作一个点，利用关键点定位技术建立斑块定位子网络，完成颈动脉斑块中心点定位；
[0011]D.建立斑块分类子网络：在斑块定位子网络产出结果的基础上提取斑块的全局和局部特征，结合去冗余技术建立斑块分类子网络,完成颈动脉斑块回声分类。
[0012]步骤B中以D
xy
表示定位标签在(x,y)位置的值，生成的定位标签可如下定义：
[0013][0014]其中(x0，y0)表示斑块的中心位置，radius表示惩罚半径。
[0015]步骤C中：斑块定位子网络先采用卷积和池化层将超声图像转化为128通道的特征层，再将这128通道的特征层组通过残差块和池化层下采样三次，然后通过残差块与最近邻插值进行上采样恢复分辨率，相同分辨率下采样与上采样层的特征通过残差块进行连接；最后通过卷积层将特征通道归为1，输出颈动脉斑块定位热图。
[0016]步骤D中：斑块分类子网络分为多分支特征提取模块、正交融合模块和带权多损失模块三个模块，首先通过多分支特征提取模块分别提取斑块区域的高清细节特征以及超声图像全图的整体特征；然后正交融合模块将细节特征与整体特征通过正交方式剔除冗余信息并进行特征融合；最后带权多损失模块将全局分支、局部分支和融合分支的分类结果利用加权损失的方式进行约束，进行区别性的训练。
[0017]多分支特征提取模块采用全局分支和局部分支的多分支设计，全局分支以调整大小后的颈动脉斑块超声图像和颈动脉斑块的定位热图的拼接后的四通图像为输入，局部分支以颈动脉斑块超声原图像斑块区域的裁剪图像为输入，两分支具有相同的结构，都为四层的双卷积+池化结构。
[0018]正交融合模块以多分支特征提取模块最后一个池化层经过展平后的输出为输入，经过正交约束后使用拼接方式进行融合，正交约束由一个正交损失(L
Orth
)进行实现，具体定义如下：
[0019][0020]其中F1＝[α1，α1，...，α
n
]，F2＝[β1，β1，...，β
n
]分别为全局和局部分支分类层前经过展平操作后的特征，θ为F1、F2的夹角。
[0021]带权多损失模块由带权的全局分支损失、局部分支损失、融合分支损失及正交损失组成，全局、局部、融合分支损失都使用交叉熵损失函数进行实现，交叉熵损失函数定义如下：
[0022][0023]其中i表示斑块类别，y＝[y0，y1，y2]表示斑块类别标签，p＝[p0，p1，p2]表示模型的预测概率，模型分类总损失定义如下：
[0024]L
classification
＝w1L
G
+w2L
L
+w3L
F
+w4L
orth
[0025]其中w1、w2、w3、w4为权重。
[0026]数据集中最大斑块的长度为L，定位标签中高斯分布的半径取L/2；w1、w2、w3、w4分别取0.1、1、0.1、0.4。
[0027]本专利技术的有益效果是：
[0028]1.传统的颈动脉超声斑块回声分类方法，要么直接利用现有分类模型没有照顾到斑块前景占比较小的实际情况导致分类准确率低下，要么需要先对斑块进行分割或者检测，这需要繁重的数据标注才能进行模型训练。新提出的基于关键点检测的颈动脉斑块回声分类方法，利用关键点定位技术定位斑块的中心位置，并结合去冗余等技术，避免了对数据的分割或者检测框的繁重标注，并且提高了颈动脉超声斑块回声分类的精度
[0029]2.该方法使用多分支多损失充分提取了斑块的局部特征与全局特征。
[0030]3.该方法使用正交去冗余方式，有效减少了局部特征与全局特征的冗余性。
附图说明
[0031]图1是三种不同回声类型斑块超声图像典型示例。a为强回声斑块超声图像，b为混合回声斑块超声图像，c为低回声斑块超声图像。
[0032]图2时本专利技术的基于关键点检测的颈动脉斑块回声分类方法的整体框架图。
[0033]图3是本专利技术的基于关键点检测的颈动脉斑块回声分类方法中分类子网络的单分支配置结构图。
[0034]图4列出了选择w1、w2、w3、w4最优取值的中间实验结果本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于关键点检测的颈动脉斑块回声分类方法，其特征在于包括：A.数据预处理：对超声图像的非成像区域进行裁剪，并归一化超声图现象；B.定位标签生成：根据颈动脉超声斑块中心点的标注，利用一个非标准的二维正态分布生成用于定位的热图标签；C.建立斑块定位子网络：将一个斑块视作一个点，利用关键点定位技术建立斑块定位子网络，完成颈动脉斑块中心点定位；D.建立斑块分类子网络：在斑块定位子网络产出结果的基础上提取斑块的全局和局部特征，结合去冗余技术建立斑块分类子网络,完成颈动脉斑块回声分类。2.根据权利要求1所述基于关键点检测的颈动脉斑块回声分类方法，其特征在于步骤B中以D
xy
表示定位标签在(x,y)位置的值，生成的定位标签可如下定义：其中(x0，y0)表示斑块的中心位置，radius表示惩罚半径。3.根据权利要求1所述基于关键点检测的颈动脉斑块回声分类方法，其特征在于步骤C中：斑块定位子网络先采用卷积和池化层将超声图像转化为128通道的特征层，再将这128通道的特征层组通过残差块和池化层下采样三次，然后通过残差块与最近邻插值进行上采样恢复分辨率，相同分辨率下采样与上采样层的特征通过残差块进行连接；最后通过卷积层将特征通道归为1，输出颈动脉斑块定位热图。4.根据权利要求1所述基于关键点检测的颈动脉斑块回声分类方法，其特征在于步骤D中：斑块分类子网络分为多分支特征提取模块、正交融合模块和带权多损失模块三个模块，首先通过多分支特征提取模块分别提取斑块区域的高清细节特征以及超声图像全图的整体特征；然后正交融合模块将细节特征与整体特征通过正交方式剔除冗余信息并进行特征融合；最后带权多损失模块将全局分支、局部分支和融合分支的分类结果利用加权损失的方式进行约束，进行区别性的训练。5.根据权利要求4所述基于关键点检测的颈动脉斑块回声分类方法，其特征在于：多分支特征提取模块采用...

【专利技术属性】
技术研发人员：谢江，刘彬东，张武，
申请(专利权)人：上海大学，
类型：发明
国别省市：