一种多视角融合的冠脉斑块识别方法技术

一种多视角融合的冠脉斑块识别方法，将冠脉CTA图像转换至三个人体解剖平面图像，利用残差网络分别判断三个视角下包含冠脉血管的图像，随后进行分割。可以有效去除未包含冠脉血管图像的干扰，专注于冠脉血管的图像，缩小斑块的检测范围。然后，通过构建多视角斑块识别网络，以冠状面和矢状面作为辅助观察视角，水平面作为主要观察视角融合识别特征可以有效利用切片间的上下文信息，解决2D图像信息单一的问题。多视角斑块识别网络采用特征编码器和特征解码器，提取基础特征的同时保留了融合多尺度特征的设计，相较于3D网络，方便部署，实现容易。现容易。现容易。

【技术实现步骤摘要】
一种多视角融合的冠脉斑块识别方法


[0001]本专利技术涉及深度学习、医学图像识别领域，具体涉及一种多视角融合的冠脉斑块识别方法。

技术介绍

[0002]通常，采集的冠脉CTA图像往往包含几十到几百张切片，但并不是每张切片都能提供有效的斑块识别信息，并且这些冗余的图片观察起来也费时费力，容易给斑块的识别造成阻碍。深度学习技术的发展促进了医学图像识别领域的进步，它可以提高识别斑块的效率和准确率。现有智能冠脉斑块识别方法通常使用2D和3D深度学习模型。2D模型方法仅仅学习水平面切片的有效信息，它虽然可以捕获切片内斑块的空间特征，但是忽略了切片间的联系，丢失了其他视角的斑块信息，因此可能导致斑块识别的准确率降低。3D模型方法弥补了2D模型的缺陷，它使用三维卷积学习斑块的上下文信息，能够利用切片间的关系去定位斑块区域，但是冠脉CTA图像存在的大量无关冗余切片往往会干扰3D模型的学习，同时3D模型对计算机硬件资源要求较高，存在部署困难的问题。

技术实现思路

[0003]本专利技术为了克服以上技术的不足，提供了一种可以有效去除未包含冠脉血管图像的干扰，专注于冠脉血管的图像，缩小斑块的检测范围的方法。
[0004]本专利技术克服其技术问题所采用的技术方案是：
[0005]一种多视角融合的冠脉斑块识别方法，包括如下步骤：
[0006]a)将冠脉CTA图像Original转换为冠状面视角图像Coronal、矢状面视角图像Sagittal和水平面视角图像Axis，完成预处理；
[0007]b)利用残差网络Resnet34分别判断冠状面视角图像Coronal、矢状面视角图像Sagittal和水平面视角图像Axis是否包含冠脉血管；
[0008]c)分割冠脉CTA图像并进行预处理，得到冠状面视角图像Coronal2、矢状面视角图像Sagittal2和水平面视角图像Axis2；
[0009]d)构建多视角斑块识别网络，将冠状面视角图像Coronal2、矢状面视角图像Sagittal2和水平面视角图像Axis2及冠状面视角图像Coronal2输入到多视角斑块识别网络中，得到冠脉斑块识别结果。
[0010]进一步的，步骤a)包括如下步骤：
[0011]a
‑
1)将冠脉CTA图像Original的窗宽winwidth和窗位wincenter进行调整，得到调整后的冠脉CTA图像Original
′
，将调整后的冠脉CTA图像Original
′
映射至[0.255]区间范围内，Original∈R
X
×
Y
×
Z
，其中R为实数空间，X为冠脉CTA图像Original在冠状面图像的数量，Y为冠脉CTA图像Original在矢状面图像的数量，Z为冠脉CTA图像Original在水平视角图像的数量；
[0012]a
‑
2)循环遍历映射至[0.255]区间范围内的冠脉CTA图像Original
′
，得到冠状面
视角图像Coronal、矢状面视角图像Sagittal和水平面视角图像Axis，冠状面视角图像Coronal、矢状面视角图像Sagittal和水平面视角图像Axis均为2D图像，Coronal∈R
Y
×
Z
，Sagittal∈R
X
×
Z
，Axis∈R
X
×
Y
，Coronal＝{coronal1,coronal2,...,coronal
i
,...,coronal
X
}，其中coronal
i
为利用python列表切片操作后的冠状面第i张图像，i∈{0,1,...,X
‑
1},Sagittal＝{sagittal1,sagittal2,...,sagittal
j
,...,sagittal
Y
}，其中sagittal
j
为利用python列表切片操作后的矢状面第j张图像，j∈{0,1,...,Y
‑
1}，Axis＝{axis1,axis2,...,axis
k
,...,axis
Z
}，axis
k
为利用python列表切片操作后的水平面第k张图像，k∈{0,1,...,Z
‑
1}。
[0013]进一步的，步骤a
‑
1)中通过公式计算得到调整后的冠脉CTA图像Original
′
，式中max＝(2*wincenter+winwidth)/2，min＝(2*wincenter
‑
winwidth)/2。
[0014]优选的，窗宽winwidth设置为750，窗位wincenter设置为90。
[0015]进一步的，步骤b)包括如下步骤：
[0016]b
‑
1)将冠状面视角图像Coronal输入到残差网络Resnet34中，判断图像是否包含冠脉血管并得到冠状面视角图像Coronal包含冠脉血管的编号，第一张包含冠脉血管的图像为coronal
a
，最后一张包含冠脉血管的图像为coronal
b
，编号a至编号b范围内的冠状面视角图像都作为包含斑块的潜在目标，将编号a至编号b范围外的冠状面视角图像删除；
[0017]b
‑
2)将矢状面视角图像Sagittal输入到残差网络Resnet34中，判断图像是否包含冠脉血管并得到矢状面视角图像Sagittal包含冠脉血管的编号，第一张包含冠脉血管的图像为Sagittal
c
，最后一张包含冠脉血管的图像为Sagittal
d
，编号c至编号d范围内的冠状面视角图像都作为包含斑块的潜在目标，将编号c至编号d范围外的冠状面视角图像删除；
[0018]b
‑
3)将水平面视角图像Axis输入到残差网络Resnet34中，判断图像是否包含冠脉血管并得到水平面视角图像Axis包含冠脉血管的编号，第一张包含冠脉血管的图像为Axis
e
，最后一张包含冠脉血管的图像为Axis
f
，编号e至编号f范围内的冠状面视角图像都作为包含斑块的潜在目标，将编号e至编号f范围外的冠状面视角图像删除；
[0019]b
‑
4)将冠状面视角图像Coronal、矢状面视角图像Sagittal和水平面视角图像Axis的图像大小均调整为256x256，残差网络Resnet34使用多步学习率，初始化学习率为0.01，没10个epoch下降0.1，使用交叉熵损失函数计算残差网络Resnet34的模型损失，利用模型损失通过随机梯度下降法优化残差网络Resnet34。
[002本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多视角融合的冠脉斑块识别方法，其特征在于，包括如下步骤：a)将冠脉CTA图像Original转换为冠状面视角图像Coronal、矢状面视角图像Sagittal和水平面视角图像Axis，完成预处理；b)利用残差网络Resnet34分别判断冠状面视角图像Coronal、矢状面视角图像Sagittal和水平面视角图像Axis是否包含冠脉血管；c)分割冠脉CTA图像并进行预处理，得到冠状面视角图像Coronal2、矢状面视角图像Sagittal2和水平面视角图像Axis2；d)构建多视角斑块识别网络，将冠状面视角图像Coronal2、矢状面视角图像Sagittal2和水平面视角图像Axis2及冠状面视角图像Coronal2输入到多视角斑块识别网络中，得到冠脉斑块识别结果。2.根据权利要求1所述的多视角融合的冠脉斑块识别方法，其特征在于，步骤a)包括如下步骤：a
‑
1)将冠脉CTA图像Original的窗宽winwidth和窗位wincenter进行调整，得到调整后的冠脉CTA图像Original
′
，将调整后的冠脉CTA图像Original
′
映射至[0.255]区间范围内，Original∈R
X
×
Y
×
Z
，其中R为实数空间，X为冠脉CTA图像Original在冠状面图像的数量，Y为冠脉CTA图像Original在矢状面图像的数量，Z为冠脉CTA图像Original在水平视角图像的数量；a
‑
2)循环遍历映射至[0.255]区间范围内的冠脉CTA图像Original
′
，得到冠状面视角图像Coronal、矢状面视角图像Sagittal和水平面视角图像Axis，冠状面视角图像Coronal、矢状面视角图像Sagittal和水平面视角图像Axis均为2D图像，Coronal∈R
Y
×
Z
，Sagittal∈R
X
×
Z
，Axis∈R
X
×
Y
，Coronal＝{coronal1,coronal2,...,coronal
i
,...,coronal
X
}，其中coronal
i
为利用python列表切片操作后的冠状面第i张图像，i∈{0,1,...,X
‑
1},Sagittal＝{sagittal1,sagittal2,...,sagittal
j
,...,sagittal
Y
}，其中sagittal
j
为利用python列表切片操作后的矢状面第j张图像，j∈{0,1,...,Y
‑
1}，Axis＝{axis1,axis2,...,axis
k
,...,axis
Z
}，axis
k
为利用python列表切片操作后的水平面第k张图像，k∈{0,1,...,Z
‑
1}。3.根据权利要求1所述的多视角融合的冠脉斑块识别方法，其特征在于：步骤a
‑
1)中通过公式计算得到调整后的冠脉CTA图像Original
′
，式中max＝(2*wincenter+winwidth)/2，min＝(2*wincenter
‑
winwidth)/2。4.根据权利要求3所述的多视角融合的冠脉斑块识别方法，其特征在于：窗宽winwidth设置为750，窗位wincenter设置为90。5.根据权利要求1所述的多视角融合的冠脉斑块识别方法，其特征在于，步骤b)包括如下步骤：b
‑
1)将冠状面视角图像Coronal输入到残差网络Resnet34中，判断图像是否包含冠脉血管并得到冠状面视角图像Coronal包含冠脉血管的编号，第一张包含冠脉血管的图像为coronal
a
，最后一张包含冠脉血管的图像为coronal
b
，编号a至编号b范围内的冠状面视角图像都作为包含斑块的潜在目标，将编号a至编号b范围外的冠状面视角图像删除；b
‑
2)将矢状面视角图像Sagittal输入到残差网络Resnet34中，判断图像是否包含冠脉
血管并得到矢状面视角图像Sagittal包含冠脉血管的编号，第一张包含冠脉血管的图像为Sagittal
c
，最后一张包含冠脉血管的图像为Sagittal
d
，编号c至编号d范围内的冠状面视角图像都作为包含斑块的潜在目标，将编号c至编号d范围外的冠状面视角图像删除；b
‑
3)将水平面视角图像Axis输入到残差网络Resnet34中，判断图像是否包含冠脉血管并并得到水平面视角图像Axis包含冠脉血管的编号，第一张包含冠脉血管的图像为Axis
e
，最后一张包含冠脉血管的图像为Axis
f
，编号e至编号f范围内的冠状面视角图像都作为包含斑块的潜在目标，将编号e至编号f范围外的冠状面视角图像删除；b
‑
4)将冠状面视角图像Coronal、矢状面视角图像Sagittal和水平面视角图像Axis的图像大小均调整为256x256，残差网络Resnet34使用多步学习率，初始化学习率为0.01，没10个epoch下降0.1，使用交叉熵损失函数计算残差网络Resnet34的模型损失，利用模型损失通过随机梯度下降法优化残差网络Resnet34。6.根据权利要求5所述的多视角融合的冠脉斑块识别方法，其特征在于，步骤c)包括如下步骤：c
‑
1)利用编号a至编号b范围内的冠状面视角图像、编号c至编号d范围内的冠状面视角图像以及编号e至编号f范围内的冠状面视角图像通过python列表切片操作对预处理冠脉CTA图像Original进行分割，得到图像Original2，CTA图像Original进行分割，得到图像Original2，为预处理冠脉CTA图像Original在冠状面图像的数量，脉CTA图像Original在冠状面图像的数量，为预处理冠脉CTA图像Original在矢状面图像的数量，Original在矢状面图像的数量，为预处理冠脉CTA图像Original在水平视角图像的数量，c
‑
2)将图像Original2大小调整到256
×
256
×
256，使用B
‑
spline插值方法重采样调整后的图像Original2到[0.5mm,0.5mm,0.5mm]各向同性体素空间；c
‑
3)将重采样调整后的图像Original2像素值调整为冠脉CTA图像Original的均值和标准差；c
‑
4)循环遍历调整后的图像Original2，得到冠状面视角图像Coronal2、矢状面视角图像Sagittal2和水平面视角图像Axis2，冠状面视角图像Coronal2、矢状面视角图像Sagittal2和水平面视角图像Axis2均为2D图像，Coronal2＝{coronal21,coronal22,...,coronal2
i
,...,coronal2
256
}，其中coronal2
i
为利用python列表切片操作后的冠状面第i张图像，i∈{0,1,...,256},Sagittal2＝{sagittal21,sagittal22,...,sagittal2
j
,...,sagittal2
256
}，其中sagittal
j
为利用python列表切片操作后的矢状面第j张图像，j∈{0,1,...,256}，Axis2＝{axis21,axis22,...,axis2
k
,...,axis2

【专利技术属性】
技术研发人员：李金宝，王字成，舒明雷，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：