一种图像处理方法、装置、设备及存储介质制造方法及图纸

本申请提供一种图像处理方法、装置、设备及存储介质，该方法包括：从待检测图像中提取血管的血管中心线和血管属性信息，血管中心线上包括多个中心点；基于血管属性信息和血管在每个中心点的血管方向，确定每个中心点的检测区域；基于第一网络对每个中心点的检测区域进行特征提取，得到特征提取结果；基于第二网络对每个中心点的特征提取结果和相应的邻域点对应的特征提取结果进行融合处理，得到特征融合结果；基于第三网络对每个中心点的特征融合结果进行狭窄分析，得到狭窄分析结果；和/或，基于第四网络对每个中心点各自对应的特征融合结果进行斑块分类，得到相应的斑块分类结果。本申请能够提高血管的斑块分类和/或狭窄分级的准确率。

【技术实现步骤摘要】
一种图像处理方法、装置、设备及存储介质
本申请属于计算机
，具体涉及一种图像处理方法、装置、设备及存储介质。
技术介绍
血管(比如，冠状动脉血管、颈动脉血管、下肢血管等)时常会出现不同类型的斑块和不同程度的狭窄情况，而不同类型的斑块和不同程度的狭窄与血管的异常情况密切相关，因此，检测和表征血管的斑块和狭窄至关重要。现有技术中血管的斑块和狭窄任务通常通过视觉评估进行，或半自动化地利用管腔和动脉壁分割，然后确定斑块或狭窄的存在。然而，前者存在很大的观察者间差异和较大的主观性；而后者基于血管的分割结果，分析血管的几何结构，通过对血管的狭窄与周边正常血管直径对比，进行狭窄检测和量化，然后结合中心线和特征提取方法对该狭窄处的斑块类型进行自动分类，但该方法不仅耗时，而且其准确性严重依赖于血管分割的结果。现有技术中还存在通过深度学习技术进行血管斑块和狭窄分析，从而实现了对4种斑块类型(无斑块、非钙化斑块、钙化斑块、混合斑块)和3种狭窄类型(无狭窄0％，无显著狭窄<50％，显著狭窄>＝50％)的分类任务。然而临床上血管的狭窄程度是一个可量化的数值(0-100％)，国际心血管CT协会(SCCT)将其分为6个等级：无狭窄(0％)、轻微狭窄(1-24％)、轻度狭窄(25-49％)、中度狭窄(50-69％)、重度狭窄(70-99％)和闭塞(100％)，现有技术对狭窄程度的分级不够精细，且准确率不高，无法完全满足临床需求。此外，现有技术中深度学习网络的输入是固定图像尺寸，该固定图像尺寸在处理小血管时容易引入大量不必要的复杂周围背景的问题。
技术实现思路
为了提高血管的斑块分类和/或狭窄分级的准确率，本申请提出一种图像处理方法、装置、设备及存储介质。一方面，本申请提出了一种图像处理方法，该方法包括：从待检测图像中提取血管的血管中心线和所述血管的血管属性信息，所述血管中心线上包括多个中心点；基于所述血管属性信息和所述血管在每个中心点的血管方向，确定每个中心点各自对应的检测区域；基于第一网络对每个中心点各自对应的检测区域进行特征提取，得到每个中心点各自对应的特征提取结果；基于第二网络对每个中心点各自对应的特征提取结果和每个中心点各自对应的邻域点的特征提取结果进行融合处理，得到每个中心点各自对应的特征融合结果；每个中心点各自对应的邻域点为与每个中心点之间的距离小于预设阈值的中心点；基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果；和/或，基于第四网络对每个中心点各自对应的特征融合结果进行斑块分类，得到每个中心点各自对应的斑块分类结果。进一步地，所述基于所述血管属性信息和所述血管在每个中心点的血管方向，确定每个中心点各自对应的检测区域，包括：基于每个中心点与相应的邻域点之间的斜率，确定所述血管在每个中心点的血管方向；将与所述血管在每个中心点的血管方向相互垂直的方向，作为所述血管在每个中心点的垂直方向；基于所述血管在每个中心点的血管方向、相应的垂直方向和所述血管属性信息，从所述待检测图像中确定每个中心点各自对应的检测区域，所述血管属性信息包括血管直径信息和/或血管结构信息。进一步地，所述基于第一网络对每个中心点各自对应的检测区域进行特征提取，得到每个中心点各自对应的特征提取结果，包括：基于所述第一网络，获取每个中心点各自对应的检测区域，沿所述血管在每个中心点的垂直方向的截面，得到每个中心点各自对应的目标检测区域；基于所述第一网络，对每个中心点各自对应的目标检测区域进行局部位置特征提取，得到每个中心点各自对应的局部位置特征；将每个中心点各自对应的局部位置特征，作为每个中心点各自对应的特征提取结果。进一步地，所述基于第二网络对每个中心点各自对应的特征提取结果和每个中心点各自对应的邻域点的特征提取结果进行融合处理，得到每个中心点各自对应的特征融合结果，包括：基于第二网络，对每个中心点各自对应的局部位置特征和相应的邻域点对应的局部位置特征进行融合处理，得到每个中心点与相应的邻域点之间的关联特征；将每个中心点与相应的邻域点之间的关联特征，作为每个中心点各自对应的特征融合结果。进一步地，在所述方法包括所述基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果时，所述第三网络包括回归网络，则所述基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果包括：基于所述回归网络对每个中心点各自对应的特征融合结果进行狭窄回归分析，得到每个中心点各自对应的狭窄回归结果；将每个中心点各自对应的狭窄回归结果，作为每个中心点各自对应的狭窄分析结果。进一步地，在所述基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果之后，所述方法还包括：基于预设狭窄等级划分标准对每个中心点各自对应的狭窄分析结果进行转换，得到每个中心点各自对应的狭窄等级。进一步地，在所述方法包括所述基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果和所述基于第四网络对每个中心点各自对应的特征融合结果进行斑块分类，得到每个中心点各自对应的斑块分类结果时，所述方法还包括：将所述血管中心线上，斑块分类结果和狭窄等级均相等的相邻预设数量个中心点进行合并，得到多个异常血管段，每个异常血管段上包括多个中心点；计算每个异常血管段中相邻两个中心点之间的距离的和，得到每个异常血管段对应的狭窄长度。另一方面，本申请提出了一种图像处理装置，所述装置包括：血管提取模块，用于从待检测图像中提取血管的血管中心线和所述血管的血管属性信息，所述血管中心线上包括多个中心点；确定模块，用于基于所述血管属性信息和所述血管在每个中心点的血管方向，确定每个中心点各自对应的检测区域；特征提取模块，用于基于第一网络对每个中心点各自对应的检测区域进行特征提取，得到每个中心点各自对应的特征提取结果；融合模块，用于基于第二网络对每个中心点各自对应的特征提取结果和每个中心点各自对应的邻域点的特征提取结果进行融合处理，得到每个中心点各自对应的特征融合结果；每个中心点各自对应的邻域点为与每个中心点之间的距离小于预设阈值的中心点；分析模块，用于基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果；和/或，基于第四网络对每个中心点各自对应的特征融合结果进行斑块分类，得到每个中心点各自对应的斑块分类结果。进一步地，所述确定模块包括：血管方向确定单元，用于基于每个中心点与相应的邻域点之间的斜率，确定所述血管在每个中心点的血管方向。垂直方向确定单元，用于将与所述血管在每个中心点的血管方向相互垂直的方向，作为所述血管在每个中本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：/n从待检测图像中提取血管的血管中心线和所述血管的血管属性信息，所述血管中心线上包括多个中心点；/n基于所述血管属性信息和所述血管在每个中心点的血管方向，确定每个中心点各自对应的检测区域；/n基于第一网络对每个中心点各自对应的检测区域进行特征提取，得到每个中心点各自对应的特征提取结果；/n基于第二网络对每个中心点各自对应的特征提取结果和每个中心点各自对应的邻域点的特征提取结果进行融合处理，得到每个中心点各自对应的特征融合结果；每个中心点各自对应的邻域点为与每个中心点之间的距离小于预设阈值的中心点；/n基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果；和/或，基于第四网络对每个中心点各自对应的特征融合结果进行斑块分类，得到每个中心点各自对应的斑块分类结果。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：
从待检测图像中提取血管的血管中心线和所述血管的血管属性信息，所述血管中心线上包括多个中心点；
基于所述血管属性信息和所述血管在每个中心点的血管方向，确定每个中心点各自对应的检测区域；
基于第一网络对每个中心点各自对应的检测区域进行特征提取，得到每个中心点各自对应的特征提取结果；
基于第二网络对每个中心点各自对应的特征提取结果和每个中心点各自对应的邻域点的特征提取结果进行融合处理，得到每个中心点各自对应的特征融合结果；每个中心点各自对应的邻域点为与每个中心点之间的距离小于预设阈值的中心点；
基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果；和/或，基于第四网络对每个中心点各自对应的特征融合结果进行斑块分类，得到每个中心点各自对应的斑块分类结果。


2.根据权利要求1所述的方法，其特征在于，所述基于所述血管属性信息和所述血管在每个中心点的血管方向，确定每个中心点各自对应的检测区域，包括：
基于每个中心点与相应的邻域点之间的斜率，确定所述血管在每个中心点的血管方向；
将与所述血管在每个中心点的血管方向相互垂直的方向，作为所述血管在每个中心点的垂直方向；
基于所述血管在每个中心点的血管方向、相应的垂直方向和所述血管属性信息，从所述待检测图像中确定每个中心点各自对应的检测区域，所述血管属性信息包括血管直径信息和/或血管结构信息。


3.根据权利要求1所述的方法，其特征在于，所述基于第一网络对每个中心点各自对应的检测区域进行特征提取，得到每个中心点各自对应的特征提取结果，包括：
基于所述第一网络，获取每个中心点各自对应的检测区域，沿所述血管在每个中心点的垂直方向的截面，得到每个中心点各自对应的目标检测区域；
基于所述第一网络，对每个中心点各自对应的目标检测区域进行局部位置特征提取，得到每个中心点各自对应的局部位置特征；
将每个中心点各自对应的局部位置特征，作为每个中心点各自对应的特征提取结果。


4.根据权利要求3所述的方法，其特征在于，所述基于第二网络对每个中心点各自对应的特征提取结果和每个中心点各自对应的邻域点的特征提取结果进行融合处理，得到每个中心点各自对应的特征融合结果，包括：
基于第二网络，对每个中心点各自对应的局部位置特征和相应的邻域点对应的局部位置特征进行融合处理，得到每个中心点与相应的邻域点之间的关联特征；
将每个中心点与相应的邻域点之间的关联特征，作为每个中心点各自对应的特征融合结果。


5.根据权利要求1所述的方法，其特征在于，在所述方法包括所述基于第三网络对每个中心点各自对应的特征融合结果进行狭窄分析，得到每个中心点各自对应的狭窄分析结果时，所述第三网络包括回归网络，...

【专利技术属性】
技术研发人员：李蕊，雷丙震，吴迪嘉，
申请(专利权)人：上海联影智能医疗科技有限公司，
类型：发明
国别省市：上海;31