一种多对比学习冠状动脉高危斑块检测方法、系统及终端技术方案

本发明专利技术属于医学图像处理、计算机辅助诊断技术领域，公开了一种多对比学习冠状动脉高危斑块检测方法、系统及终端，在三维医学扫描数据上，沿医生标记的冠状动脉中心线点提取二维图像序列作为样本，划分样本数据集；以冠状动脉二维图像序列样本作为输入，图像是否含有高危斑块作为输出，构建基于Transformer的多对比学习冠状动脉高危斑块检测网络，实现冠脉高危斑块检测。本发明专利技术的冠状动脉高危斑块检测方法不需要对提取的数据样本进行标注，避免了标注误差；使用大量无标记的数据训练基于Transformer的多路孪生网络，有助于提高网络生成特征表示的能力；通过特征重编码生成病人级别特征表示用于最终预测，缩短工作时间。缩短工作时间。缩短工作时间。

【技术实现步骤摘要】
一种多对比学习冠状动脉高危斑块检测方法、系统及终端


[0001]本专利技术属于医学图像处理、计算机辅助诊断
，尤其涉及一种多对比学习冠状动脉高危斑块检测方法、系统及终端。

技术介绍

[0002]目前，冠状动脉粥样硬化斑块中的高危/易损斑块通常存在于冠脉斑块形成的早期，是急性心血管事件发生的主要诱因。因此，如果能在冠脉斑块形成初期对斑块性质进行分析，医生便可根据不同风险等级的斑块制订相应的治疗策略，从而预防急性心血管事件发生。现有研究大多使用传统机器学习方法检测冠状动脉中的高危斑块，即首先由经验丰富的专家手工设计特征，然后将提取出的特征送入机器学习分类器中预测斑块类型。这个过程严重依赖操作者的经验和丰富的专业知识，并且是费时费力的。因此，使用传统机器学习方法实现冠状动脉高危斑块的检测仍然存在一定的局限性。
[0003]目前，深度学习已经被广泛应用在脑部肿瘤检测、心血管斑块识别等医学图像领域。此外，大量的研究已经证实了深度学习在医学图像领域应用的可行性。深度学习模型往往需要大量有标签的样本才能充分发掘样本信息，然而对于医学图像数据来说，有标签样本的获取十分困难，并且样本的标注过程又需要耗费大量的时间。此外，由于冠状动脉易损斑块的特性，即CCTA扫描中包含两种或以上的易损斑块特征的斑块被定义为易损斑块，单个图像对应单个标签的深度学习训练方式不适用于高危斑块检测任务，因为斑块通常跨越多张CCTA扫描。鉴于数据样本特征的多样性，机器学习方法很难手工设计出合适的区分度大的特征，过程繁琐；数据标注过程需要一定的经验，而深度学习方法在数据获取和标注上存在困难，耗时费力，且对单个图像的标注存在误差，故亟需设计一种新的冠状动脉高危斑块检测方法。
[0004]通过上述分析，现有技术存在的问题及缺陷为：
[0005](1)鉴于冠脉斑块样本特征的多样性，机器学习方法在设计特征时，很难设计出针对易损斑块的特异性特征，且严重依赖操作者的经验和丰富的专业知识，费时费力。
[0006](2)现有的深度学习模型训练需要大量标注数据，然而对于医学图像数据有标签样本的获取十分困难，并且样本的标注过程需要耗费大量时间。
[0007](3)由于冠状动脉易损斑块的特性，一个斑块通常跨越多张CCTA扫描，单个图像对应单个标签的深度学习训练方式存在误差，不适用于高危斑块检测任务。

技术实现思路

[0008]针对现有技术存在的问题，本专利技术提供了一种多对比学习冠状动脉高危斑块检测方法、系统及终端，尤其涉及一种基于Transformer的多对比学习冠状动脉高危斑块检测方法、系统、介质、设备及终端。
[0009]本专利技术是这样实现的，一种多对比学习冠状动脉高危斑块检测方法，多对比学习冠状动脉高危斑块检测方法包括：在三维医学扫描数据上，沿医生标记的冠状动脉中心线
点提取二维图像序列作为样本，划分样本数据集；以冠状动脉二维图像序列样本作为输入，图像是否含有高危斑块作为输出，构建基于Transformer的多对比学习冠状动脉高危斑块检测网络，实现冠脉高危斑块检测。
[0010]其中，基于Transformer的多对比学习冠状动脉高危斑块检测网络包括两部分，第一部分是图像序列特征提取的多路孪生网络，第二部分为特征重编码和高危斑块检测网络；训练数据被送入多路孪生网络中，计算损失函数训练网络模型，训练好的多路孪生网络模型的一条支路被用作图像序列特征提取器，提取所有图像序列的特征；将每个图像序列生成的新的特征进行特征重编码，生成属于每个病人的特征向量；将病人级别的特征向量送入机器学习模型中训练，训练好的网络模型在测试集上进行预测，完成冠状动脉高危斑块检测任务。
[0011]进一步，多对比学习冠状动脉高危斑块检测方法包括以下步骤：
[0012]步骤一，对原始医学图像进行预处理，包括截取目标病变血管段导出为医学数字成像和通信数据集；调整图像的窗位和窗宽，对预处理后的数据手工标注冠状动脉血管中心线；沿着冠脉血管中心线点提取长度为N的图像序列作为样本；提取的所有医学图像的二维图像序列构成样本数据集，并划分训练集、验证集和测试集；
[0013]步骤二，以M个冠状动脉二维图像序列作为输入，不同图像序列的低维特征表示作为输出，构建基于Transformer的多路孪生网络，网络结构由M个结构相同权重共享的分支组成，每个分支包含N个并行的二维卷积神经网络和Transformer结构；构造N个并行的二维卷积神经网络，分别学习图像序列上每张二维图像的特征表示，提取图像序列上的局部信息；构造Transformer结构，将N个并行二维卷积神经网络提取到的局部特征信息融合，获得图像序列的全局特征表示；
[0014]步骤三，将训练数据集送入基于Transformer的多路孪生网络，遍历训练数据集并训练网络，使用余弦相似度损失作为网络的损失函数；使用反向传播算法将误差反向传播至顶层卷积层，梯度下降法更新网络参数，直至网络收敛；
[0015]步骤四，使用训练完成的基于Transformer的多路孪生网络的一条分支作为图像序列的特征提取器，将所有病人的图像序列作为输入送入分支中，提取得到对应图像序列的特征表示；
[0016]步骤五，特征重编码，对训练集中所有特征表示使用K
‑
Means聚类方法进行聚类分析，保存生成K个聚类中心及每个特征表示所属的聚类类别；为每个患者创建唯一的特征向量，统计每个病人的特征表示属于每个聚类类别的数量，作为创建的特征向量对应位置的权重，特征向量是病人新的特征表示；
[0017]步骤六，将生成的病人级别的特征表示作为输入，是否患有高危斑块疾病作为输出，训练XGBoost分类模型；将验证集数据集送入训练模型中，评估模型性能，选出效果最佳的模型参数；
[0018]步骤七，将测试数据送入训练好的模型中，由基于Transformer的多路孪生网络提取特征表示；计算每个特征表示距离最近的聚类中心，生成测试集病人的特征向量；由XGBoost分类器得到预测结果，评估网络性能。
[0019]进一步，步骤一中的对原始医学图像进行预处理，调整图像的窗位和窗宽；标注冠状动脉血管中心线，提取二维图像并组成序列包括：
[0020](1)在Syngo工作站上重建冠状动脉CCTA扫描的最大强度投影图像以优化目标病变的可视化；
[0021](2)在大致垂直于靶病变病灶长轴的方向上，从靶病变的近端到远端对图像进行切片，并将切片厚度和切片之间的距离最小化；
[0022](3)提取切片图像并导出为医学数字成像和通信数据集；
[0023](4)读取CT数据头信息，获取窗位和窗宽；调整像素值到窗宽范围内并进行归一化处理，以获取血管及周围组织的最佳显示；
[0024](5)以冠脉中心线近端的第N/2+1个点为图像序列的原点，截取大小为L
×
H的二维图像，并在前、后N/2个中心点的二维切片上分别截取相同大小的图像，保留图像的位置顺序，合并为长度为N的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多对比学习冠状动脉高危斑块检测方法，其特征在于，多对比学习冠状动脉高危斑块检测方法包括：在三维医学扫描数据上，沿医生标记的冠状动脉中心线点提取二维图像序列作为样本，划分样本数据集；以冠状动脉二维图像序列样本作为输入，图像是否含有高危斑块作为输出，构建基于Transformer的多对比学习冠状动脉高危斑块检测网络，实现冠脉高危斑块检测；其中，基于Transformer的多对比学习冠状动脉高危斑块检测网络包括两部分，第一部分是图像序列特征提取的多路孪生网络，第二部分为特征重编码和高危斑块检测网络；训练数据被送入多路孪生网络中，计算损失函数训练网络模型，训练好的多路孪生网络模型的一条支路被用作图像序列特征提取器，提取所有图像序列的特征；将每个图像序列生成的新的特征进行特征重编码，生成属于每个病人的特征向量；将病人级别的特征向量送入机器学习模型中训练，训练好的网络模型在测试集上进行预测，完成冠状动脉高危斑块检测任务。2.如权利要求1所述的多对比学习冠状动脉高危斑块检测方法，其特征在于，多对比学习冠状动脉高危斑块检测方法包括以下步骤：步骤一，对原始医学图像进行预处理，包括截取目标病变血管段导出为医学数字成像和通信数据集；调整图像的窗位和窗宽，对预处理后的数据手工标注冠状动脉血管中心线；沿着冠脉血管中心线点提取长度为N的图像序列作为样本；提取的所有医学图像的二维图像序列构成样本数据集，并划分训练集、验证集和测试集；步骤二，以M个冠状动脉二维图像序列作为输入，不同图像序列的低维特征表示作为输出，构建基于Transformer的多路孪生网络，网络结构由M个结构相同权重共享的分支组成，每个分支包含N个并行的二维卷积神经网络和Transformer结构；构造N个并行的二维卷积神经网络，分别学习图像序列上每张二维图像的特征表示，提取图像序列上的局部信息；构造Transformer结构，将N个并行二维卷积神经网络提取到的局部特征信息融合，获得图像序列的全局特征表示；步骤三，将训练数据集送入基于Transformer的多路孪生网络，遍历训练数据集并训练网络，使用余弦相似度损失作为网络的损失函数；使用反向传播算法将误差反向传播至顶层卷积层，梯度下降法更新网络参数，直至网络收敛；步骤四，使用训练完成的基于Transformer的多路孪生网络的一条分支作为图像序列的特征提取器，将所有病人的图像序列作为输入送入分支中，提取得到对应图像序列的特征表示；步骤五，特征重编码，对训练集中所有特征表示使用K
‑
Means聚类方法进行聚类分析，保存生成K个聚类中心及每个特征表示所属的聚类类别；为每个患者创建唯一的特征向量，统计每个病人的特征表示属于每个聚类类别的数量，作为创建的特征向量对应位置的权重，特征向量是病人新的特征表示；步骤六，将生成的病人级别的特征表示作为输入，是否患有高危斑块疾病作为输出，训练XGBoost分类模型；将验证集数据集送入训练模型中，评估模型性能，选出效果最佳的模型参数；步骤七，将测试数据送入训练好的模型中，由基于Transformer的多路孪生网络提取特征表示；计算每个特征表示距离最近的聚类中心，生成测试集病人的特征向量；由XGBoost
分类器得到预测结果，评估网络性能。3.如权利要求2所述的多对比学习冠状动脉高危斑块检测方法，其特征在于，步骤一中的对原始医学图像进行预处理，调整图像的窗位和窗宽；标注冠状动脉血管中心线，提取二维图像并组成序列包括：(1)在Syngo工作站上重建冠状动脉CCTA扫描的最大强度投影图像以优化目标病变的可视化；(2)在大致垂直于靶病变病灶长轴的方向上，从靶病变的近端到远端对图像进行切片，并将切片厚度和切片之间的距离最小化；(3)提取切片图像并导出为医学数字成像和通信数据集；(4)读取CT数据头信息，获取窗位和窗宽；调整像素值到窗宽范围内并进行归一化处理，以获取血管及周围组织的最佳显示；(5)以冠脉中心线近端的第N/2+1个点为图像序列的原点，截取大小为L
×
H的二维图像，并在前、后N/2个中心点的二维切片上分别截取相同大小的图像，保留图像的位置顺序，合并为长度为N的图像序列；(6)以近段的第N/2+1个中心点为起始，每间隔N/2+1个中心点作为原点，提取图像序列作为样本；(7)沿冠状动脉血管中心线提取的所有医学图像的二维图像序列构成样本数据集；(8)样本数据集中，将所有数据按照7:1:2的比例划分为训练集、验证集和测试集。4.如权利要求2所述的多对比学习冠状动脉高危斑块检测方法，其特征在于，步骤二中的以M个冠脉二维图像序列作为输入，不同图像序列的低维特征表示作为输出，构建基于Transformer的多路孪生网络包括：(1)以M个冠脉二维图像序列作为输入，不同图像序列的低维特征表示作为输出，构建基于Transformer的多通道孪生网络；其中，基于Transformer的多通道孪生网络由N个并行的二维卷积神经网络和Transformer结构组成；(2)构建N个并行的二维卷积神经网络，学习图像序列中每张二维图像的特征表示，提取图像序列的局部信息；N个并行的二维卷积神经网络结构相同，权重不共享；每个二维卷积神经网络包含5个级联的卷积层，每个卷积层使用ReLu激活函数学习...

【专利技术属性】
技术研发人员：易黄建，侯凌文，赵凤军，曹欣，侯榆青，贺小伟，
申请(专利权)人：西北大学，
类型：发明
国别省市：