基于时空注意力模型的多相期CT图像分类系统及构建方法技术方案

本发明专利技术公开了一种基于时空注意力模型的多相期CT图像分类系统及构建方法，本发明专利技术系统包括数据获取单元、第一嵌入层网络单元、空间注意力单元、第二嵌入层网络单元、时间注意力单元和分类层单元。其中通过嵌入层单元将多相期CT图像向量化，随后使用空间注意力单元提取空间特征，并把多相期CT图像的空间特征合并后输入到时间注意力单元，得到具有空间特征和时间特征的向量，通过分类层单元完成分类。本发明专利技术采用了注意力机制，并分离了空间和时间特征，更关注CT图像中的重点部分，同时能将各个相期的CT图像全局联系起来，减少了计算冗余，提升了分类效率和精度，对于通过多相期CT图像进行分类的医学诊断更具有适应性，且具有更高的实用性。的实用性。的实用性。

【技术实现步骤摘要】
基于时空注意力模型的多相期CT图像分类系统及构建方法


[0001]本专利技术涉及医学图像处理
，尤其涉及一种基于时空注意力模型的多相期CT图像分类系统及构建方法。

技术介绍

[0002]CT(Computed Tomography)，即电子计算机断层扫描，它是利用精确准直的X线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描，具有扫描时间快，图像清晰等特点，随着治疗方法的改进，CT图像扫描应用在各类肿瘤（如肝癌）的诊断也越来越普及，能够快速发现肿瘤的部位、大小和范围，可直接观察到病变内是否有坏死、出血等改变，并且可发现是否有肿瘤转移等情况，提高了肿瘤的检出率。
[0003]尽管CT平扫可以快速地发现病变，甚至检查出一些疾病，但是有些病变如血管畸形、早期癌症和转移瘤等无法通过CT平扫诊断出来。为了提高病变的显示率、确定病灶的范围和临床分期，需要用到增强CT扫描。以颅脑CT检查为例，平扫CT诊断的准确率为82%，增强扫描的准确率则上升到92%－95%，可见增强CT对提高诊断率很有帮助。CT增强扫描一般是通过静脉注射造影剂，目前常用的静脉注射方法分为两种，一种是人工手推注射，一种是采用高压注射器进行注射。注射造影剂后，增强CT能够比平扫CT提供更多的信息，可观察到动脉期、门静脉期、延迟期的血液流动，对诊断非常有帮助。不同亚型肿瘤的治疗方案各不相同，目前，多相增强CT已成为术前诊断肿瘤亚型的重要工具。
[0004]深度学习应用在医学图像处理也是一个大的方向，它被引入机器学习使其更接近于最初的目标——人工智能，并学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术，在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。随着深度学习的发展，卷积神经网络在不断地更新迭代，在图像识别方面得到越来越多的应用，具有不需要过多人工干预，能够自动提取图像特征且学习能力强等优点，尤其在癌症分类和病变检测等医学图像分析任务中表现出了极具竞争力的性能。
[0005]然而，恶性肿瘤的鉴别诊断仍具有挑战性，术前误诊可能会误导治疗决策，肿瘤成像报告和数据系统的日益复杂使得其在大容量实践中的实施变得不太可行，使得需要扩大对计算决策支持工具的临床需求，以提高工作效率，虽然传统卷积神经网络在CT图像的局部特征提取方面有一定优势，能够快速地检查病灶情况，但是无法利用增强CT的多个相期图像，会使得时间上的信息联系减弱，信息利用不完全，影响最后的诊断结果。
[0006]中国专利申请CN110443268A公布了一种基于深度学习的肝癌CT图像良性恶性分类方法，该方法在现有Resnet34网络模型的基础上进行设计改造，选取病人肝部信息最大
切片，通过数据处理与增强，放入模型后进行分类。然而，由于CT图像是3D形状，该方法提取到的空间特征不完全，且未考虑到多相期CT图像的情况，不能有效地结合病人多个相期的病变进行处理，使诊断结果准确精度下降。
[0007]因此针对上述问题，需要一种能将多相CT结合处理、并能提高分类精准度和速度的方法。根据现有的医学图像处理方法和深度学习发展内容，可以考虑使用注意力机制和以transformer为结构的编码器，其中注意力机制能够加强平扫期CT图像和增强CT图像的时间联系，而transformer最初是自然语言处理（NLP）领域在2017年提出来的模型，在2020年首次使用到视觉领域，类比为NLP，将图像序列化，能够很好地执行图像分类任务，最后的分类结果可与最优卷积神经网络相媲美，同时所需要的计算资源大大减少，提高了分类的效率和准确率。

技术实现思路

[0008]本专利技术考虑到正常CT扫描和增强CT扫描时患者的病灶结构未发生剧烈变化，提出了一种基于时空注意力模型的多相期CT图像分类系统及构建方法，解决现有的基于传统卷积神经网络无法将多相期CT图像结合起来处理的问题。
[0009]本专利技术首先由专业的医学影像科医生对多相期CT图像进行标注，再对图像进行预处理，把病灶部分分割出来，调整图像大小以适应模型的输入，进行数据增强，搭建嵌入层，输入是正常平扫的CT图像和注射造影剂后的多相期增强CT图像，输出是正常平扫的CT图像和注射造影剂后的多相期增强CT图像的嵌入向量，搭建空间注意力网络，该网络模型的输入是以上CT图像的嵌入向量，能分别输出正常平扫的CT图像和注射造影剂后的多相期CT图像的空间特征，再将以上空间特征进行合并，并搭建时间注意力网络，该网络模型的输入是合并后的空间特征，能输出结合了时间特征和空间特征的向量，再通过分类层输出最后的分类结果，最后与标签进行计算得到损失，不断训练优化使损失降到最小，得到最佳的分类模型作为基于时空注意力模型的多相期CT图像分类系统。
[0010]本专利技术采用的技术方案具体如下：一种基于时空注意力模型的多相期CT图像分类系统，包括：数据获取单元，用于获取待分类患者的s个相期的CT图像；第一嵌入层网络单元，包括s个第一嵌入层网络，第一嵌入层网络分别用于将每个相期CT图像分割成多个图像块并分别将每个图像块展平为图像块向量，再将所有图像块向量与类别标记向量合并后与同维度位置向量相加获得对应相期的CT图像的嵌入向量；空间注意力单元，包括s个空间注意力网络，每个空间注意力网络包括L1层第一多头注意力网络MSA、L1层第一多层感知机和一层第一归一化层，其中L1层第一多头注意力网络MSA和L1层第一多层感知机依次交错连接，所述第一多头注意力网络MSA包括多个自注意力模块SA、一个拼接层，其中，自注意力模块SA用于将归一化的输入向量转换为三个不同的查询矩阵Q
1i
，关键字矩阵K
1i
和值矩阵V
1i
，并依据三个不同的查询矩阵Q
1i
，关键字矩阵K
1i
和值矩阵V
1i
生成输入向量中每个向量之间的注意力函数，i=1,2
…
，表示空间注意力单元中第i个自注意力模块SA；拼接层用于拼接每个自注意力模块SA输出的注意力函数获得最终空间注意力函数；将最终空间注意力函数与输入向量相加作为对应下一层多层第一感知机的输入向量；
该网络通过多头注意力模块能够相互对比不同向量之间的联系，将关键的地方进行加强。
[0011]所述第一多层感知机对归一化的输入向量编码后与其输入向量相加作为对应下一层第一多头注意力网络MSA的输入；其中，第一层第一多头注意力网络MSA的输入向量为嵌入向量；第一归一化层用于对最后一层第一多层感知机输出的向量与其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空注意力模型的多相期CT图像分类系统，其特征在于，包括：数据获取单元，用于获取待分类患者的s个相期的CT图像；第一嵌入层网络单元，包括s个第一嵌入层网络，第一嵌入层网络分别用于将每个相期CT图像分割成多个图像块并分别将每个图像块展平为图像块向量，再将所有图像块向量与类别标记向量合并后与同维度位置向量相加获得对应相期的CT图像的嵌入向量；空间注意力单元，包括s个空间注意力网络，每个空间注意力网络包括L1层第一多头注意力网络MSA、L1层第一多层感知机和一层第一归一化层，其中L1层第一多头注意力网络MSA和L1层第一多层感知机依次交错连接，所述第一多头注意力网络MSA用于生成最终空间注意力函数，将最终空间注意力函数与输入向量相加作为对应下一层第一多层感知机的输入向量；所述第一多层感知机对归一化的输入向量编码后与其输入向量相加作为对应下一层第一多头注意力网络MSA的输入；其中，第一层第一多头注意力网络MSA的输入向量为嵌入向量；第一归一化层用于对最后一层第一多层感知机输出的向量与其输入向量相加后的向量的第一维度向量进行归一化并作为对应相期的CT图像的空间特征；第二嵌入层网络单元，包括1个第二嵌入层网络，用于将s个空间注意力网络输出的s个对应相期的CT图像的空间特征合并后与类别标记向量结合获得嵌入层向量；时间注意力单元，包括1个时间注意力网络，时间注意力网络包括L2层第二多头注意力网络MSA、L2层第二多层感知机和一层第二归一化层，其中L2层第二多头注意力网络MSA和L2层第二多层感知机依次交错连接，所述第二多头注意力网络MSA用于生成最终时间注意力函数，将最终时间注意力函数与输入向量相加作为对应下一层第二多层感知机的输入向量；所述第二多层感知机对归一化的输入向量编码后与其输入向量相加作为对应下一层第二多头注意力网络MSA的输入；其中，第一层第二多头注意力网络MSA的输入向量为第二嵌入层网络单元输出的嵌入层向量；第二归一化层用于对最后一层第二多层感知机输出的向量与其输入向量相加后的向量的第一维度向量进行归一化获得具有空间特征和时间特征的向量；分类层单元，包括分类层，用于依据具有空间特征和时间特征的向量获得分类结果。2.根据权利要求1所述的系统，其特征在于，s大于等于2，s个相期的CT图像具体包括：平扫期CT图像、动脉期CT图像、门静脉期CT图像和延迟期CT图像中的至少两种。3.根据权利要求1所述的系统，其特征在于，所述嵌入向量具体为：X
0 = [X
...

【专利技术属性】
技术研发人员：吴元锋，朱闻韬，薛梦凡，江浩东，
申请(专利权)人：之江实验室，
类型：发明
国别省市：