基于时空注意力模型的多相期CT图像分类系统及构建方法技术方案

本发明专利技术公开了一种基于时空注意力模型的多相期CT图像分类系统及构建方法，本发明专利技术系统包括数据获取单元、第一嵌入层网络单元、空间注意力单元、第二嵌入层网络单元、时间注意力单元和分类层单元。其中通过嵌入层单元将多相期CT图像向量化，随后使用空间注意力单元提取空间特征，并把多相期CT图像的空间特征合并后输入到时间注意力单元，得到具有空间特征和时间特征的向量，通过分类层单元完成分类。本发明专利技术采用了注意力机制，并分离了空间和时间特征，更关注CT图像中的重点部分，同时能将各个相期的CT图像全局联系起来，减少了计算冗余，提升了分类效率和精度，对于通过多相期CT图像进行分类的医学诊断更具有适应性，且具有更高的实用性。的实用性。的实用性。

【技术实现步骤摘要】
基于时空注意力模型的多相期CT图像分类系统及构建方法


[0001]本专利技术涉及医学图像处理
，尤其涉及一种基于时空注意力模型的多相期CT图像分类系统及构建方法。

技术介绍

[0002]CT(Computed Tomography)，即电子计算机断层扫描，它是利用精确准直的X线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描，具有扫描时间快，图像清晰等特点，随着治疗方法的改进，CT图像扫描应用在各类肿瘤（如肝癌）的诊断也越来越普及，能够快速发现肿瘤的部位、大小和范围，可直接观察到病变内是否有坏死、出血等改变，并且可发现是否有肿瘤转移等情况，提高了肿瘤的检出率。
[0003]尽管CT平扫可以快速地发现病变，甚至检查出一些疾病，但是有些病变如血管畸形、早期癌症和转移瘤等无法通过CT平扫诊断出来。为了提高病变的显示率、确定病灶的范围和临床分期，需要用到增强CT扫描。以颅脑CT检查为例，平扫CT诊断的准确率为82%，增强扫描的准确率则上升到92%－95%，可见增强CT对提高诊断率很有帮助。CT增强扫描本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空注意力模型的多相期CT图像分类系统，其特征在于，包括：数据获取单元，用于获取待分类患者的s个相期的CT图像；第一嵌入层网络单元，包括s个第一嵌入层网络，第一嵌入层网络分别用于将每个相期CT图像分割成多个图像块并分别将每个图像块展平为图像块向量，再将所有图像块向量与类别标记向量合并后与同维度位置向量相加获得对应相期的CT图像的嵌入向量；空间注意力单元，包括s个空间注意力网络，每个空间注意力网络包括L1层第一多头注意力网络MSA、L1层第一多层感知机和一层第一归一化层，其中L1层第一多头注意力网络MSA和L1层第一多层感知机依次交错连接，所述第一多头注意力网络MSA用于生成最终空间注意力函数，将最终空间注意力函数与输入向量相加作为对应下一层第一多层感知机的输入向量；所述第一多层感知机对归一化的输入向量编码后与其输入向量相加作为对应下一层第一多头注意力网络MSA的输入；其中，第一层第一多头注意力网络MSA的输入向量为嵌入向量；第一归一化层用于对最后一层第一多层感知机输出的向量与其输入向量相加后的向量的第一维度向量进行归一化并作为对应相期的CT图像的空间特征；第二嵌入层网络单元，包括1个第二嵌入层网络，用于将s个空间注意力网络输出的s个对应相期的CT图像的空间特征合并后与类别标记向量结合获得嵌入层向量；时间注意力单元，包括1个时间注意力网络，时间注意力网络包括L2层第二多头注意力网络MSA、L2层第二多层感知机和一层第二归一化层，其中L2层第二多头注意力网络MSA和L2层第二多层感知机依次交错连接，所述第二多头注意力网络MSA用于生成最终时间注意力函数，将最终时间注意力函数与输入向量相加作为对应下一层第二多层感知机的输入向量；所述第二多层感知机对归一化的输入向量编码后与其输入向量相加作为对应下一层第二多头注意力网络MSA的输入；其中，第一层第二多头注意力网络MSA的输入向量为第二嵌入层网络单元输出的嵌入层向量；第二归一化层用于对最后一层第二多层感知机输出的向量与其输入向量相加后的向量的第一维度向量进行归一化获得具有空间特征和时间特征的向量；分类层单元，包括分类层，用于依据具有空间特征和时间特征的向量获得分类结果。2.根据权利要求1所述的系统，其特征在于，s大于等于2，s个相期的CT图像具体包括：平扫期CT图像、动脉期CT图像、门静脉期CT图像和延迟期CT图像中的至少两种。3.根据权利要求1所述的系统，其特征在于，所述嵌入向量具体为：X
0 = [X
...

【专利技术属性】
技术研发人员：吴元锋，朱闻韬，薛梦凡，江浩东，
申请(专利权)人：之江实验室，
类型：发明
国别省市：