基于自注意力机制融合的脑CT图像处理方法及相关设备技术

本发明专利技术公开了一种基于自注意力机制融合的脑CT图像处理方法及相关设备，所述方法包括：构建处理模型，处理模型包括特征提取模块、特征融合模块和分类头，并获取用户的脑CT图像和格拉斯哥昏迷评分数据；将脑CT图像进行格式转换得到数据序列，对数据序列进行处理得到灰度图，并对灰度图进行去噪得到去噪灰度图；基于特征提取模块对去噪灰度图和格拉斯哥昏迷评分数据进行特征提取分别得到CT切片特征和领域知识相关特征；基于特征融合模块对CT切片特征和领域知识相关特征进行融合得到融合特征，并基于分类头对融合特征进行推理计算得到目标结果。本发明专利技术通过集成脑CT图像和GCS评分的多模态数据作为领域知识，对脑CT图像完成精准分析。准分析。准分析。

【技术实现步骤摘要】
基于自注意力机制融合的脑CT图像处理方法及相关设备


[0001]本专利技术涉及图像处理
，尤其涉及一种基于自注意力机制融合的脑CT图像处理方法、系统、终端及计算机可读存储介质。

技术介绍

[0002]脑出血(ICH)是由脑实质血管破裂，导致脑组织出血引起的。在脑出血的诊断中，重要的指标包括出血、格拉斯哥昏迷评分(Glasgow ComaScale，GCS)、有无脑室出血等；CT因其图像重建技术和可读性而被广泛应用于脑出血的领域，但传统的方法是通过CT来确定患者的GCS评分；然而，CT的解释需要合格的临床医生，故很容易受到临床医生的经验和主观判断的影响。虽然人工智能(Artificial Intelligence，AI)的使用可以帮助克服一些缺陷，但AI在脑出血领域的应用主要集中在出血的识别和体积测量，无法精准的对脑CT图像进行分析。
[0003]因此，现有技术还有待于改进和发展。

技术实现思路

[0004]本专利技术的主要目的在于提供一种基于自注意力机制融合的脑CT图像处理方法及相关设备，旨在解决现有技术中对脑CT图像无法进行精准分析的问题。
[0005]为实现上述目的，本专利技术提供一种基于自注意力机制融合的脑CT图像处理方法，所述基于自注意力机制融合的脑CT图像处理方法包括如下步骤：
[0006]构建处理模型，其中，所述处理模型包括特征提取模块、特征融合模块和分类头，并获取用户的脑CT图像和格拉斯哥昏迷评分数据；
[0007]将所述脑CT图像进行格式转换得到数据序列，对所述数据序列进行处理得到脑组织区域的灰度图，并对所述灰度图进行去噪处理得到去噪灰度图；
[0008]基于所述特征提取模块分别对所述去噪灰度图和所述格拉斯哥昏迷评分数据进行特征提取，分别得到CT切片特征和领域知识相关特征；
[0009]基于所述特征融合模块对所述CT切片特征和所述领域知识相关特征进行特征融合得到融合特征，并基于所述分类头对所述融合特征进行推理计算，得到目标结果。
[0010]可选地，所述的基于自注意力机制融合的脑CT图像处理方法，其中，所述将所述脑CT图像进行格式转换得到数据序列，对所述数据序列进行处理得到脑组织区域的灰度图，并对所述灰度图进行去噪处理得到去噪灰度图，具体包括：
[0011]将所述脑CT图像进行格式转换得到数据序列，对所述数据序列进行处理得到脑组织区域的灰度图，并对所述灰度图进行去噪处理得到去噪灰度图；
[0012]对所述脑CT图像进行表格提取得到DICOM格式的数据表，并对所述数据表进行读取，得到原始图像数据，其中，所述原始图像数据包括所述数据表的像素序列；
[0013]基于所述原始图像数据得到所述脑CT图像的目标窗位和目标窗宽，基于所述目标窗位和所述目标窗宽得到脑组织区域的灰度图；
[0014]对所述灰度图进行阈值分割和形态学操作，得到去噪灰度图。
[0015]可选地，所述的基于自注意力机制融合的脑CT图像处理方法，其中，所述基于所述特征提取模块分别对所述去噪灰度图和所述格拉斯哥昏迷评分数据进行特征提取，分别得到CT切片特征和领域知识相关特征，具体包括：
[0016]获取所述特征提取模块的Backbone部分，根据所述Backbone部分对所述去噪灰度图进行特征提取，得到CT切片特征，并接入多层感知器；
[0017]基于所述多层感知器将所述格拉斯哥昏迷评分数据发送到所述特征提取模块，并基于所述特征提取模块对所述格拉斯哥昏迷评分数据进行全连接方式计算，得到领域知识相关特征。
[0018]可选地，所述的基于自注意力机制融合的脑CT图像处理方法，其中，所述基于所述特征融合模块对所述CT切片特征和所述领域知识相关特征进行特征融合得到融合特征，并基于所述分类头对所述融合特征进行推理计算，得到目标结果，具体包括：
[0019]将所述CT切片特征和所述领域知识相关特征输入至所述特征融合模块，所述特征融合模块根据第一公式将所述CT切片特征和所述领域知识相关特征进行连接，得到混合特征向量；
[0020]根据第二公式计算所述CT切片特征和所述领域知识相关特征之间的潜在信息，并根据所述潜在信息对所述混合特征向量进行融合得到融合特征；
[0021]将所述融合特征输入至所述分类头，所述分类头根据交叉熵函数对所述融合特征进行计算得到结果损失，并基于所述结果损失得到目标结果。
[0022]可选地，所述的基于自注意力机制融合的脑CT图像处理方法，其中，所述第一公式为：
[0023]f
global
＝Concat(Conv(X
i
)，wg
i
+b)；
[0024]其中，f
global
为由脑CT图像和格拉斯哥昏迷评分数据连接的特征，Concat为组合函数，w为线性层的权重，b为线性层的偏差，i为数据集个体的索引，X
i
为第i个体的CT切片，g
i
为第i个体的GCS评分，Conv(X
i
)为对X
i
进行卷积运算。
[0025]可选地，所述的基于自注意力机制融合的脑CT图像处理方法，其中，所述第二公式为：
[0026]f
mix
＝Concat(head1，...，head
j
)W
O
；
[0027]其中，f
mix
为混合特征，Concat为组合函数，head
j
为第j个注意力头，W
O
为输出权重矩阵，j为不同注意力头的索引；
[0028]其中，Q
j
、和V
j
均为f
global
中的权重矩阵与不同注意力头相乘得到的结果，d
k
为向量键的维数。
[0029]可选地，所述的基于自注意力机制融合的脑CT图像处理方法，其中，所述多层感知器包含第一隐藏层、第二隐藏层和第三隐藏层，其中，所述第一隐藏层、所述第二隐藏层和所述第三隐藏层分别有32、128和256个神经元。
[0030]可选地，所述的基于自注意力机制融合的脑CT图像处理方法，其中，所述的基于自注意力机制融合的脑CT图像处理系统包括：
[0031]模型构建模块，用于构建处理模型，其中，所述处理模型包括特征提取模块、特征
融合模块和分类头；
[0032]数据获取模块，用于获取用户的脑CT图像和格拉斯哥昏迷评分数据；
[0033]数据处理模块，用于将所述脑CT图像进行格式转换得到数据序列，对所述数据序列进行处理得到脑组织区域的灰度图，并对所述灰度图进行去噪处理得到去噪灰度图；
[0034]特征提取模块，用于分别对所述去噪灰度图和所述格拉斯哥昏迷评分数据进行特征提取，分别得到CT切片特征和领域知识相关特征；
[0035]特征融合模块，用于对所述CT切片特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自注意力机制融合的脑CT图像处理方法，其特征在于，所述基于自注意力机制融合的脑CT图像处理方法包括：构建处理模型，其中，所述处理模型包括特征提取模块、特征融合模块和分类头，并获取用户的脑CT图像和格拉斯哥昏迷评分数据；将所述脑CT图像进行格式转换得到数据序列，对所述数据序列进行处理得到脑组织区域的灰度图，并对所述灰度图进行去噪处理得到去噪灰度图；基于所述特征提取模块分别对所述去噪灰度图和所述格拉斯哥昏迷评分数据进行特征提取，分别得到CT切片特征和领域知识相关特征；基于所述特征融合模块对所述CT切片特征和所述领域知识相关特征进行特征融合得到融合特征，并基于所述分类头对所述融合特征进行推理计算，得到目标结果。2.根据权利要求1所述的基于自注意力机制融合的脑CT图像处理方法，其特征在于，所述将所述脑CT图像进行格式转换得到数据序列，对所述数据序列进行处理得到脑组织区域的灰度图，并对所述灰度图进行去噪处理得到去噪灰度图，具体包括：对所述脑CT图像进行表格提取得到DICOM格式的数据表，并对所述数据表进行读取，得到原始图像数据，其中，所述原始图像数据包括所述数据表的像素序列；基于所述原始图像数据得到所述脑CT图像的目标窗位和目标窗宽，基于所述目标窗位和所述目标窗宽得到脑组织区域的灰度图；对所述灰度图进行阈值分割和形态学操作，得到去噪灰度图。3.根据权利要求1所述的基于自注意力机制融合的脑CT图像处理方法，其特征在于，所述基于所述特征提取模块分别对所述去噪灰度图和所述格拉斯哥昏迷评分数据进行特征提取，分别得到CT切片特征和领域知识相关特征，具体包括：获取所述特征提取模块的Backbone部分，根据所述Backbone部分对所述去噪灰度图进行特征提取，得到CT切片特征，并接入多层感知器；基于所述多层感知器将所述格拉斯哥昏迷评分数据发送到所述特征提取模块，并基于所述特征提取模块对所述格拉斯哥昏迷评分数据进行全连接方式计算，得到领域知识相关特征。4.根据权利要求1所述的基于自注意力机制融合的脑CT图像处理方法，其特征在于，所述基于所述特征融合模块对所述CT切片特征和所述领域知识相关特征进行特征融合得到融合特征，并基于所述分类头对所述融合特征进行推理计算，得到目标结果，具体包括：将所述CT切片特征和所述领域知识相关特征输入至所述特征融合模块，所述特征融合模块根据第一公式将所述CT切片特征和所述领域知识相关特征进行连接，得到混合特征向量；根据第二公式计算所述CT切片特征和所述领域知识相关特征之间的潜在信息，并根据所述潜在信息对所述混合特征向量进行融合得到融合特征；将所述融合特征输入至所述分类头，所述分类头根据交叉熵函数对所述融合特征进行计算得到结果损失，并基于所述结果损失得到目标结果。5.根据权利要求4所述的基于自注意力机制融合的脑CT图像处理方法，其特征在于，所述第一公式为：f
global
＝Concat(Conv(X
i
)，wg<...

【专利技术属性】
技术研发人员：张灵艳，万翔，朱记超，王昌淼，葛瑞泉，单许豪，李米芳，张妃媛，林智昊，
申请(专利权)人：深圳市大数据研究院，
类型：发明
国别省市：