基于特征分离重组的肝移植排异反应预测装置制造方法及图纸

本发明专利技术公开了一种基于特征分离重组的肝移植排异反应预测装置，属于医学图像处理技术领域，包括在提取肝组织CT影像特征、肝门静脉CT影像特征以及腹部平扫CT图像特征的基础上，使用多头注意力机制进行关键特征融合操作，将肝组织CT影像特征与腹部平扫CT图像特征融合得到肝组织关键特征，将肝门静脉CT影像与腹部平扫CT图像特征融合得到肝门静脉关键特征，再将肝组织关键特征以及肝门静脉关键特征进行降维、融合得到融合特征，利用该融合特征进行肝移植排异反应预测，提升了预测效率和精度，帮助医生更加精准高效地对肝移植受者的排异反应进行预测。反应进行预测。反应进行预测。

【技术实现步骤摘要】
基于特征分离重组的肝移植排异反应预测装置


[0001]本专利技术属于医学图像处理领域，具体地说，涉及一种基于特征分离重组的肝移植排异反应预测装置。

技术介绍

[0002]近年来，随着计算机算力的提升，深度学习技术在工程上的应用快速发展。作为深度学习技术的子领域，医学人工智能借助深度学习技术协助专家进行检测，避免冗余复杂的工作。深度学习是一种计算机科学技术应用中非常重要的领域，通过网络的深度可以挖掘到不易注意到的特征，因此在医学辅助方面具有广泛的应用前景。随着外科手术技术的进步和器官捐献流程的日趋成熟，肝移植手术变得越来越常见。肝脏移植可以延长患者寿命超过5年，但是手术需要有健康的配型肝脏捐赠才能成功进行。由于肝移植属于异体移植，即移植的肝脏和受体来自不同的个体，因此肝移植手术之后常见排异反应。
[0003]尽管使用免疫抑制剂，仍有约60％的肝脏移植患者至少会在术后1
‑
6周内发生一次急性排斥反应亦或是发生在术后2～3天或6周以后。排斥反应的早期临床表现包括发热、乏力、嗜睡、食欲不振、肝区压痛、腹水增加；胆汁引流可见胆汁变稀薄、色变浅、量减少；血液生化检查显示胆红素升高、转氨酶和碱性磷酸酶升高，外周血和移植肝嗜酸性细胞及淋巴细胞增多。血清Neopterin、sIL
‑
2受体、鸟嘌呤脱氢酶、淀粉样A蛋白和a
‑
微球蛋白指标升高。其中胆红素是最为敏感。经皮肝活检可确诊，组织学特征为汇管区炎细胞浸润、叶间胆管上皮异常、汇管区和/或中央静脉内膜炎。
[0004]影像上来看，可以通过观察患者的腹部CT间接判断是否可能存在排异反应。由于肝门静脉在平扫CT可见度较差，因此一般需要给病人注入造影剂观察其静脉相CT来观察肝门静脉特征。但是病人会存在造影剂过敏的可能性。
[0005]因此通过影像数据无创提前预防排异反应是在肝移植手术术后观察非常有意义的一件事情。同时，为了避免造影剂对病人的副作用，是否可以仅使用平扫CT影像判断排异反应也是值得探讨的问题。
[0006]随着人工智能技术的发展，以ResNet为代表的卷积神经网络(CNN)在图像分类领域到达了非常优秀的水准。但是近年来Transformer架构的出现使得特征融合模块渐渐地从CNN架构转变到Transformer架构。因此，现在CNN作为特征提取框架，Transformer用于融合的的混合模型在图像分类领域表现更加突出。

技术实现思路

[0007]鉴于上述，本专利技术的目的是提供一种基于特征分离重组的肝移植排异反应预测装置，实现对肝移植病人排异反应的高效、准确、无创预测。
[0008]为实现上述专利技术目的，本专利技术提供了一种基于特征分离重组的肝移植排异反应预测装置，包括存储器、处理器，所述存储器用于存储执行基于特征分离重组的肝移植排异反应预测的计算机可执行程序，所述处理器与所述存储器通信连接，并配置为执行存储器存
储的计算机可执行程序，所述处理器执行所述计算机可执行程序时实现以下步骤：
[0009]对腹部平扫CT影像进行肝和肝门静脉的语义分割标注形成标注样本；
[0010]构建特征分离重组的肝移植排异反应预测模型，包括组织影像分离模块、特征提取模块、关键特征融合模块、特征融合模块以及排异反应预测模块，其中，组织影像分离模块用于对腹部平扫CT影像和对应的标注样本进行影像分离，从腹部平扫CT影像中分离得到肝组织CT影像和肝门静脉CT影像，特征提取模块用于将肝组织CT影像、腹平扫CT影像和肝门静脉CT影像在各自的特征提取网络中提取到对应的肝组织CT影像特征、腹部平扫CT影像特征、肝门静脉CT影像特征，关键特征融合模块用于将肝组织CT影像特征、肝门静脉CT影像特征分别与腹部平扫CT影像特征融合成相对应的肝组织关键特征和肝门静脉关键特征，特征融合模块用于将肝组织关键特征和肝门静脉关键特征进行与腹部平扫CT影像特征融合后进行压缩，将该融合特征用于排异反应预测，排异反应预测模块用于根据融合特征预测排异反应；
[0011]将所有腹部平扫CT影像及对应的标注样本送入肝移植排异反应预测模型中进行关于是否有排异反应真值标签的监督训练，并通过更新模型参数不断优化；
[0012]利用参数优化的肝移植排异反应预测模型进行排异反应预测。
[0013]优选地，所述的组织影像分离模块中，依据标注样本将肝区域和肝门静脉区域向外扩充像素后从腹部平扫CT影像中分割出来，并使用0向量填满空余区域以将分割后标注样本补充到原始CT影像大小，没有肝门静脉分割标注的CT影像用全0向量替代。
[0014]优选地，所述的特征提取模块采用卷积神经网络，包括3个特征提取网络，肝组织CT影像特征提取网络用于提取肝组织CT影像特征，腹部平扫CT影像特征提取网络用于提取腹部平扫CT影像特征，肝门静脉CT影像特征提取网络用于提取肝门静脉CT影像特征。
[0015]优选地，所述的关键特征融合模块包括肝组织关键特征融合模块和肝门静脉关键特征融合模块，肝组织关键特征融合模块用于将肝组织CT影像特征和腹部平扫CT影像特征融合成肝组织关键特征，肝门静脉关键特征融合模块用于将肝门静脉CT影像特征和腹部平扫CT影像特征融合成肝门静脉关键特征；肝组织关键特征融合模块和肝门静脉关键特征融合模块均采用多头注意力机制进行特征融合，具体包括：
[0016]将尺寸为C
×
H
×
W的特征F
l
输入至空间多头注意力Spatial
‑
MHA，通过池化操作Pool()、变形操作转变为(H
×
W)
×
C的二维向量Sp(F
l
)，用公式表示为：
[0017]Sp(F
l
)＝MHA(Pool(F
l
),F
l
)
[0018]F
l
表示提取到的肝组织CT影像特征或肝门静脉CT影像特征；
[0019]二维向量Sp(F
l
)通过通道多头注意力Channel
‑
MHA计算关键特征F'
l
，用公式表示为：
[0020]F
′
l
＝MHA(Conv1(F
t
),Sp(F
l
))
[0021]F
t
表示腹部平扫CT影像特征，Conv1()表示输出通道为1的卷积操作，F'
l
表示肝组织关键特征或肝门静脉关键特征；
[0022]上述公式中，MHA()表示注意力机制，用公式表示为：
[0023][0024]其中W
Q
，W
K
，W
V
为C
×
C的权重矩阵，dk用于表示特征向量维度且此处的dk等于C，f
x
和f
y
分别表示两个变量，在计算Sp(F
l
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征分离重组的肝移植排异反应预测装置，包括存储器、处理器，所述存储器用于存储执行基于特征分离重组的肝移植排异反应预测的计算机可执行程序，所述处理器与所述存储器通信连接，并配置为执行存储器存储的计算机可执行程序，所述处理器执行所述计算机可执行程序时实现以下步骤：对腹部平扫CT影像进行肝和肝门静脉的语义分割标注形成标注样本；构建特征分离重组的肝移植排异反应预测模型，包括组织影像分离模块、特征提取模块、关键特征融合模块、特征融合模块以及排异反应预测模块，其中，组织影像分离模块用于对腹部平扫CT影像和对应的标注样本进行影像分离，从腹部平扫CT影像中分离得到肝组织CT影像和肝门静脉CT影像，特征提取模块用于将肝组织CT影像、腹平扫CT影像和肝门静脉CT影像在各自的特征提取网络中提取到对应的肝组织CT影像特征、腹部平扫CT影像特征、肝门静脉CT影像特征，关键特征融合模块用于将肝组织CT影像特征、肝门静脉CT影像特征分别与腹部平扫CT影像特征融合成相对应的肝组织关键特征和肝门静脉关键特征，特征融合模块用于将肝组织关键特征和肝门静脉关键特征进行与腹部平扫CT影像特征融合后进行压缩，将该融合特征用于排异反应预测，排异反应预测模块用于根据融合特征预测排异反应；将所有腹部平扫CT影像及对应的标注样本送入肝移植排异反应预测模型中进行关于是否有排异反应真值标签的监督训练，并通过更新模型参数不断优化；利用参数优化的肝移植排异反应预测模型进行排异反应预测。2.根据权利要求1所述的基于特征分离重组的肝移植排异反应预测装置，其特征在于，所述的组织影像分离模块中，依据标注样本将肝区域和肝门静脉区域向外扩充像素后从腹部平扫CT影像中分割出来，并使用0向量填满空余区域以将分割后标注样本补充到原始CT影像大小，没有肝门静脉分割标注的CT影像用全0向量替代。3.根据权利要求1所述的基于特征分离重组的肝移植排异反应预测装置，其特征在于，所述的特征提取模块采用卷积神经网络，包括3个特征提取网络，肝组织CT影像特征提取网络用于提取肝组织CT影像特征，腹部平扫CT影像特征提取网络用于提取腹部平扫CT影像特征，肝门静脉CT影像特征提取网络用于提取肝门静脉CT影像特征。4.根据权利要求1所述的基于特征分离重组的肝移植排异反应预测装置，其特征在于，所述的关键特征融合模块包括肝组织关键特征融合模块和肝门静脉关键特征融合模块，肝组织关键特征融合模块用于将肝组织CT影像特征和腹部平扫CT影像特征融合成肝组织关键特征，肝门静脉关键特征融合模块用于将肝门静脉CT影像特征和腹部平扫CT影像特征融合成肝门静脉关键特征；肝组织关键特征融合模块和肝门静脉关键特征融合模块均采用多头注意力机制进行特征融合，具体包括：将尺寸为C
×
H
×
W的特征F
l
输入至空间多头注意力Spatial
‑
MHA，通过池化操作Pool()、变形操作转变为(H
×
W)
×
C的二维向量Sp(F
l
)，H代表特征的高度，W代表宽度，C代表通道数，用公式表示为：Sp(F
l
)＝MHA(Pool(F
l
),F
l
)F
l
表示提取到的肝组织CT影像特征或肝门静脉CT影像特征；二维向量Sp(F
l
)通过通道多头注意力Channel
‑
MHA计算关键特征F'
l
，用公式表示为：
F
′
l
＝MHA(Conv1(F
t
),Sp(F
l
))F
t
表示腹部平扫CT影像特征，Conv1()表示输出通道为1卷积核大小为1的卷积操作，F'
l
表示肝组织关键特征或肝门静脉关键特征；上述公式中，MHA()表示注意力机制，用公式表示为：其中W
Q
，W
K
，W
V
为C
×
C的权重矩阵，dk用于表示特征向量维度且此处的dk等于C，f
x
和f
y
分别表示两个变量，在计算S...

【专利技术属性】
技术研发人员：吴健，程奕，应豪超，徐红霞，叶志前，
申请(专利权)人：浙江大学，
类型：发明
国别省市：