一种基于共现关系分层注意力的脑CT医学报告自动生成方法技术

本发明专利技术公开了一种基于共现关系分层注意力的脑CT医学报告自动生成方法，预处理脑CT数据集并建立词汇表；构建脑CT影像的特征提取器用于提取脑CT影像的视觉特征；构建共现关系语义注意力模块，用于提取脑CT影像中常见医学术语的语义注意力特征，其内部包括词嵌入层及语义注意力机制。构建主题向量引导的视觉注意力模块，该模块中的主题向量融合常见及罕见的医学术语的语义信息，完整表达句子层级的医学术语主题，该医学术语主题则指导视觉注意力机制捕捉重要的病灶区域特征。本方法结合常见医学术语之间的共现关系推测缺失的语义信息，从而提取更加丰富的语义注意力特征，分层协作提升生成的脑CT医学报告的准确性、多样性。多样性。多样性。

【技术实现步骤摘要】
一种基于共现关系分层注意力的脑CT医学报告自动生成方法


[0001]本专利技术涉及医学影像，计算机视觉和自然语言处理三个领域，针对脑CT医学报告自动生成这一目标，设计了一种基于共现关系分层注意力的脑CT医学报告自动生成方法。

技术介绍

[0002]如今医学影像技术在临床诊断过程中扮演非常重要的角色，放射科医生通过分析医学影像来做出临床诊断并书写诊断报告。在人口稠密的国家和地区，放射科医生每天可能需要阅读大量的医学影像，并将其诊断结果写成报告。这个过程占用了他们大部分的精力和时间，严重影响到放射科医生的工作效率。
[0003]众多医学影像技术中，颅脑影像(脑CT)用于诊断各种脑血管疾病，如脑出血、脑梗塞、蛛网膜下腔出血、脑内血肿等，快速且准确地确诊疾病对于临床治疗十分重要。因此，辅助医生更高效的发现病灶和书写医学报告具有较高的研究与应用价值，脑CT医学报告的自动生成对于提升医生的阅片效率，辅助医生给出更加完善和准确的临床诊断具有重要的意义。
[0004]医学报告生成是近年来医学影像与计算机
的新兴研究方向，其目标是为一组医学本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于共现关系分层注意力的脑CT医学报告自动生成方法，其特征在于：该方法包括如下步骤，(1)预处理脑CT数据集，得到标准化的三维脑CT影像及其对应的脑CT医学报告文本，建立词汇表；(2)构建脑CT影像的特征提取器用于提取脑CT影像的视觉特征F＝[f1,f2,
…
f
i
,
…
f
N
]，其中N代表脑CT影像序列的切片数量，f
i
代表第i张脑CT切片的视觉特征；(3)构建共现关系语义注意力模块，该共现关系语义注意力模块用于提取脑CT影像中常见医学术语的语义注意力特征，其内部包括词嵌入层及语义注意力机制；(4)构建主题向量引导的视觉注意力模块，将常见医学术语的语义注意力特征嵌入到常见医学术语主题向量并与罕见医学术语主题向量进行融合，然后指导视觉注意力机制捕捉病灶区域从而得到视觉注意力特征，视觉注意力机制包括一个序列注意力及一个空间注意力，序列注意力用以选择重要的切片序列，空间注意力则选择切片中的病灶区域，两者进行结合来捕捉切片中的关键病灶区域特征，通过语言生成模型生成脑CT医学报告。2.根据权利要求1所述的一种基于共现关系分层注意力的脑CT医学报告自动生成方法，其特征在于：对脑CT影像及其对应的脑CT医学报告数据集进行预处理过程如下，步骤(1.1)：采集脑CT影像构建切片序列，每一个患者数据包含其通过脑CT影像生成的RGB图像序列I＝{I1,I2,
…
I
i
,
…
I
N
}，与对应的脑CT医学报告Y＝[y1,y2,
…
y
i
,
…
y
T
]，其中N代表脑CT切片序列的数量，I
i
代表第i张切片的RGB图像矩阵，W和H分别代表该图像的宽度和高度，y
i
代表脑CT医学报告中的第i个单词，T代表脑CT医学报告中单词的个数；代表该图像的维度为3
×
W
×
H；步骤(1.2)按7：1：2的比例将所有患者数据划分为训练集、验证集和测试集；其中，训练集用于学习模型的参数；验证集用于确定超参数；测试集用于验证模型性能；步骤(1.3)数据预处理：对于切片数量不超过24的脑CT影像序列使用插值算法补全，对于切片数量超过24的脑CT影像序列使用均匀采样方法挑选。3.根据权利要求1所述的一种基于共现关系分层注意力的脑CT医学报告自动生成方法，其特征在于：构建特征提取器用于提取脑CT影像的视觉特征图F＝[f1,f2,
…
f
i
,
…
f
N
]和全局特征FC＝[fc1,fc2,
…
fc
i
,
…
fc
N
]，其中N代表脑CT切片序列的数量，f
i
代表第i张脑CT切片的视觉特征图，fc
i
代表第i张脑CT切片的全局视觉特征；使用Resnet101网络在脑CT数据集上训练，最后将Resnet101网络的最后一层特征图作为最后的图像视觉特征F，提取图像视觉特征F的计算过程如下：F，FC＝Resnet101(I)。4.根据权利要求1所述的一种基于共现关系分层注意力的脑CT医学报告自动生成方法，其特征在于：构建共现关系驱动的语义注意力模块,提取常见医学术语的语义信息，并结合常见医学术语之间的共现关系及语义注意力机制来挖掘常见医学术语之间的语义相关性，推测缺失的语义信息；其具体过程如下：步骤(3.1)构建共现关系驱动的语义注意力模块中的语义注意力机制用于提取脑CT影像中对应的常见医学术语的语义特征，该语义注意力机制对m个常见医学术语关键词K＝{k1,k2,
…
k
i
,
…
k
m
}进行词嵌入得到常见医学术语的语义特征S，结合语义注意力机制，以视觉全局特征引导注意力的计算，对不同的医学术语的语义特征赋予不同权重，自动捕捉重要的语义信息；首先通过对常见医学术语的语义特征S计算其语义注意力权重α
init
，计算过
程如下：S＝Embedding(K)e＝φ(h
m
,FC,S)α
init
＝Softmax(e)Enbedding为语义嵌入层，将常见医学术语嵌入到语义特征S，φ为前馈神经网络，自动学习到其内部三个参数之间的相关性矩阵，h
m
为用于编码和记忆已经生成的句子的LSTM
m
内部的隐藏层状态，FC为视觉全局特征，S为常见医学术语的语义特征；e为前馈神经网络的输出，α
init
为输出的初始语义注意力权重；其中LSTM
m
及其隐藏层状态h
m
定义如下：h
m
＝LSTM
m
(sen
pre
)sen
pre
为上一个已经生成的句子；语义注意力损失函数定义如下：Loss
sem
＝BCE(σ(e),label)其中，BCE代表二元交叉熵损失函数，σ代表sigmoid激活函数，label代表每个样本对应的正确的常见医学术语的标签；得到初始的语义注意力权重α
init
之后，引入常见医学术语之间的共现关系矩阵并嵌入到关系权重，结合初始语义注意力权重与语义特征计算最终的语义注意力特征；步骤(3.2)构建常见医学术语之间的共现关系矩阵R；根据脑CT数据集，统计脑CT医学报告中常见医学术语的出现频率及其之...

【专利技术属性】
技术研发人员：冀俊忠，豆世鑫，张晓丹，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：