一种基于空间编码的脑CT医学报告生成方法技术

本发明专利技术涉及一种基于空间编码的脑CT医学报告生成方法，用于解决现有技术无法为脑CT图像生成准确的医学报告的问题。首先，构建数据集并进行预处理，得到序列脑CT图像特征和多尺度超像素特征两种特征；其次，通过编码模型MSSE对序列脑CT图像特征和多尺度超像素特征进行特征编码，从而得到包含脑CT空间信息的序列图像特征。然后采用解码模型SALD对包含脑CT空间信息的序列图像特征进行解码从而生成脑CT医学报告，SALD解码模型包含空间注意力和LSTM两个部分，空间注意力用于提取重要的序列图像特征，最终得到整个CT影像的图像特征；LSTM将整个CT影像的图像特征作为输入，最终生成脑CT医学报告。成脑CT医学报告。成脑CT医学报告。

【技术实现步骤摘要】
一种基于空间编码的脑CT医学报告生成方法


[0001]本专利技术属于医学图像分析研究领域，具体地说，本专利技术涉及一种基于空间编码的脑CT医学报告生成方法。

技术介绍

[0002]医学报告通常由放射科医生通过阅读诸如X射线、超声、电子计算机断层扫描(Computed Tomography，CT)等图像后，根据经验诊断患者病情而撰写，以叙述成像检查中身体各个区域的诊断，特别是每个区域是否被诊断为正常、异常或潜在异常。CT是最常用的脑疾病诊断工具之一，具有成像快、成本低、适用范围广、病变检查率高等特点。临床急诊中脑部损伤的诊断是极其紧迫的，即使短时间的延误也可能导致患者病情恶化，因此脑CT图像的快速解释和撰写诊断报告至关重要。放射科医生的诊断结果在很大程度上取决于他们的临床经验，这种报告生成带有很多的主观判断性，而且相对来说耗时间，效率低。
[0003]近年来，伴随着医学影像技术的进步和发展，脑CT图像数量呈现出几何形式的增长，但放射科医生数量的增长速度却相对缓慢，而且培养一名合格的放射科医生成本高、周期长，致使在职放射科医生的工作任务与日俱增，间接导致了看病难等社会问题。因此，能够辅助放射科医生工作的脑CT医学报告生成技术，对于提升诊断效率，减轻撰写医学报告的负荷，具有十分重要的现实意义。
[0004]截止目前，医学报告生成任务工作主要采用了印度大学公开的胸部X射线图像数据集，除此以外，在超声影像、肾脏CT、X光等医学图像上也有少量医学报告自动生成相关研究。但针对脑CT的医学报告自动生成的理论和技术目前尚无文献涉及，和现有医学报告生成工作采用的图像相比，脑CT图像为三维数据，数据量更大，相邻层图像之间存在依赖关系；三维空间中病灶稀疏；脑血管疾病的机理更为复杂，病灶的密度形态等特征不确定性大。现有模型编码器不能针对脑CT图像在空间特征上的表示，且单张病灶区域最显著的图像不能支撑脑CT医学报告生成。

技术实现思路

[0005]本专利技术针对现有技术无法为脑CT图像生成准确的医学报告的问题，提出一种基于空间编码的脑CT医学报告生成方法(Spatial Encoding Based method,SEB)。本专利技术所述方法，能够将多尺度超像素和序列特征通过注意力实现两种特征的融合，以增强序列特征空间编码，并通过解码模型生成准确的医学报告。
[0006]为实现上述目的，本专利技术采用的技术方案为一种基于空间编码的脑CT医学报告生成方法。本专利技术的流程如图1所示，包含以下几个步骤。首先，构建数据集并进行预处理，得到序列脑CT图像特征和多尺度超像素特征两种特征；其次，通过编码模型MSSE(多尺度超像素脑CT空间编码模型)对序列脑CT图像特征和多尺度超像素特征进行特征编码，从而得到包含脑CT空间信息的序列图像特征。MSSE模型包含指导注意力模型GATT(Guided
‑
Attention,GATT)和FFA(前馈残差标准化模块)两个部分，其中指导注意力模块可以将包含
丰富空间信息的多尺度超像素特征和序列脑CT图像特征两者进行融合，FFA(前馈残差标准化模块)可以用于防止网络过拟合，帮助获得更好的脑CT序列图像特征；然后采用解码模型SALD对包含脑CT空间信息的序列图像特征进行解码从而生成脑CT医学报告，SALD解码模型包含空间注意力和LSTM两个部分，空间注意力用于提取重要的序列图像特征，其中关键的序列特征被赋予较高的权重参与特征加和，最终得到整个CT影像的图像特征；LSTM将整个CT影像的图像特征作为输入，最终生成脑CT医学报告，具体如下：
[0007]步骤(1)获取数据并预处理：
[0008]步骤(1.1)数据：采集脑CT图像及医学报告构建数据集，每一个患者数据包含其通过序列脑CT图像生成的RGB张量其中表示实数集合，n表示患者序列脑CT图像数量，N表示图像像素尺寸。
[0009]步骤(1.2)将所有患者数据划分为训练集、验证集和测试集。其中，训练集用于学习神经网络的参数；验证集用于确定超参数；测试集用于验证神经网络分类效果。
[0010]步骤(1.3)数据预处理：包括对医学报告分词，统计词频，剔除词频低于2的单词，将剩余单词按词频从大到小顺序构成词表，统计数据集医学报告的词表大小并记为vs，将医学报告中每一个单词通过one
‑
hot编码表示，最后将医学报告表示为张量其中l表示报告中单词个数；
[0011]步骤(1.4)特征提取：使用融合多尺度超像素的脑CT图像分类方法MSF预训练模型，用来提取序列脑CT图像特征及多尺度超像素特征B＝{B1…
B
S
},其中M表示输入的脑CT图像序列的个数，S为多尺度超像素的分割尺度数量。
[0012]步骤(2)基于编码模型MSSE对步骤(1)处理后的序列脑CT图像特征和多尺度超像素特征进行特征编码，最终得到包含脑CT空间信息的序列图像特征。MSSE模型包含指导注意力模型GATT和FFA(前馈残差标准化模块)两个部分，具体过程如下：
[0013]步骤(2.1)指导注意力模块GATT用于自动挖掘序列脑CT图像特征和多尺度超像素特征的关系，最终得到包含脑CT空间信息的序列图像特征。GATT共包含了S+1个注意力头，每个注意力头由查询张量Q，关键词张量K和值张量V组成。前S个注意力头的查询张量Q为单一尺度下的超像素特征B
i
,其中i∈{1,2,
…
S}；最后一个注意力头的查询张量Q为序列脑CT图像特征F。所有注意力头中的关键词张量K和值张量V均由序列脑CT特征F通过线性变换生成，线性变换采用单层神经网络线性变换。通过线性变换，最终所有注意力头的输入维度从1024变为256。每个注意力头的特征计算过程如下：
[0014][0015]a＝Vα
T
[0016]其中，d为缩放因子，值通常为关键词张量K的维度。
[0017]最后将多个注意力头的输出通过拼接和线性变换得到包含脑CT空间信息的序列图像特征GATT(B,F)，计算过程如下：
[0018]GATT(B,F)＝W[a1,a2,
…
a
S+1
][0019]其中，W表示使用单层神经网络线性变换权重，[
·
,
·
]表示将多个张量进行拼接操作。
[0020]步骤(2.2)为MSSE模型中的FFA模块，该模块包含残差连接和层归一化和前馈神经网络三部分，可以用于防止网络过拟合，最终可以获得更好的脑CT序列图像特征。该模块首先将步骤2.1中的GATT(B,F)与输入序列图像特征F进行残差连接和层归一化操作，实现两种特征的初步融合，最后获得中间的空间编码特征F
′0；接着将中间的空间编码特征F
′0输入到前馈神经网络FFN中(Feed Forward Network)，FFN包含两个线性变换和一个非线性激活函数ReLU；最后再次对FFN的输出和FFN的输入进行残差连接和层归一化，得到脑CT本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于空间编码的脑CT医学报告生成方法，其特征在于：步骤(1)、构建数据集并进行预处理，得到序列脑CT图像特征和多尺度超像素特征两种特征；步骤(2)、通过编码模型MSSE多尺度超像素脑CT空间编码模型对序列脑CT图像特征和多尺度超像素特征进行特征编码，从而得到包含脑CT空间信息的序列图像特征；其中MSSE模型包含指导注意力模型GATT和FFA前馈残差标准化模块两个部分，其中指导注意力模块将包含丰富空间信息的多尺度超像素特征和序列脑CT图像特征两者进行融合，FFA前馈残差标准化模块用于防止网络过拟合，帮助获得更好的脑CT序列图像特征；步骤(3)、采用解码模型SALD对包含脑CT空间信息的序列图像特征进行解码从而生成脑CT医学报告，SALD解码模型包含空间注意力和LSTM两个部分，空间注意力用于提取重要的序列图像特征，其中关键的序列特征被赋予较高的权重参与特征加和，最终得到整个CT影像的图像特征；LSTM将整个CT影像的图像特征作为输入，最终生成脑CT医学报告。2.根据权利要求1所述的一种基于空间编码的脑CT医学报告生成方法，其特征在于：进一步的，步骤(1)包括以下步骤，步骤(1.1)数据：采集脑CT图像及医学报告构建数据集，每一个患者数据包含其通过序列脑CT图像生成的RGB张量其中表示实数集合，n表示患者序列脑CT图像数量，N表示图像像素尺寸；步骤(1.2)将所有患者数据划分为训练集、验证集和测试集，其中，训练集用于学习神经网络的参数；验证集用于确定超参数；测试集用于验证神经网络分类效果；步骤(1.3)数据预处理：包括对医学报告分词，统计词频，剔除词频低于2的单词，将剩余单词按词频从大到小顺序构成词表，统计数据集医学报告的词表大小并记为vs，将医学报告中每一个单词通过one
‑
hot编码表示，最后将医学报告表示为张量其中l表示报告中单词个数；步骤(1.4)特征提取：使用融合多尺度超像素的脑CT图像分类方法MSF预训练模型，用来提取序列脑CT图像特征及多尺度超像素特征其中M表示输入的脑CT图像序列的个数，S为多尺度超像素的分割尺度数量。3.根据权利要求1所述的一种基于空间编码的脑CT医学报告生成方法，其特征在于：进一步的，步骤(2)包括以下步骤，步骤(2.1)指导注意力模块GATT用于自动挖掘序列脑CT图像特征和多尺度超像素特征的关系，最终得到包含脑CT空间信息的序列图像特征；GATT共包含了S+1个注意力头，每个注意力头由查询张量Q，关键词张量K和值张量V组成；前S个注意力头的查询张量Q为单一尺度下的超像素特征B
i
,其中i∈{1,2,
…
S}；最后一个注意力头的查询张量Q为序列脑CT图像特征F；所有注意力头中的关键词张量K和值张量V均由序列脑CT特征F通过线性变换生成，线性变换采用单层神经网络线性变换，通过线性变换，最终所有注意力头的输入维度从1024变为256，每个注意力头的特征计算过程如下：
a＝Vα
T
其中，d为缩放因子，值通常为关键词张量K的维度；最后将多个注意力头的输出通过拼接和线性变换得到包含脑CT空间信息的序列图像特征GATT(B，F)，计算过程如下：GATT(B，F)＝W[a1，a2，
…
a
S+1
]其中，W表示使用单层神经网络线性变换权重，[
·
，
·
]表示将多个张量进行拼接操作；步骤(2.2)为MSSE模型中的FFA模块，该模块包含残差连接和层归一化和前馈神经网络三部分，用于防止网络过拟合，最终可以获得更好的脑CT序列图像特征；该模块首先将步骤2.1中的GATT(B，F)与输入序列图像特征F进行残差连接和层归一化操作，实现两种特征的初步融合，最后获得中间的空间编码特征F
′0；接着将中间的空间编码特征F
′0输入到前馈神经网络FFN中，FFN包含两个线性变换和一个非线性激活函数ReLU；最后再次对FFN的输出和FFN的输入进行残差连接和层归一化，得到脑CT序列图像特征MSSE模型的计算公式如下：F
′0＝LNorm[GATT(B，F)+F]F0＝LNorm[FFN(...

【专利技术属性】
技术研发人员：张晓丹，张梦隆，刘颖，王筝，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：