一种结合语言先验知识的医学影像报告生成方法技术

本发明专利技术提出了一种结合语言先验知识的医学影像报告生成方法，属于计算机视觉和文本生成技术领域

【技术实现步骤摘要】
一种结合语言先验知识的医学影像报告生成方法


[0001]本专利技术涉及一种结合语言先验知识的医学影像报告生成方法，属于计算机视觉和文本生成

。

技术介绍

[0002]医学文本报告通常有着固定的词汇和语法结构，即具有固定的模式，是报告中的语言先验知识
。
语言先验知识为解码器提供语义信息和结构信息，从而指导模型生成更专业准确的文本报告
。
[0003]已有的基于检索的报告生成方法首先选择重要的模式构建模板库，然后检索与图像匹配的模板，最终将检索得到的模板组合或者释义得到报告
。
这类方法将句子或报告整体作为模式，进而构建模板库
。
然而，这种模板库会在检索的过程中导致混淆问题，降低模型的整体性能
。
这是因为在医学影像报告中存在大量表述不同但语义相近的句子
。
当将这两个句子同时作为模板时，检索模型在这两个句子之间的选择是多余的，对整体性能有着负面影响
。
此外，还存在同一个句子中包含多种语义的情况，当其中一种器官是正常状态而另一种器官是异常状态时，该句子对检索模块的影响将是负面的
。
[0004]与句子相比，短语中包含的语义信息更加单一且更加细粒度
。
使用短语构建模板库则有益于降低上述两种情况带来的负面影响
。
因此，本专利技术采用具有细粒度信息的短语作为模板，并设计短语分数选择关键的短语作为模板
。

技术实现思路

[0005]本专利技术的目的是为了解决句子模板带来的语义信息混淆和信息度冗余的问题，而提出了一种结合语言先验知识的医学影像报告生成方法
。
本专利技术包括短语模板库构建阶段和基于检索的报告生成阶段
。
[0006]在模板库构建阶段，根据短语分数在收集的短语集合中选择关键的短语作为模板，并将模板的特征显式地存储于外部的模板特征库中
。
[0007]基于检索的报告生成阶段包括视觉特征提取器以及三个子模块：模板特征库动态更新模块
、
视觉
‑
语言检索模块和短语解码模块
。
其中，模板特征库动态更新模块在训练的过程中逐步更新特征库中的模板特征，以学到更好的模板特征表示，增加检索模型的稳定性
。
视觉
‑
语言检索模块根据输入的医学影像从模板特征库中查找相关的模板特征，并融合多个模板特征得到更适合的模板特征表示
。
短语解码模块则根据视觉特征和融合后的模板特征，将匹配的短语模板特征扩展生成最终的文本报告
。
[0008]一种结合语言先验知识的医学影像报告生成方法，包括如下步骤：
[0009]步骤
1、
从训练语料库中收集候选短语集合，从所有的报告句子中提取对应的
N
‑
grams
短语子串；
[0010]其中，
N
是每个短语的长度，长度为
N
的短语集合表示为
[0011]步骤
2、
以短语分数为标准，为每个短语打分；
[0012]其中，短语分数如下式所示：
[0013][0014]其中，第一项代表短语频率项
。n
#,i
代表第
k
个句子中的第
i
个短语子串出现的次数，
K
是训练语料库中全部句子出现的次数
。
[0015]第二项是短语语义项，衡量候选短语是否与对应的父句保持语义一致性
。
其中，
τ
代表平衡系数，
d(
·
)
是余弦相似度，用来度量短语特征之间的相似度，和分别是第
i
个短语
r
和其所在第
k
个句子
s
的编码特征
。p(s,r)
λ
是长度惩罚项，防止根据短语分数构建出与句子级别模板库无异的模板库
。
其中，
λ
表示平衡候选短语长度的超参数
。
[0016]步骤
3、
对候选短语执行去重复的操作
。
对于同一父句的所有候选短语子串，采用非极大抑制保留短语分数最高的候选短语作为候选模板
。
对于不同父句的候选短语之间，则根据特征之间的余弦相似度是否超过一定的阈值以判断短语之间是否重复，然后保留短语分数较高的候选短语；
[0017]步骤
4、
对于模板库中短语模板的数量
T
，根据以下公式确定模板库中不同长度的短语数量
[0018]其中，表示语料库中所有长度为
N
的短语的数量，在实验中设置
N∈{3,4,
…
,12}。
此外，如果一个候选短语是其他短语的子串并且短语分数较低，则将其删除，得到最终的短语模板库
。
[0019]步骤
5、
检索模板，具体为：以视觉特征和模板特征库为输入，通过视觉
‑
语言检索模块检索与图像匹配的特征；
[0020]其中，视觉
‑
语言检索模块基于注意力机制实现：
[0021][0022]其中，
g
表示与模板对应的注意力分数图，
k
/
和分别表示视觉特征和模板特征对应的键向量，
L1(
·
)
代表
L1
归一化函数
。
[0023]步骤
6、
基于注意力机制学习检索得到的模板与视觉特征之间的关系，并融合得到融合模板特征
。
[0024]步骤
7、
更新模板特征，具体为：通过遗忘门学习上一时刻哪些模板特征需要更新，通过输入门学习新的模板特征中哪些部分应当添加到模板库中；
[0025]其中，新的模板特征通过门控线性单元对模板中单词嵌入加权求和得到；
[0026][0027]其中，是当前时刻输入的模板特征，
e
i,j
表示第
i
个模板中第
j
个单词的单词嵌入，
σ
(
·
)
代表
Sigmoid
函数，
⊙
表示哈达玛积，
W
和
V
表示可学习的权重，
b
和
c
表示可学习的偏差；
[0028]其中，新的模板特征与上一时刻的模板特征进行融合得到最终更新的模板特征
[0029]步骤
8、
将视觉特征和模板特征作为输入，通过短语解码模块生成最终的文本报告
。
[0030]有益效果
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种结合语言先验知识的医学影像报告生成方法，其特征在于，包括短语模板库构建阶段和基于检索的报告生成阶段；在模板库构建阶段，根据短语分数在收集的短语集合中选择关键的短语作为模板，并将模板的特征显式地存储于外部的模板特征库中；基于检索的报告生成阶段包括视觉特征提取器以及三个子模块：模板特征库动态更新模块
、
视觉
‑
语言检索模块和短语解码模块；所述方法具体包括如下步骤：步骤
1、
从训练语料库中收集候选短语集合，从所有的报告句子中提取对应的
N
‑
grams
短语子串；其中，
N
是每个短语的长度，长度为
N
的短语集合表示为步骤
2、
以短语分数为标准，为每个短语打分；其中，短语分数如下式所示：其中，第一项代表短语频率项，
n
#,i
代表第
k
个句子中的第
i
个短语子串出现的次数，
K
是训练语料库中全部句子出现的次数；第二项是短语语义项，衡量候选短语是否与对应的父句保持语义一致性，其中，
τ
代表平衡系数，
d(
·
)
是余弦相似度，用来度量短语特征之间的相似度，和分别是第
i
个短语
r
和其所在第
k
个句子
s
的编码特征，
p(s,r)
λ
是长度惩罚项，防止根据短语分数构建出与句子级别模板库无异的模板库，其中，
λ
表示平衡候选短语长度的超参数；步骤
3、
对候选短语执行去重复的操作，对于同一父句的所有候选短语子串，采用非极大抑制保留短语分数最高的候选短语作为候选模板，对于不同父句的候选短语之间，则根据特征之间的余弦相似度是否超过一定的阈值以判断短语之间是否重复，然后保留短语分数较高的候选短语；步骤
4、
对于模板库中短语模板的数量
T
，根据以下公式确定模板库中不同长度的短语数量其中，表示语料库中所有长度为
N
的短语的数量，
N∈{3,4,
…
,12}
，此外，如果一个候选短语是其他短语的子串并且短语分数较低，则将其删除，得到最终的短语模板库；步骤
5、
检索模板，具体为：以视觉特征和模板特征库为输入，通过视觉
‑
语言检索模块检索与图像匹配的特征；其中，视觉
‑
语言检索模块基于注意力机制实现；步骤
6、
基于注意力机制学习检索得到的模板与视觉特征之间的关系，并融合得到融合模板特征；步骤
7、
更新模板特征，具体为：通过遗忘门学习上一时刻哪些模板特征需要更新，通过输入门学习新的模板特征中哪些部分应当添加到模板库中；其中，新的模板特征通过门控线性单元对模板中单词嵌入加权求和得到；
其中，是当前时刻输入的模板特征，
e
i,j
表示第
i
个模板中第
j
个单词的单词嵌入，
σ
(
·
)
代表
Sigmoid
函数，
⊙
表示哈达玛积，
W
和
V
表示可学习的权重，
b
和
c
表示可学习的偏差；其中，新的模板特征与上一时刻的模板特征进行融合得到最终更新的模板特征步骤
8、
将视觉特征和模板特征作为输入，通过短语解码模块生成最终的文本报告
。2.
如权利要求1所述的结合语言先验知识的医学影像报告生成方法，其特征在于，视觉特征提取器由卷积神经网络构成，可以选择
ResNet、DenseNet
等典型卷积神经网络
。3.
...

【专利技术属性】
技术研发人员：闫斌，沈洪宇，裴明涛，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：