【技术实现步骤摘要】
本专利技术涉及知识问答，尤其涉及一种基于知识增强的知识图谱问答方法。
技术介绍
1、几年来，随着人工智能技术的飞速发展，深度学习在医学领域的应用大大增加。医疗信息化的快速发展以及医疗设备的更新迭代使得海量且类型多样的医学数据产生。在各种类型的医学数据中，医学图像和医学文本是医学数据里面比较重要和常见的两种模态的数据。医学图像包括x射线图像、核磁共振成像（mri）、ct图像、超声图像等影像数据，医学文本包括放射性图像报告、医生诊断报告等。因为各种通用领域视觉语言模型的出现以及这些模型在视觉和语言多模态任务上的出色表现，人们开始把视觉语言模型运用到医学领域上。医学视觉语言模型通过同时处理这两种模态的医学数据，能够挖掘两种数据之间的关系以及生成多模态特征表示，为医学领域的各种视觉语言任务提供支撑。
2、医学视觉语言模型对处理各种多模态视觉任务具有重要意义，这些任务涉及计算机视觉、自然语言处理以及医学等多个领域，如医学视觉问答任务。医学视觉问答任务是模型根据一张给定的医学图像，给出与输入的问题相匹配的正确答案。在医学领域，这对于医生和病人来说都很有意义，医生可以利用医学视觉语言模型来辅助自己做决策，减少误诊的概率，提高医生的工作效率，病人能利用医学视觉语言模型来解释医学图像，以此来粗略了解自己身体的健康程度，最终能加快病人的治愈。
3、对于医学视觉语言模型，如何提高模型的性能和泛化能力是一个非常重要的问题，也是一个当前亟待解决的问题。
技术实现思路
1、基于
技术介绍
2、本专利技术提出的一种基于知识增强的知识图谱问答方法，包括如下步骤：
3、s100：将目标图像、目标问题输入到已训练完成的医学视觉语言模型中，所述医学视觉语言模型包括视觉编码器、文本编码器、跨模态注意力融合机制和答案分类器；
4、s200：将目标图像通过图像编码器编码得到目标图像特征，将目标问题通过文本编码器编码得到目标语言特征；
5、s300：计算目标图像特征与预训练后医学视觉语言模型的知识表示池中图像特征表示之间的相似度得分，将按降序排列的前个相似度得分的加权相加并结合知识表示池中知识特征表示得到目标图像知识表示；
6、s400：基于跨模态注意力融合机制融合目标图像知识表示、目标图像特征和目标语言特征，以输出知识增强的多模态表示特征；
7、s500：将多模态表示特征输入到答案分类器中以输出与目标问题对应的医学回答；
8、所述医学视觉语言模型的预训练过程如下：
9、s1：构建预训练数据集，提取训练数据集中所有医学文本中的医学实体，将医学实体链接到知识库中得到知识图谱子图，对知识图谱子图使用图表示学习的方法得到所有医学实体的嵌入表示，基于所有医学实体的嵌入表示构建知识实体集，所述预训练数据集包括医学图像、知识实体集和医学文本；
10、s2：使用视觉编码器、文本编码器、知识编码器分别对医学图像、医学文本、知识实体集进行编码得到视觉表示、语言表示和知识表示；
11、s3：使用基于跨模态注意力融合机制融合视觉表示、语言表示和知识表示，得到基于知识增强的视觉多模态表示特征和语言多模态表示特征，医学视觉语言模型预训练结束后，基于视觉表示和知识表示构建知识表示池p，p的组织形式为(，其中为图像特征表示，为知识特征表示，表示序号，，为知识表示池p的大小。
12、进一步地，在步骤s2中，具体包括：
13、基于跨模态注意力融合机制融合视觉表示、语言表示和知识表示，得到知识增强的视觉表示特征和语言表示特征；
14、基于跨模态注意力融合机制融合视觉表示特征和语言表示特征，得到基于知识增强的视觉多模态表示特征和语言多模态表示特征；
15、其中，视觉表示特征、语言表示特征、视觉多模态表示特征和语言多模态表示特征的计算公式如下：
16、
17、
18、
19、
20、
21、其中，表示注意力机制，分别表示参量，表示激活函数，表示转置操作，表示的维度，分别对应、、或者，分别对应、、或者，分别对应、、或者。
22、进一步地，利用掩码图像建模、掩码语言建模以及对比学习任务对预训练的医学视觉语言模型进行约束，以构建预训练医学视觉语言模型的总损失函数，具体为：
23、利用掩码图像建模随机掩盖一部分医学图像，基于预训练的医学视觉语言模型预测以可见医学图像为条件的掩盖医学图像部分；
24、基于给定的知识库，利用掩码语言建模随机掩盖部分医学文本中的医学实体，根据上下文信息重建该部分医学实体；
25、基于对比学习任务缩小同类数据的特征距离，扩大不同类数据的特征距离，所述同类数据为医学图像和医学图像对应的医学文本。
26、进一步地，在基于对比学习任务缩小同类数据的特征距离，扩大不同类数据的特征距离中，具体为：
27、对于相似的医学图像和医学图像以及对应相似的医学文本和医学文本；
28、当两个数据对（），（）的知识特征表示的相似度得分大于一个阈值时，认为数据对（，），（，）构成一个正样本对，所述正样本对对应于同类数据。
29、进一步地，医学视觉语言模型预训练的总损失函数公式如下：
30、
31、其中，表示掩码图像建模的损失函数，表示掩码语言建模的损失函数，表示对比学习任务的损失函数；
32、
33、
34、
35、其中，表示表使得医学视觉语言模型提高预测掩盖医学图像成功的概率，表示掩盖的医学图像部分，表示未被掩盖的医学图像部分，表示输入的医学图像，表示医学文本，表示使医学视觉语言模型提高预测掩盖医学实体成功的概率，表示掩盖的医学实体部分，表示未掩盖的医学实体部分，表示两个知识特征表示之间的相似度得分，分别表示两个不同数据对对应的知识特征表示，表示求期望，表示知识表示池的大小。
36、进一步地，对预训练后的医学视觉语言模型进行训练，过程如下：
37、构建一个训练样本集，所述训练样本集包括训练图像和训练问题；
38、将训练图像通过步骤s2的视觉编码器编码得到训练视觉表示，将训练问题通过步骤s2的文本编码器编码得到训练语言表示；
39、计算训练视觉表示与图像特征表示之间的相似度得分，所述图像特征表示为步骤s3得到的知识表示池中的特征；
40、将按降序排列的前个相似度得分的加权相加并结合知识特征表示得到训练知识表示，所述知识特征表示为步骤s3得到的知识表示池中的特征；
41、将训练视觉表示、训练知识表示、训练语言表示输入到预训练后的医学视觉语言模型中，使用基于跨模态注意力融合机制融合输出视觉多模态表示特征和语言多模态表示特征；<本文档来自技高网...
【技术保护点】
1.一种基于知识增强的知识图谱问答方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于知识增强的知识图谱问答方法，其特征在于，在步骤S2中，具体包括：
3.根据权利要求1所述的基于知识增强的知识图谱问答方法，其特征在于，利用掩码图像建模、掩码语言建模以及对比学习任务对预训练的医学视觉语言模型进行约束，以构建预训练医学视觉语言模型的总损失函数，具体为：
4.根据权利要求3所述的基于知识增强的知识图谱问答方法，其特征在于，在基于对比学习任务缩小同类数据的特征距离，扩大不同类数据的特征距离中，具体为：
5.根据权利要求3所述的基于知识增强的知识图谱问答方法，其特征在于，医学视觉语言模型预训练的总损失函数公式如下：
6.根据权利要求1所述的基于知识增强的知识图谱问答方法，其特征在于，对预训练后的医学视觉语言模型继续进行训练，过程如下：
7.根据权利要求6所述的基于知识增强的知识图谱问答方法，其特征在于，训练知识表示的计算公式如下：
8.根据权利要求3所述的基于知识增强的知识图谱问答方法，其特征在
...【技术特征摘要】
1.一种基于知识增强的知识图谱问答方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于知识增强的知识图谱问答方法，其特征在于，在步骤s2中，具体包括：
3.根据权利要求1所述的基于知识增强的知识图谱问答方法，其特征在于，利用掩码图像建模、掩码语言建模以及对比学习任务对预训练的医学视觉语言模型进行约束，以构建预训练医学视觉语言模型的总损失函数，具体为：
4.根据权利要求3所述的基于知识增强的知识图谱问答方法，其特征在于，在基于对比学习任务缩小同类数据的特征距离，扩大不同类数据的特征距离中，具...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。