【技术实现步骤摘要】
本申请涉及电数字处理，具体而言，涉及一种基于复合运算的多模态知识图谱补全方法。
技术介绍
1、在大语言模型盛行的时代，各个方面都开始对大模型的更深刻的探索与挖掘。众所周知，知识图谱作为大语言模型的训练集，为大语言模型提供了丰富的语料知识，使得大模型在处理众多专业领域中的任务有专业的数据支持，从而能够更好的适应领域以及背景的变化。伴随着大模型的发展，知识图谱也开始变得越来越多样化；从一开始单一的图片或者单一的文本知识图谱，转变成了图片和文本混合的多模态知识图谱，甚至更有可能会出现图片、文本和语音混合的多模态知识图谱。多模态知识图谱的出现也诞生了不同的多模态任务，其中包括了图像分类、视觉问答、多模态知识图谱补全和实体对齐等等。
2、对于多模态知识图谱中的各种任务，多模态知识图谱领域中也衍生出了适用于自己特定领域的模型和方法，将多模态的数据整合在一起进行训练，这种做法在一定程度上保持了文本和图片的高度一致性；但另一方面也忽略了文本和图片不同数据中所包含的独特的特性。这两种的数据表达方式各有自己的优点和缺点，比如说文本表达：“花盆里...
【技术保护点】
1.一种基于复合运算的多模态知识图谱补全方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，通过将图片生成文本描述，将所述多模态知识图谱转换为包括纯文本四元组的文本知识图谱，包括：
3.根据权利要求1所述的方法，其特征在于，基于知识图谱嵌入模型，学习所述纯文本四元组的第一嵌入表示，包括：
4.根据权利要求3所述的方法，其特征在于，在所述头实体的向量表示上作用时间与关系的平移缩放混合操作，得到预测尾实体的向量表示，包括：
5.根据权利要求3所述的方法，其特征在于，根据预测尾实体与真实尾实体的语义相似性，构建...
【技术特征摘要】
1.一种基于复合运算的多模态知识图谱补全方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，通过将图片生成文本描述，将所述多模态知识图谱转换为包括纯文本四元组的文本知识图谱，包括：
3.根据权利要求1所述的方法，其特征在于，基于知识图谱嵌入模型，学习所述纯文本四元组的第一嵌入表示，包括：
4.根据权利要求3所述的方法，其特征在于，在所述头实体的向量表示上作用时间与关系的平移缩放混合操作，得到预测尾实体的向量表示，包括：
5.根据权利要求3所述的方法，其特征在于，根据预测尾实体与真实尾实体的语义相似性，构建所述知识图谱嵌入模型的第一损失函数，包括：
6.根据权利要求3所述...
【专利技术属性】
技术研发人员：张琳琳，王兆，戎辉，刘洋，闫志强，门玉文，周越，任伟星，李昀峰，
申请(专利权)人：中国汽车技术研究中心有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。