一种知识图谱指导的多张场景图像生成方法技术

本发明专利技术提供了一种知识图谱指导的多张场景图像生成方法，属于图像生成邻域。本发明专利技术首次利用知识图谱辅助完成图像生成任务，首先构建含有物体布局关系的知识图谱，然后将一组物体标签输入图谱中，经布局搜索模块，得到多张符合事实的布局关系图；再将布局关系图通过预训练好的知识模块，提取图谱中的知识信息，最后在布局关系图通过图像生成模块时，结合知识模块中得到的知识物体矩阵与全局知识向量，对生成器与鉴别器进行训练，以生成每张关系图对应的场景图像。本发明专利技术利用知识图谱实现了一组标签，生成多张图像的一对多任务，通过嵌入知识表示信息提升图像生成质量。本发明专利技术利用真实的图像数据集进行评估本发明专利技术，并观察在最先进的基线上的改进。

【技术实现步骤摘要】
一种知识图谱指导的多张场景图像生成方法
本专利技术属于图像生成领域，具体涉及一种知识图谱指导的多张场景图像生成方法。
技术介绍
知识图谱是以三元组为单位的数据库，三元组中储存了实体的信息，还有实体与实体之间的关系信息，在知识图谱的方法应用中，trans系列中的KG2E方法是经典的知识表示方法之一，该方法能够将图谱中的实体与关系都嵌入表示成一个高维高斯分布，模型训练时利用KL散度使得头实体减去尾实体的分布，尽可能趋近于关系的分布。这种知识表示方法能够将图谱中的信息以分布的形式引入其他模型，也是本专利技术在提取图谱信息时采用的方法。跨模态转换是多模态学习中的经典任务，文本、声音等各模态到图像的生成都属于这个领域。现阶段，这些工作主要是利用生成对抗网络来实现图像的生成，生成对抗网络由生成器和鉴别器两部分组成，具体设计由任务决定，生成器一般由多层感知机与深度卷积网络组成，输入由文本或声音提取的特征向量，输出生成的图像；鉴别器由浅层卷积网络组成，输入图像，输出图像的真假评分，更细致地还能够输出图像对应的类别。在训练过程中，鉴别器希望能够将生成图像本文档来自技高网...

【技术保护点】
1.一种知识图谱指导的多张场景图像生成方法，其特征在于，步骤包括：/n步骤S1：以(头实体、关系、尾实体)的形式，提取所需的三元组，整合成为一个知识图谱；/n步骤S2：将一组物体标签输入布局搜索模块，得到多张符合事实的布局关系图；/n步骤S3：将每张布局关系图输入预训练好的知识模块中，得到物体知识矩阵与全局知识向量；/n步骤S4：在生成器中加入物体知识矩阵与全局知识向量；/n步骤S5：在鉴别器中加入物体知识矩阵与全局知识向量；/n步骤S6：根据整体的损失函数交替训练生成器与鉴别器，在保证整张图像的生成质量的同时，也保证物体图像切片复合标签对应的类别；所得的生成器即为完成布局关系图到场景图像生成...

【技术特征摘要】
1.一种知识图谱指导的多张场景图像生成方法，其特征在于，步骤包括：
步骤S1：以(头实体、关系、尾实体)的形式，提取所需的三元组，整合成为一个知识图谱；
步骤S2：将一组物体标签输入布局搜索模块，得到多张符合事实的布局关系图；
步骤S3：将每张布局关系图输入预训练好的知识模块中，得到物体知识矩阵与全局知识向量；
步骤S4：在生成器中加入物体知识矩阵与全局知识向量；
步骤S5：在鉴别器中加入物体知识矩阵与全局知识向量；
步骤S6：根据整体的损失函数交替训练生成器与鉴别器，在保证整张图像的生成质量的同时，也保证物体图像切片复合标签对应的类别；所得的生成器即为完成布局关系图到场景图像生成的工具。


2.根据权利要求1所述的一种知识图谱指导的多张场景图像生成方法，其特征在于，所述步骤S2具体为：
步骤S21：将一组物体标签输入步骤S1构建的知识图谱中进行图谱搜索，搜索出所有包含输入标签之间关系的三元组，并根据出现的频率对搜索到的三元组进行排序；
步骤S22：根据参数设置，选择需要的三元组数量组成最可能的布局关系图，同时以随机组合的方式生成其他多张不同的布局关系图。


3.根据权利要求1或2所述的一种知识图谱指导的多张场景图像生成方法，其特征在于，所述步骤S3具体为：
步骤S31：利用知识表示方法KG2E对步骤S1构建知识图谱进行预训练，用不同的高斯分布来代表图谱内所有物体与关系对应的知识表示；
步骤S32：将步骤S2得到的布局关系图进行数据处理，分解成图内物体标签与图内关系标签；
步骤S33：输入图内物体标签与图内关系标签，从预训练好的物体与关系的KG2E知识表示中采样，得到物体知识矩阵与关系知识矩阵；
步骤S34：将物体知识矩阵与关系知识矩阵加和称为全局知识矩阵，经过全连接层生成全局知识向量，代表整个布局关系图从图谱中提取到的知识信息。
...

【专利技术属性】
技术研发人员：肖贺文，孔雨秋，刘秀平，尹宝才，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21