【技术实现步骤摘要】
一种基于图神经网络的图像生成方法
[0001]本专利技术属于图像处理
，具体涉及一种基于图神经网络的图像生成方法。
技术介绍
[0002]近年来，生成对抗神经网络(GAN，Generative Adversarial Networks )在生成逼真图像领域取得了巨大的进展，其从像素级别图像中创造人类出无法分辨出真假的、内容丰富的高质量图像。此外，带有条件的图像生成方法能够使得生成的结果更加可控、更加满足用户的需求，例如：基于文字描述生成图像、基于骨骼关键点生成人体图像等。
[0003]基于场景拓扑图生成图像的方法中，场景拓扑图内的每个节点都被赋予一种特定的语义，节点之间用边的连接代表语义之间的关系，从而可以描述出一张图像的语义内容和布局规划，其与人类的思维导图形式相似。因此，场景拓扑图生成图像的技术在人和人工智能合作绘画创作领域有着重要应用。
[0004]现有的基于场景拓扑图生成图像的方法涉及两个阶段。在第一阶段，物体的语义特征由图神经网络学习得到，语义特征被用来确定物体的语义分割图，其中包括物体的坐标...
【技术保护点】
【技术特征摘要】
1.一种基于图神经网络的图像生成方法，其特征在于，包括：（1）获得多张真实图像，基于所述真实图像中的物体构建场景拓扑图，将真实图像输入VQGAN系统得到真实图像编码和图像特征节点集合，通过图像特征节点集合和对应的场景拓扑图构建超图，多个超图构建训练样本集；（2）构建训练网络模型，所述训练网络模型包括消息传递函数、注意力机制单元、全连接层和归一化指数函数，其中：场景拓扑图上的语义特征消息传递方式：在场景拓扑图中，通过消息传递函数将场景拓扑图节点的每个邻居节点的语义特征和连边特征进行融合得到第一邻居节点消息，将每个第一邻居节点消息通过注意力机制单元进行聚合，将聚合结果作为更新的场景拓扑图节点语义特征；全局消息传递方式：当图像特征节点的邻居节点为场景拓扑图节点时，采用回归网络方法基于场景拓扑图的每个节点构建矩形框，矩形框内为物体的图像特征节点，场景拓扑图的每个节点指向对应矩形框，通过消息传递函数将更新的场景拓扑图节点语义特征与对应的矩形框连接的全局连边特征进行融合，将融合结果通过注意力机制得到的聚合特征作为采用全局消息传递方式更新的图像特征；局部消息传递方式：当图像特征节点的邻居节点在当前矩形框内或其他矩形框内时，通过消息传递函数将矩形框内图像特征节点的邻居节点的图像特征和相应连边特征进行融合得到第二邻居节点信息，将每个第二邻居节点信息通过注意力机制单元进行聚合，将聚合结果作为采用局部消息传递方式更新的图像特征；将基于全局消息传递方式和局部消息传递方式更新得到的图像特征集合依次输入全连接层和归一化指数函数得到生成图像编码；（3）基于训练样本集对训练网络模型进行训练，通过生成图像编码和真实图像编码采用损失函数训练训练网络模型得到图神经网络模型；（4）应用时，将场景拓扑图输入至图神经网络模型中得到生成图像编码，将生成图像编码输入至VQGAN系统的解码器生成图像。2.根据权利要求1所述的基于图神经网络的图像生成方法，其特征在于，将真实图像输入VQGAN系统得到真实图像编码，包括：先将真实图像通过VQGAN系统的编码器得到初始潜在向量组合，基于距离最近原理将初始潜在向量组合中的初始潜在向量与向量字典进行比对得到潜在向量组合，潜在向量组合的下标为真实图像编码，其中：所述潜在向量为：其中， 为初始潜在向量组合， q（﹒）为距离最近函数， z
k
为向量字典中的第k个向量，n为向量的维度，h和w分别为潜在向量的高度和宽度。3.根据权利要求1所述的基于图神经网络的图像生成方法，其特征在于，所述基于所述真实图像中的物体构建的场景拓扑图，场景拓扑图节点表示真实图像中的物体，连边表示物体之间的关系，场景拓扑图由元祖组成，其中：场景拓扑图节点的集合O为：
其中， o
i
为第i个场景拓扑图节点，N为场景拓扑图节点的个数， 为一组物体类别；场景拓扑图连边的集合，为一组关系类别，每条边表示为，为的第个邻居节点，，为由第i个场景拓扑图节点指向第
ꢀꢀ
个场景拓扑图节点的连边。4.根据权利要求1所述的基于图神经网络的图像生成方法，其特征在于，将场景拓扑图输入嵌入层网络中得到场景拓扑图节点的语义特征和连边特征。5.根据权利要求3所述的基于图神经网络的图像生成方法，其特征在于，通过消息传递函数将场景拓扑图节点的每个邻居...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。