基于图神经网络的图像外推方法、装置、存储介质及终端制造方法及图纸

本申请涉及一种基于图神经网络的图像外推方法、装置、存储介质及终端。其中，所述方法包括：获取图像外推的原始图像；根据所述原始图像和目标检测器，确定所述图像外推的无向场景图；根据所述无向场景图和图神经网络，推测所述图像外推的外推场景图；根据所述外推场景图、所述原始图像和生成对抗网络，生成所述图像外推的外推图像。本申请能够根据原始图像生成外推图像，且生成的外推图像更具真实性。且生成的外推图像更具真实性。且生成的外推图像更具真实性。

【技术实现步骤摘要】
基于图神经网络的图像外推方法、装置、存储介质及终端


[0001]本专利技术涉及图像外推
，更为具体来说，本专利技术涉及一种基于图神经网络的图像外推方法、装置、存储介质及终端。

技术介绍

[0002]图像外推技术在视觉外拓、图片编辑和纹理合成等方面有广泛应用。图像外推是指输入一张无损真实场景图像，通过相关方法分析其边缘特征和场景语义信息继而延伸扩充原图的过程，并且外推后的图像在人眼看来具有逼真自然的特性。
[0003]传统图像外推方法是基于扩散机制来处理的，使用来自现有区域的像素来填充到外推区域。虽然该方法可以为背景修复连续的纹理，但它通常无法捕捉高级语义，容易产生具有重复图案的非真实图像，在全局结构方面仍然缺乏一致性。

技术实现思路

[0004]本申请实施例提供了一种基于图神经网络的图像外推方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
[0005]第一方面，本申请实施例提供了一种基于图神经网络的图像外推方法，该方法包括：
[0006]获取图像外推的原始图像；
[0007]根据所述原始图像和目标检测器，确定所述图像外推的无向场景图；
[0008]根据所述无向场景图和图神经网络，推测所述图像外推的外推场景图；
[0009]根据所述外推场景图、所述原始图像和生成对抗网络，生成所述图像外推的外推图像。
[0010]可选的，所述根据所述原始图像和目标检测器，确定所述图像外推的无向场景图，包括：
[0011]将所述原始图像输入所述目标检测器，输出所述图像外推的原始物体以及原始物体信息；
[0012]根据所述原始物体和所述原始物体信息，构成所述图像外推的无向场景图。
[0013]可选的，所述原始物体信息包括：原始物体位置信息、原始物体特征信息和原始物体类别信息。
[0014]可选的，所述根据所述原始物体和所述原始物体信息，构成所述图像外推的无向场景图，包括：
[0015]将每一所述原始物体作为原始节点、所述原始物体信息作为原始节点特征；
[0016]将所有的所述原始节点进行连接，构成所述图像外推的无向场景图。
[0017]可选的，所述根据所述无向场景图和图神经网络，推测所述图像外推的外推场景
图，包括：
[0018]将所述无向场景图输入所述图神经网络，输出推断的所述图像外推的新增节点；
[0019]根据所述无向场景图和所述新增节点，生成所述图像外推的外推场景图。
[0020]可选的，所述根据所述外推场景图、所述原始图像和生成对抗网络，生成所述图像外推的外推图像，包括：
[0021]将所述外推场景图输入所述生成对抗网络包括的生成器，输出所述图像外推的预测外推图像；
[0022]将所述预测外推图像和所述原始图像输入所述生成对抗网络包括的判别器，输出所述图像外推的外推图像。
[0023]可选的，所述将所述预测外推图像和所述原始图像输入所述生成对抗网络包括的判别器，输出所述图像外推的外推图像，包括：
[0024]将所述预测外推图像和所述原始图像输入所述生成对抗网络包括的判别器，在所述预测外推图像和所述原始图像经过场景图层面和整体图像层面的判别之后，输出所述图像外推的外推图像。
[0025]第二方面，本申请实施例提供了一种基于图神经网络的图像外推装置，该装置包括：
[0026]原始图像获取模块，用于获取图像外推的原始图像；
[0027]场景图确定模块，用于根据所述原始图像和目标检测器，确定所述图像外推的无向场景图；
[0028]外推特征确定模块，用于根据所述无向场景图和图神经网络，推测所述图像外推的外推场景图；
[0029]外推图像确定模块，用于根据所述外推场景图、所述原始图像和生成对抗网络，生成所述图像外推的外推图像。
[0030]第三方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。
[0031]第四方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。
[0032]本申请实施例提供的技术方案可以包括以下有益效果：
[0033]在本申请实施例中，所述基于图神经网络的图像外推方法、装置、存储介质及终端。首先获取图像外推的原始图像，然后根据所述原始图像和目标检测器，确定所述图像外推的无向场景图，其次根据所述无向场景图和图神经网络，推测所述图像外推的外推场景图，最后根据所述外推场景图、所述原始图像和生成对抗网络，生成所述图像外推的外推图像。本申请能够根据原始图像生成外推图像，且生成的外推图像更具真实性。
[0034]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。
附图说明
[0035]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。
[0036]图1是本申请实施例提供的一种基于图神经网络的图像外推方法的流程示意图；
[0037]图2是本申请实施例提供的一种基于图神经网络的图像外推方法的整体过程示意图；
[0038]图3是本申请实施例提供的一种基于图神经网络的图像外推装置的装置示意图；
[0039]图4是本申请实施例提供的一种终端示意图。
具体实施方式
[0040]以下描述和附图充分地示出本专利技术的具体实施方案，以使本领域的技术人员能够实践它们。
[0041]应当明确，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0042]下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本专利技术相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本专利技术的一些方面相一致的系统和方法的例子。
[0043]在本专利技术的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术中的具体含义。此外，在本专利技术的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
[0044]请参见图1和图2，为本申请实施例提供了一种基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图神经网络的图像外推方法，其特征在于，包括以下步骤：获取图像外推的原始图像；根据所述原始图像和目标检测器，确定所述图像外推的无向场景图；根据所述无向场景图和图神经网络，推测所述图像外推的外推场景图；根据所述外推场景图、所述原始图像和生成对抗网络，生成所述图像外推的外推图像。2.根据权利要求1所述的图像外推方法，其特征在于，所述根据所述原始图像和目标检测器，确定所述图像外推的无向场景图，包括：将所述原始图像输入所述目标检测器，输出所述图像外推的原始物体以及原始物体信息；根据所述原始物体和所述原始物体信息，构成所述图像外推的无向场景图。3.根据权利要求2所述的图像外推方法，其特征在于，所述原始物体信息包括：原始物体位置信息、原始物体特征信息和原始物体类别信息。4.根据权利要求2所述的图像外推方法，其特征在于，所述根据所述原始物体和所述原始物体信息，构成所述图像外推的无向场景图，包括：将每一所述原始物体作为原始节点、所述原始物体信息作为原始节点特征；将所有的所述原始节点进行连接，构成所述图像外推的无向场景图。5.根据权利要求1所述的图像外推方法，其特征在于，所述根据所述无向场景图和图神经网络，推测所述图像外推的外推场景图，包括：将所述无向场景图输入所述图神经网络，输出推断的所述图像外推的新增节点；根据所述无向场景图和所述新增节点，生成所述图像外推的外推场景图。6.根据权利要求1所述的图像外推方法，其特征在于，所述根据所述外推场景图、所述原始图像和生成对抗...

【专利技术属性】
技术研发人员：马占宇，郑雯青，杜若一，梁孔明，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：