本发明专利技术涉及一种图像生成方法、装置及电子设备，其中，该方法包括：获取待测场景图；将待测场景图输入至训练好的图像生成模型中，得到生成图片；图像生成模型是基于物体编码模块和依次连接的图卷积神经网络、掩膜预测网络、图像布局网络和图像翻译网络构成的；判断测试场景图是否为3D模型图，若是，则将3D模型图进行渲染和编码，得到外观信息和形状信息；若否，则对测试场景图中物体进行编码和假设，得到外观信息和形状信息；根据测试场景图、外观信息和形状信息对图像生成模型进行测试。本发明专利技术通过将同一张图片的不同物体的表征向量视作一个序列，用序列模型学习他们之间的依赖关系，用于几何形状的修正，从而提高了图像的生成效果和质量。和质量。和质量。
【技术实现步骤摘要】
一种图像生成方法、装置及电子设备
[0001]本专利技术涉及图像识别与生成
，特别是涉及一种图像生成方法、装置、电子设备及计算机可读存储介质。
技术介绍
[0002]场景图是图像内容的结构化表示，不仅提供场景中各个物体的语义和空间信息，还捕获每对物体之间的关系。近年来，推断这种图形已经越来越受到关注，因为它对图像有了更深入的理解，以促进从基本识别和检测到高级任务的各种视觉任务。
[0003]当前面向场景图的图像生成方法的难点在于：（1）每个物体的类别信息并不能充分指导最终物体的生成效果；（2）图像中各个物体存在依赖关系（如位置关系，动宾关系），简单地将各个物体拼接到一块会造成角度、大小上的不适配以及违和感。
[0004]（3）如果仅仅使用生成模型，由于提供的先验知识有限，所以生成逼真的图像效果难度比较大。
技术实现思路
[0005]为解决上述问题，本专利技术实施例的目的在于提供一种图像生成方法、装置、电子设备及计算机可读存储介质。
[0006]一种图像生成方法，包括：步骤1：获取待测场景图；步骤2：将所述待测场景图输入至训练好的图像生成模型中，得到生成图片；所述图像生成模型是基于物体编码模块和依次连接的图卷积神经网络、掩膜预测网络、图像布局网络和图像翻译网络构成的；步骤3：判断测试场景图是否为3D模型图，若是，则将所述3D模型图进行渲染和编码，得到外观信息和形状信息；若否，则对所述测试场景图中物体进行编码和假设，得到所述外观信息和形状信息；步骤4：根据所述测试场景图、所述外观信息和所述形状信息对所述图像生成模型进行测试。
[0007]优选的，所述步骤2：将所述待测场景图输入至训练好的图像生成模型中，得到生成图片，包括：步骤2.1：根据所述待测场景图得到至少两个物体外观向量；所述物体外观向量包括物体外观向量和物体类别向量；步骤2.2：对所述物体外观向量和所述物体类别向量进行融合，得到掩膜预测信息；步骤2.3：根据所述掩膜预测信息生成至少两个初始布局图，并根据所述初始布局图得到物体布局图；
步骤2.4：根据所述物体布局图得到所述生成图片。
[0008]优选的，所述步骤2.2：对所述物体外观向量和所述物体类别向量进行融合，得到掩膜预测信息，包括：使用空间变形网络和物体位置框对所述物体外观向量和所述物体类别向量进行融合，得到所述掩膜预测信息。
[0009]优选的，所述图像生成模型的训练方法包括：步骤101：根据训练场景图得到输入至所述图卷积神经网络的场景图和输入至所述物体编码模块的图像切块；步骤102：根据所述图像切块得到外观表征向量和初始掩膜表征向量；步骤103：根据所述外观表征向量和所述初始掩膜表征向量得到训练生成图像；步骤104：根据所述训练场景图和所述训练生成图像对所述图像生成模型进行训练。
[0010]优选的，所述步骤103：根据所述外观表征向量和所述初始掩膜表征向量得到训练生成图像，包括：步骤103.1：根据初始掩膜表征向量和预测的位置框得到空间依赖关系；步骤103.2：根据所述空间依赖关系得到相应的仿射变换矩阵；步骤103.3：根据所述仿射变换矩阵对相应的初始掩膜表征向量进行仿射变换得到最终的掩膜表征向量；步骤103.4：根据所述外观表征向量和所述最终的掩膜表征向量得到训练生成图像。
[0011]本专利技术还提供了一种图像生成装置，包括：场景图获取模块，用于获取待测场景图；图片生成模块，用于将所述待测场景图输入至训练好的图像生成模型中，得到生成图片；所述图像生成模型是基于物体编码模块和依次连接的图卷积神经网络、掩膜预测网络、图像布局网络和图像翻译网络构成的；外观信息和形状信息判断模块，用于判断测试场景图是否为3D模型图，若是，则将所述3D模型图进行渲染和编码，得到外观信息和形状信息；若否，则对所述测试场景图中物体进行编码和假设，得到所述外观信息和形状信息；测试模块，用于根据所述测试场景图、所述外观信息和所述形状信息对所述图像生成模型进行测试。
[0012]优选的，所述图片生成模块，包括：物体外观向量计算单元，用于根据所述待测场景图得到至少两个物体外观向量；所述物体外观向量包括物体外观向量和物体类别向量；融合单元，用于对所述物体外观向量和所述物体类别向量进行融合，得到掩膜预测信息；初始布局图生成单元，用于根据所述掩膜预测信息生成至少两个初始布局图，并根据所述初始布局图得到物体布局图；图片生成单元，用于根据所述物体布局图得到所述生成图片。
[0013]优选的，还包括：
训练场景图输入模块，用于根据训练场景图得到输入至所述图卷积神经网络的场景图和输入至所述物体编码模块的图像切块；表征向量计算模块，用于根据所述图像切块得到外观表征向量和初始掩膜表征向量；训练图像模块，用于根据所述外观表征向量和所述初始掩膜表征向量得到训练生成图像；图像训练模块，用于根据所述训练场景图和所述训练生成图像对所述图像生成模型进行训练。
[0014]本专利技术还提供了一种电子设备，包括总线、收发器（显示单元/输出单元、输入单元）、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，其特征在于，所述计算机程序被所述处理器执行时实现上述任一项所述的图像生成方法中的步骤。
[0015]本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述任一项所述的图像生成方法中的步骤。
[0016]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：本专利技术涉及一种图像生成方法、装置、电子设备及计算机可读存储介质，其中，该方法包括：获取待测场景图；将待测场景图输入至训练好的图像生成模型中，得到生成图片；图像生成模型是基于物体编码模块和依次连接的图卷积神经网络、掩膜预测网络、图像布局网络和图像翻译网络构成的；判断测试场景图是否为3D模型图，若是，则将3D模型图进行渲染和编码，得到外观信息和形状信息；若否，则对测试场景图中物体进行编码和假设，得到外观信息和形状信息；根据测试场景图、外观信息和形状信息对图像生成模型进行测试。本专利技术通过将同一张图片的不同物体的表征向量视作一个序列，用序列模型学习他们之间的依赖关系，用于几何形状的修正，从而提高了图像的生成效果和质量。
[0017]为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0018]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1为本专利技术提供的实施例中的图像生成示意图；图2为本专利技术提供的实施例中的图像处理流程图；图3为本专利技术提供的实施例中的掩膜预测器的结构图；图4为本专利技术提供的实施例中的图本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像生成方法，其特征在于，包括：步骤1：获取待测场景图；步骤2：将所述待测场景图输入至训练好的图像生成模型中，得到生成图片；所述图像生成模型是基于物体编码模块和依次连接的图卷积神经网络、掩膜预测网络、图像布局网络和图像翻译网络构成的；步骤3：判断测试场景图是否为3D模型图，若是，则将所述3D模型图进行渲染和编码，得到外观信息和形状信息；若否，则对所述测试场景图中物体进行编码和假设，得到所述外观信息和形状信息；步骤4：根据所述测试场景图、所述外观信息和所述形状信息对所述图像生成模型进行测试。2.根据权利要求1所述的图像生成方法，其特征在于，所述步骤2：将所述待测场景图输入至训练好的图像生成模型中，得到生成图片，包括：步骤2.1：根据所述待测场景图得到至少两个物体外观向量；所述物体外观向量包括物体外观向量和物体类别向量；步骤2.2：对所述物体外观向量和所述物体类别向量进行融合，得到掩膜预测信息；步骤2.3：根据所述掩膜预测信息生成至少两个初始布局图，并根据所述初始布局图得到物体布局图；步骤2.4：根据所述物体布局图得到所述生成图片。3.根据权利要求2所述的图像生成方法，其特征在于，所述步骤2.2：对所述物体外观向量和所述物体类别向量进行融合，得到掩膜预测信息，包括：使用空间变形网络和物体位置框对所述物体外观向量和所述物体类别向量进行融合，得到所述掩膜预测信息。4.根据权利要求2所述的图像生成方法，其特征在于，所述图像生成模型的训练方法包括：步骤101：根据训练场景图得到输入至所述图卷积神经网络的场景图和输入至所述物体编码模块的图像切块；步骤102：根据所述图像切块得到外观表征向量和初始掩膜表征向量；步骤103：根据所述外观表征向量和所述初始掩膜表征向量得到训练生成图像；步骤104：根据所述训练场景图和所述训练生成图像对所述图像生成模型进行训练。5.根据权利要求4所述的图像生成方法，其特征在于，所述步骤103：根据所述外观表征向量和所述初始掩膜表征向量得到训练生成图像，包括：步骤103.1：根据初始掩膜表征向量和预测的位置框得到空间依赖关系；步骤103.2：根据所述空间依赖关系得到相应的仿射变换矩阵；步骤103.3：根据所述仿射变换矩阵对相应的初始掩膜表征向量进行仿射变换得到最终的掩膜表征向量；步...
【专利技术属性】
技术研发人员：葛宁，王志明，陆建华，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。