一种融合语义控制的特定场景生成方法技术

本发明专利技术提供一种融合语义控制的特定场景生成方法，包括选取若干物品图以及多个包含该物品的不同特定场景图片；根据特定场景图片中特定场景的特点制作不同的属性标签，将特定场景图片裁剪处理后，获得训练样本；构建由判别器与生成器组成的条件生成式对抗网络；将物品图与标签一起作为输入，输入到生成器中，生成标签所描述的特定场景图；包含物品的特定场景图作为目标场景图，将由生成器生成的标签所描述的特定场景图、目标场景图、物品图及标签一同输入到判别器中，判别器通过条件对抗网络进行模型训练；将待处理的同类物品图及想要得到的场景以标签形式输入训练好的模型即可获得对应的场景图像。

A method of generating specific scene with semantic control

The invention provides a method for generating a specific scene, which integrates semantic control, including selecting a number of object drawings and a number of different specific scene pictures containing the object, making different attribute labels according to the characteristics of the specific scene in the specific scene pictures, cutting and processing the pictures of the specific scene, and obtaining training samples. Conditional Generative Confrontation Network composed of discriminator and generator; input item graph and label together as input into generator to generate specific scene graph described by label; specific scene graph containing item is used as target scene graph, and specific scene graph and target scene described by label generated by generator are used as target scene graph. The graph, item graph and label are input into the discriminator together, and the discriminator trains the model through the conditional confrontation network. The similar object graph and the desired scene are input into the trained model in the form of labels to obtain the corresponding scene image.

【技术实现步骤摘要】
一种融合语义控制的特定场景生成方法
本专利技术属于机器学习算法领域，具体的说，涉及了一种融合语义控制的特定场景生成方法。
技术介绍
融合语义控制的特定场景生成指的是通过语义控制让计算机生成语言所描述的场景。能够真实的描绘世界一直是人类的追求，绘画的诞生源于人类描绘世界的需要，对极致的追求成就了艺术。相机的专利技术使人类记录世界变得容易，计算机出现后，人类开始让计算机自己来描绘真实世界，由此诞生了许多生成算法。传统的生成算法有梯度方向直方图，尺度不变特征变换等，这些算法采用手工提取特征与浅层模型相组合的方法实现目标的生成。其解决方案基本遵循四个步骤：图像预处理→手动特征提取→建立模型(分类器/回归器)→输出。而深度学习算法解决计算机视觉的思路是端到端(EndtoEnd),即从输入直接到输出，中间采用神经网络自动学习特征，避免了手动特征提取的繁琐操作。深度学习是机器学习的一个重要分支，因其最近几年在许多领域取得重大突破而受到广泛关注。生成式对抗网络(GenerativeAdversarialNetworks,GAN)是2014年由Goodfellow等提出的一种生成式深度学习模型，该模型一经提出就成为了计算机视觉研究领域热点研究方向之一。由于GAN出色的生成能力，使得GAN在样本生成领域取得显著成就，其次GAN在图像还原与修复、图像风格迁移、文本与图像的相互生成、图像的高质量生成等领域也已经成为一个有巨大应用价值的课题。同时工业界中的不少领军企业也已加入GAN发展的浪潮中。比如Facebook、Google、Apple等公司。基于以上研究，GAN为实现融合语义控制生成特定场景提供了实现的可能。但是目前还没有一个模型能够直接实现通过语义控制生成不同的特定场景。为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。
技术实现思路
本专利技术的目的是针对现有技术的不足，从而提供了一种融合语义控制的特定场景生成方法。为了实现上述目的，本专利技术所采用的技术方案是：一种融合语义控制的特定场景生成方法，包括如下步骤：步骤1、选取若干物品图以及多个包含该物品的不同特定场景图片；步骤2、根据特定场景图片中特定场景的特点制作不同的属性标签，将特定场景图片裁剪处理后，获得训练样本，训练样本包括物品图、与物品图对应的包含该物品的特定场景图及描述该场景的标签；步骤3、构建由判别器与生成器组成的条件生成式对抗网络；步骤4、将物品图与标签一起作为输入，输入到生成器中，生成标签所描述的特定场景图；步骤5、包含物品的特定场景图作为目标场景图，将由生成器生成的标签所描述的特定场景图、目标场景图、物品图及标签一同输入到判别器中，判别器通过条件对抗网络进行模型训练；步骤6、将待处理的同类物品图及想要得到的场景以标签形式输入训练好的模型即可获得对应的场景图像。基于上述，所述标签为二进制形式的语义标签。基于上述，步骤1中，所述物品图为从购物网站上爬取的物品特写图。基于上述，步骤3中，所述生成式对抗网络为GAN模型，所述生成式对抗网络的生成器表示为其中，y为目标场景图像域，x为原始输入图像，l为目标场景图像域标签，为标签所描述的特定场景图；使用条件GAN的代价函数作为模型的对抗性损失，其中，所述代价函数为其中，D为判别器，G为生成器。本专利技术相对现有技术具有突出的实质性特点和显著的进步，具体的说：本专利技术通过构建条件生成式对抗网络进行模型训练，通过人工智能技术代替重复的劳动，能极大的提高人类的工作效率，一些简单的场景可以直接由系统生成，不用浪费人力去拍摄、制作。通过语义控制生成指定的场景，针对不同的情况只需提供一些该场景所需的训练样本，并为训练样本制作域标签，经过训练，就能够生成指定场景的图像。本专利技术方法有广阔的应用前景，尤其是购物网站上展示商品详情的图像可以由该方法生成，从而节约劳动力和资源。附图说明图1是本专利技术的算法流程示意图。图2为本专利技术一种融合语义控制的特定场景生成方法的设计示意图。具体实施方式下面通过具体实施方式，对本专利技术的技术方案做进一步的详细描述。如图1和图2所示，一种融合语义控制的特定场景生成方法，包括如下步骤：步骤1、从购物网站上爬取若干物品图以及多个包含该物品的不同特定场景图片；步骤2、根据特定场景图片中特定场景的特点制作不同的属性标签，所述标签为二进制形式的语义标签；将特定场景图片裁剪处理后，获得训练样本，训练样本包括物品图、与物品图对应的包含该物品的特定场景图及描述该场景的标签；步骤3、构建由判别器与生成器组成的条件生成式对抗网络；步骤4、将物品图与标签一起作为输入，输入到生成器中，生成标签所描述的特定场景图；步骤5、包含物品的特定场景图作为目标场景图，将由生成器生成的标签所描述的特定场景图、目标场景图、物品图及标签一同输入到判别器中，判别器通过条件对抗网络进行模型训练；步骤6、将待处理的同类物品图及想要得到的场景以标签形式输入训练好的模型即可获得对应的场景图像。具体的，步骤3中，所述生成式对抗网络为GAN模型，所述生成式对抗网络的生成器表示为其中，y为目标场景图像域，x为原始输入图像，l为目标场景图像域标签，为标签所描述的特定场景图；本专利技术方法中，每一个输入物品图像对应一个成对的目标场景图像域y及标签l，使得G可以准确的学习生成特定场景。判别器学习将真实图像与生成图像分类，生成器需要学会欺骗判别器，并且判别器在输入物品图像和标签上产生概率分布，能够指定标签，实现语义控制生成器的生成。生成器的目标是将原始物品图像转换为由标签描述的真实场景图像，因此训练样本的数据集是作为一组相应图像(x，y，l)给出的，其中x是输入物品图像，y是相应的目标场景图像，l是目标场景图像域标签。使用条件GAN的代价函数作为算法模型的对抗性损失，该代价函数是一个极小极大的双人零和游戏：其中，D为判别器，G为生成器。函数的第一项表明，当输入真实场景图像时，判别器使目标函数尽可能大，并判断它是真实图像。函数的第二项表示在输入生成的图像时，G(x，y，l)尽可能小，因此，损失函数的值相对较大，生成器欺骗判别器并错误地认为输入是真实图像的同时判别器试图将其识别为假图像，函数的两项模型进行游戏直到达到纳什均衡，使生成器学习到标签的语义特征，并与物品图像对应起来。使用GAN模型的生成式对抗网络，生成器输入目标域场景的原始图像，目标域图像和标签作为条件变量，同时生成假的特定场景，目标域图像和目标域标签在输入时被复制并与输入图像拼接。生成器则试图从输入图像和给出原始域标签中重建新的场景，并试图生成与真实场景无法区分的特定场景，使不容易被判别器区分。两者在对抗博弈的过程中，生成器生成的场景越来越逼真，判别器区分真实场景图像与伪场景图像愈加困难，从而实现训练的目的。本专利技术整体结构简单，设计合理，采用条件GAN作为模型框架。为了实现语义控制功能，算法模型能够接受多个领域的训练数据，并且只使用一个生成器学习所有可用领域之间的映射，本算法模型不是学习固定的生成(例如，仅从衣服到正面的模特)，而是将物品图像和目标信息作为输入，并学习将输入图像中的物体灵活地生成相应的场景。通过使用标签来表示域信息，在训练过程中，随机生成一个目标域标签，训练模型将输入图像转换为目标域，从而实现通过语本文档来自技高网...

【技术保护点】
1.一种融合语义控制的特定场景生成方法，其特征在于，包括如下步骤：步骤1、选取若干物品图以及多个包含该物品的不同特定场景图片；步骤2、根据特定场景图片中特定场景的特点制作不同的属性标签，将特定场景图片裁剪处理后，获得训练样本，训练样本包括物品图、与物品图对应的包含该物品的特定场景图及描述该场景的标签；步骤3、构建由判别器与生成器组成的条件生成式对抗网络；步骤4、将物品图与标签一起作为输入，输入到生成器中，生成标签所描述的特定场景图；步骤5、包含物品的特定场景图作为目标场景图，将由生成器生成的标签所描述的特定场景图、目标场景图、物品图及标签一同输入到判别器中，判别器通过条件对抗网络进行模型训练；步骤6、将待处理的同类物品图及想要得到的场景以标签形式输入训练好的模型即可获得对应的场景图像。

【技术特征摘要】
1.一种融合语义控制的特定场景生成方法，其特征在于，包括如下步骤：步骤1、选取若干物品图以及多个包含该物品的不同特定场景图片；步骤2、根据特定场景图片中特定场景的特点制作不同的属性标签，将特定场景图片裁剪处理后，获得训练样本，训练样本包括物品图、与物品图对应的包含该物品的特定场景图及描述该场景的标签；步骤3、构建由判别器与生成器组成的条件生成式对抗网络；步骤4、将物品图与标签一起作为输入，输入到生成器中，生成标签所描述的特定场景图；步骤5、包含物品的特定场景图作为目标场景图，将由生成器生成的标签所描述的特定场景图、目标场景图、物品图及标签一同输入到判别器中，判别器通过条件对抗网络进行模型训练；步骤6、将待处理的同类...

【专利技术属性】
技术研发人员：曹仰杰，陈永霞，段鹏松，林楠，贾丽丽，
申请(专利权)人：郑州大学，
类型：发明
国别省市：河南,41