用于基于对象之间的关系修改图像的人工智能系统和方法技术方案

提供了一种图像修改系统，包括处理器和存储指令的存储器，其中，处理器被配置为通过执行指令来接收原始图像；识别原始图像中的多个对象以生成表示多个对象的对象信息；基于原始图像和对象信息生成指示多个对象之间的关系的对象关系图；通过将对象关系图输入到图像修改图神经网络(GNN)模型来获得包括要分别应用于多个对象的图像效果的图像效果数据；以及基于原始图像、对象信息和图像效果数据生成修改的图像。的图像。的图像。

【技术实现步骤摘要】
【国外来华专利技术】用于基于对象之间的关系修改图像的人工智能系统和方法


[0001]本公开涉及一种用于基于对象之间的关系来修改图像的人工智能系统和方法。

技术介绍

[0002]最近，随着数码相机和智能电话变得普遍，用户正在拍摄许多图片，因此，对用于编辑图片的技术的需求已经增加。特别地，已经开发了一种技术，其中，设备自动编辑或建议编辑，而不需要用户手动设置和编辑参数。用户倾向于根据主体的类型来设置编辑类型和参数，诸如使人的身体变瘦、增加人脸的亮度、以及增加食物的饱和度。
[0003]与现有的基于规则的智能系统不同，人工智能(artificialintelligence，AI)系统是机器自己学习、判断并变得更智能的系统。人工智能系统使用得越多，识别率越好，对用户偏好的理解越准确，因此，现有的基于规则的智能系统逐渐被基于深度学习的AI系统取代。人工智能技术由机器学习(深度学习)和使用机器学习的元素技术(element technology)组成。机器学习是一种通过自身对输入数据的特征进行分类/学习的算法技术，并且元素技术是一种使用诸如深度学习的机器学习算法的技术，并且由诸如语言理解、视觉理解、推理/预测、知识表达、运动控制的
组成。

技术实现思路

[0004]技术问题
[0005]根据本公开的实施例，提供了一种用于基于对象之间的关系来修改图像的人工智能系统和方法，使得可以生成其中应用了适合于原始图像的图像效果的修改的图像。
[0006]技术方案
[0007]作为用于实现上述技术目的的技术手段，根据本公开的实施例，提供了一种图像修改系统，包括处理器和存储指令的存储器，其中，处理器被配置为通过执行指令来：接收原始图像；识别原始图像中的多个对象以生成表示多个对象的对象信息；基于原始图像和对象信息生成指示多个对象之间的关系的对象关系图；通过将对象关系图输入到图像修改图神经网络(GNN)模型来获得包括要分别应用于多个对象的图像效果的图像效果数据；并且基于原始图像、对象信息和图像效果数据来生成修改图像。
[0008]在实施例中，处理器还可以被配置为显示修改的图像，接收针对修改的图像的用户输入，并且基于用户输入来更新图像修改GNN模型。
[0009]在实施例中，至少一个处理器还可以被配置为显示与应用于修改的图像的图像效果相对应的对象和至少一个关系；接收用户针对显示的对象和显示的至少一个关系的选择输入；生成最终的修改图像，其中，在所述最终的修改图像中，应用了与针对其接收到选择输入的对象和至少一个关系相对应的图像效果；并且基于用户的选择输入来更新图像修改GNN模型。
[0010]在本公开的实施例中，提供了一种图像修改模型训练系统，包括处理器和存储指令的存储器，其中，处理器被配置为通过执行指令来：接收原始图像和修改的图像，其中，所
述修改的图像是应用了图像效果的原始图像；识别原始图像中的多个对象以生成表示多个对象的对象信息；基于原始图像和对象信息生成指示多个对象之间的关系的对象关系图；基于原始图像、对象信息和修改的图像生成包括分别应用于修改的图像中的多个对象的图像效果的图像效果数据；以及基于对象关系图和图像效果数据，训练图像修改图神经网络(GNN)模型，其中，所述图像修改图神经网络模型包括对象关系图作为输入和图像效果数据作为输出。
[0011]在实施例中，对象关系图中包括的多个对象之间的关系可以包括多个对象当中的至少一个人与多个对象当中的至少一个事物之间的交互。
[0012]在实施例中，对象关系图可以包括多个对象中的每一个作为节点以及多个对象之间的关系中的每一个作为边。
[0013]在实施例中，对象信息可以包括多个对象的相应特征，对象关系图可以包括多个对象的特征中的每一个作为节点特征。
[0014]在实施例中，对象关系图的每条边可以具有根据相关关系的类型的权重。
[0015]在实施例中，在边当中的具有多个对应关系的边可以具有根据多个关系的权重的平均值作为权重。
[0016]在实施例中，处理器还可以被配置为基于原始图像的元数据生成对象关系图。
[0017]在实施例中，图像效果数据可以包括表格，该表格包括多个对象中的每一个作为行以及图像效果中的每一个作为列。
[0018]在本公开的实施例中，提供了一种图像修改系统的操作方法，该操作方法包括：接收原始图像；识别原始图像中的多个对象以生成表示多个对象的对象信息；基于原始图像和对象信息生成指示多个对象之间的关系的对象关系图；通过将对象关系图输入到图像修改图神经网络(GNN)模型来获得包括要分别应用于多个对象的图像效果的图像效果数据；以及基于原始图像、对象信息和图像效果数据来生成修改的图像。
[0019]在本公开的实施例中，提供了一种图像修改模型训练系统的操作方法，所述操作方法包括：接收原始图像和修改的图像，其中，所述修改的图像是应用了图像效果的原始图像；识别原始图像中的多个对象以生成表示多个对象的对象信息；基于原始图像和对象信息生成指示多个对象之间的关系的对象关系图；基于原始图像、对象信息和修改的图像生成包括分别应用于修改的图像中的多个对象的图像效果的图像效果数据；以及基于对象关系图和图像效果数据，训练图像修改图神经网络(GNN)模型，其中，所述图像修改图神经网络模型包括所述对象关系图作为输入和图像效果数据作为输出。
[0020]在本公开的实施例中，包括一种存储在计算机可读记录介质中的程序产品，用于在计算机上执行根据本公开的实施例的方法。
[0021]在本公开的实施例中，包括一种计算机可读记录介质，其上记录有用于在计算机上执行根据本公开的实施例的方法的程序。
[0022]有益技术效果
[0023]根据本公开的实施例，提供了一种用于基于对象之间的关系来修改图像的人工智能系统和方法，使得可以生成其中应用了适合于原始图像的图像效果的修改的图像。
附图说明
[0024]图1是示出根据本公开的实施例的基于对象之间的关系的图像修改系统的结构的示意图。
[0025]图2是根据本公开的实施例的图像修改系统的结构的详细视图。
[0026]图3是根据本公开的实施例的图像修改系统的操作方法的流程的示意性流程图。
[0027]图4是示出根据本公开的实施例的在图像修改系统的操作期间的数据流的示图。
[0028]图5是示出根据本公开的实施例的在原始图像中识别的对象的示图。
[0029]图6是示出根据本公开的实施例的在原始图像中识别的对象之间的关系的示图。
[0030]图7是示出根据本公开的实施例的对象关系图的示图。
[0031]图8是示出根据本公开的实施例的对象关系图的相邻矩阵的示图。
[0032]图9是示出根据本公开的实施例的对象关系图的示图。
[0033]图10是示出根据本公开的实施例的对象关系图的节点特征矩阵的示图。
[0034]图11是示出根据本公开的实施例的具有边权重的对象关系图的相邻矩阵的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种图像修改系统，包括：处理器；以及存储指令的存储器，其中，所述处理器被配置为通过执行指令以：接收原始图像，识别所述原始图像中的多个对象以生成表示所述多个对象的对象信息，基于所述原始图像和所述对象信息，生成指示在所述多个对象之间的关系的对象关系图；通过将所述对象关系图输入到图像修改图神经网络(GNN)模型，来获得包含要分别应用于所述多个对象的图像效果的图像效果数据，以及基于所述原始图像、所述对象信息和所述图像效果数据来生成修改的图像。2.如权利要求1所述的图像修改系统，其中，包含在所述对象关系图中的对象之间的关系包括在多个对象当中的至少一个人与所述多个对象当中的至少一个事物之间的交互。3.如权利要求1所述的图像修改系统，其中，所述对象关系图包含所述多个对象中的每一个作为节点以及在所述多个对象之间的关系中的每一个作为边。4.如权利要求3所述的图像修改系统，其中，所述对象信息包括所述多个对象的相应特征，并且所述对象关系图包含所述多个对象的特征中的每一个作为节点特征。5.如权利要求3所述的图像修改系统，其中，所述对象关系图的每条边具有根据相关关系的类型的权重，并且在所述多条边当中具有多个对应关系的边具有根据所述多个关系的权重的平均值作为权重。6.如权利要求1所述的图像修改系统，其中，所述图像效果数据包含表格，所述表格包含所述多个对象中的每一个作为行以及所述图像效果中的每一个作为列。7.如权利要求1所述的图像修改系统，其中，所述处理器还被配置为：显示所述修改的图像，显示与应用于所述修改的图像的图像效果相对应的对象和至少一个关系，接收用户针对所显示的对象和所显示的至少一个关系的选择输入，生成最终的修改图像，其中，在所述最终的修改图像中，应用了与针对其接收到选择输入的对象和至少一个关系相对应的图像效果，以及基于所述用户的选择输入来更新所述图像修改GNN模型。8.一种图像修改模型训练系统，包括：处理器；以及存储指令的存储器，其中，所述处理器被配置为通过执行指令以：接收原始图像和修改的图像，其中，所述修改的图像是应用了图像效果的原始图像，识别所述原始图像中的多个对象以生成表示所述多个对象的对象信息，基于所述原始图像和所述对象信息，生成指示在所述多个对象之间的关系的对象关系图；
基于所述原始图像、所述对象信息和所述修改的图像生成包含分...

【专利技术属性】
技术研发人员：金恩曙，徐钻源，李英听，李洪杓，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：