【技术实现步骤摘要】
一种图像生成方法、装置、设备及存储介质
[0001]本专利技术涉及人工智能
,尤其涉及一种图像生成方法、装置、设备及存储介质。
技术介绍
[0002]图像生成器一直是机器视觉的一个关注的焦点,在海报设计、虚拟场景设计等均发挥重要作用。
[0003]现有的图像生成器主要分别两种,一种是采用基于卷积神经网络模型的图像生成方法,另一种是基于transformer模型的图像生成方法。
[0004]在实现本专利技术的过程中,发现现有技术中至少存在以下技术问题:
[0005]基于卷积神经网络模型的图像生成方法无法生成正确的物体结构,如生成一个具有三只手的人的图像。而基于transformer模型的图像生成方法中连接矩阵的构建方式不合理,无法准确理解图像中多个对象之间的关系,如本应生成人骑马的图像,却生成了人站在马身上的图像。因此,现有的图像生成器生成的图像质量较差。
技术实现思路
[0006]本专利技术提供了一种图像生成方法、装置、设备及存储介质,以解决现有技术中连接矩阵的构建方式不合理的问题,提高图像生成器生成的图像质量。
[0007]根据本专利技术的一方面,提供了一种图像生成方法,该方法包括:
[0008]响应于检测到目标图像布局数据,将所述目标图像布局数据输入到预先训练完成的目标图像标记模型中;其中,所述目标图像局部数据包括待生成图像中包含的至少一个对象分别对应的边界坐标数据;
[0009]通过所述目标图像标记模型中的特征转换模块,基于所述目标图像布局数 ...
【技术保护点】
【技术特征摘要】
1.一种图像生成方法,其特征在于,包括:响应于检测到目标图像布局数据,将所述目标图像布局数据输入到预先训练完成的目标图像标记模型中;其中,所述目标图像局部数据包括待生成图像中包含的至少一个对象分别对应的边界坐标数据;通过所述目标图像标记模型中的特征转换模块,基于所述目标图像布局数据,输出对象特征向量;通过所述目标图像标记模型中的图像标记模块,获取所述待生成图像中多个图像块分别对应的图像块坐标数据,基于各所述图像块坐标数据和各所述边界坐标数据,构建连接矩阵,并基于所述连接矩阵和所述对象特征向量,输出多个图像块分别对应的目标图像块标识;其中,所述连接矩阵表征所述待生成图像中对象与图像块之间的交互信息和/或图像块之间的交互信息;将各所述目标图像块标识输入到预先训练完成的图像生成模型中,得到输出的待生成图像。2.根据权利要求1所述的方法,其特征在于,所述基于各所述图像块坐标数据和各所述边界坐标数据,构建连接矩阵,包括:针对每个边界坐标数据,将各图像块坐标数据依次作为目标图像块坐标数据;基于所述边界坐标数据和所述目标图像块坐标数据,判断所述目标图像块坐标数据对应的目标图像块是否属于所述边界坐标数据对应的对象;如果是,则将连接矩阵中所述目标图像块和所述对象共同对应的矩阵值设置为第一数值,以使所述连接矩阵表征所述待生成图像中所述目标图像块与所述对象之间的交互信息。3.根据权利要求2所述的方法,其特征在于,所述基于所述边界坐标数据和所述目标图像块坐标数据,判断所述目标图像块坐标数据对应的目标图像块是否属于所述边界坐标数据对应的对象,包括:基于所述边界坐标数据,确定所述边界坐标数据对应的对象在所述待生成图像中的对象区域;基于所述目标图像块坐标数据以及预设图像块尺寸,确定所述目标图像块坐标数据对应的目标图像块在所述待生成图像中的目标图像块区域;如果所述目标图像块区域与所述对象区域之间的重叠区域,与所述目标图像块区域之间的面积比例超过预设面积比例,则确定所述目标图像块属于所述边界坐标数据对应的对象。4.根据权利要求2所述的方法,其特征在于,所述方法还包括:如果所述目标图像块坐标数据对应的目标图像块不属于任一边界坐标数据对应的对象,则将连接矩阵中所述目标图像块和每一对象共同对应的矩阵值均设置为第一数值,以使所述连接矩阵表征所述待生成图像中所述目标图像块与每个对象之间的交互信息。5.根据权利要求1所述的方法,其特征在于,所述基于各所述图像块坐标数据和各所述边界坐标数据,构建连接矩阵,包括:针对任意两个图像块坐标数据,基于所述任意两个图像块坐标数据和各所述边界坐标数据,判断所述任意两个图像块坐标数据分别对应的两个图像块是否属于同一边界坐标数
据对应的对象;如果是,则将连接矩阵中所述两个图像块共同对应的矩阵值设置为第一数值,以使所述连接矩阵表征所述待生成图像中所述两个图像块之间的交互信息。6.根据权利要求5所述的方法,其特征在于,所述方法还包括:如果所述任意两个图像块坐标数据分别对应的两个图像块不属于同一边界坐标数据对应的对象,则判断所述任意两个图像块坐标数据分别对应的两个图像块是否均不属于任一边界坐标数据对应的对象;如果是,...
【专利技术属性】
技术研发人员:王超岳,刘大庆,詹忆冰,杨祚鹏,
申请(专利权)人:京东科技信息技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。