【技术实现步骤摘要】
本申请属于人工智能,具体涉及一种文生图方法、装置及电子设备。
技术介绍
1、目前,用户可以利用电子设备的文生图功能,生成图像。例如,用户可以在电子设备的文生图界面输入文生图提示词。电子设备接收到用户输入的文生图提示词后,生成一张与文生图提示词对应的第一图像,然后将第一图像显示在文生图界面,以便用户查看。进一步地,当用户对第一图像的图像效果不太满意,想要对第一图像的图像内容进行修改,以重新得到一张图像时,则用户需要按照和上一次输入的文生图提示词相同的格式,重新输入一次文生图提示词才能得到重新生成的第二图像。
2、在相关技术中,电子设备的文生图功能是基于模型实现的,而模型是基于当前用户输入的文生图提示词,去生成图像的。并且用户每输入一个文生图提示词,模型就生成一张全新的图像。因此,第二图像相对于第一图像而言,是一张全新的图像。
3、如此,当用户想要对第一图像中的部分内容进行修改时,生成的第二图像与第一图像相比,不仅图像编辑区的图像内容发生了改变,且除了图像编辑区外区域内的图像内容也发生了改变,从而导致生成的第二图像并
...【技术保护点】
1.一种文生图方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述图像修改提示词包括以下至少一项:
3.根据权利要求1所述的方法,其特征在于,所述基于所述图像修改提示词和所述第一图像,输出第二图像,包括:
4.根据权利要求3所述的方法,其特征在于,所述图像修改提示词包括修改所述第一图像中X个对象的描述信息,X为正整数;
5.根据权利要求4所述的方法,其特征在于,所述X个图像编辑区对应的掩码图像的图像尺寸相同;
6.根据权利要求3或4所述的方法,其特征在于,所述基于所述第二文生图提示词、所述
...【技术特征摘要】
1.一种文生图方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述图像修改提示词包括以下至少一项:
3.根据权利要求1所述的方法,其特征在于,所述基于所述图像修改提示词和所述第一图像,输出第二图像,包括:
4.根据权利要求3所述的方法,其特征在于,所述图像修改提示词包括修改所述第一图像中x个对象的描述信息,x为正整数;
5.根据权利要求4所述的方法,其特征在于,所述x个图像编辑区对应的掩码图像的图像尺寸相同;
6.根据权利要求3或4所述的方法,其特征在于,所述基于所述第二文生图提示词、所述第一文生图提示词的第一文本特征信息和所述至少一个对象的掩码图像,输出第二图像之前,所述方法还包括:
7.根据权利要求6所述的方法,其特征在于,所述将所述第二文生图提示词、所述第一文本特征信息、所述第一特征图和所述至少一个对象的掩码图像输入所述图像绘制模型,输出所述第二图像,包括:
8.根据权利要求7所述的方法,其特征在于,所述第一文本特征信息包括所述第一文生图提示词中的每个词对应的子文本特征信息;所述第二文本特征信息包括所述第二文生图提示词中的每个词对应的子文本特征信息;
9.根据权利要求7或8所述的方法,其特征在于,所述基于所述融合文本特征信息、所述至少一个对象的掩码图像、所述第一特征图和所述第二特征图,输出所述第二图像,包括:
10.根据权利要求9所述的方法,其特征在于,所述基于所述至少一个对象的掩码图像、所述第一特征图和所述第二特征图,得到融合特征图,包括:
11.根据权利要求9或10所述的方法,其特征在于,所述图像绘制模型包括unet网络,所述unet网络包括n层级联的卷积层,所述第一特征图包括n个第一特征图,所述n个第一特征图与所述n个卷积层一一对应,n为大于1的整数;
12.根据权利要求6所述的方法,其特征在于,所述将所述第一文生图提示词输入图像绘制模型,输出第一图像、第一文本特征信息和第一特征图,包括:
13.根据权利要求12所述的方法,其特征在于,所述图像绘制模型包括unet网络,所述unet网络包括n个级联的卷积层,n为大于1的整数;
14.根据权利要求7所述的方法,其特征在于,所述将所述第二文生图提示词、所述第一文本特征信息、所述第一特征图以及所述至少一个对象的掩码图像输入所述图像绘制模型,包括:
15.根据权利要求14所述的方法,其特征在于,所述将所述第二文生图提示词、所述第一文本特征信息、所述第一特征图、所述至少一个对象的掩码图像和第二噪声图像输入所述图像绘制模型之前,所述方法还包括:
16.根据权利要求1所述的方法,其特征在于,所述接收用户输入的图像修改提示词之前,所述方法还包括:
17.根据权利要求16所述的方法,其特征在于,所述接收用户输入的第一文生图提示词之后,所...
【专利技术属性】
技术研发人员:叶传坤,
申请(专利权)人:维沃移动通信有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。