【技术实现步骤摘要】
本专利技术涉及图像生成，尤其涉及一种文本生成图像的方法及装置。
技术介绍
1、文本生成图像模型可根据给定的文本描述对噪声图像进行去噪，得到所需图像。然而文本生成图像模型通常在大规模数据集上训练获得，为文本描述中的概念生成的对象的外观是随机的，无法生成用户所需的特定外观的对象。
2、目前，文本反转(textual inversion)方法可基于用户提供的特定对象的少量样本图像对文本生成图像模型中的词嵌入模块进行训练，生成包含样本图像中特定对象的图像。文本描述中除了特定对象的概念，还可能包含其他概念，使得训练后的词嵌入模块将其他概念反转，无法生成其他概念的对象，导致生成的图像中丢失其他概念的对象。
技术实现思路
1、本专利技术提供一种文本生成图像的方法及装置，用以解决现有技术中在使用文本反转方法生成包含特定对象的图像时，生成的图像中丢失其他概念的对象的缺陷，实现生成的图像中不丢失其他概念的对象。
2、本专利技术提供一种文本生成图像的方法，包括：
3、确定输入的第一文本描述中的各概念在文本生成图像模型生成的图像中对应的预测位置框，所述文本生成图像模型根据第二噪声图像、第二文本描述和输入的参考图像，基于文本反转方法训练得到，所述第一文本描述和所述第二文本描述中包括目标概念，所述参考图像包括所述目标概念的对象；
4、将第一噪声图像和所述第一文本描述输入所述文本生成图像模型，根据所述文本生成图像模型对所述第一噪声图像每次去噪后的图像确定所述各概念
5、根据本专利技术提供的一种文本生成图像的方法，所述确定输入的第一文本描述中的各概念在所述文本生成图像模型生成的图像中对应的预测位置框，包括：
6、将文本描述样本输入位置框预测模型，得到所述位置框预测模型输出的所述文本描述样本中的各概念对应的预测位置框；
7、根据所述文本描述样本中的各概念对应的预测位置框的坐标和所述文本描述样本中的各概念在图像样本中的实际位置框的坐标之间的损失，对所述位置框预测模型进行训练；
8、将所述第一文本描述输入训练后的所述位置框预测模型，得到所述位置框预测模型输出的所述第一文本描述中的各概念对应的预测位置框。
9、根据本专利技术提供的一种文本生成图像的方法，所述将第一噪声图像和所述第一文本描述输入所述文本生成图像模型，根据所述文本生成图像模型对所述第一噪声图像每次去噪后的图像确定所述各概念的注意力图，根据所述各概念的注意力图在所述各概念对应的预测位置框上的聚集损失对所述去噪后的图像进行再次去噪，直到满足预设条件，包括：
10、将所述第一文本描述输入所述文本生成图像模型中的语义嵌入模块，得到所述语义嵌入模块输出的所述各概念的语义特征；
11、将所述第一噪声图像和所述各概念的语义特征输入所述文本生成图像模型中的扩散模块，得到所述扩散模块输出的对所述第一噪声图像去噪后的图像；
12、根据所述去噪后的图像和所述各概念的语义特征确定所述各概念的注意力图，并确定所述各概念的注意力图在所述各概念对应的预测位置框上的聚集损失；
13、将所述去噪后的图像作为新的所述第一噪声图像，根据所述聚集损失和所述各概念的语义特征使用所述扩散模块对新的所述第一噪声图像继续进行去噪，直到满足预设条件。
14、根据本专利技术提供的一种文本生成图像的方法，所述根据所述去噪后的图像和所述各概念的语义特征确定所述各概念的注意力图，包括：
15、基于所述文本生成图像模型中的交叉注意力模块，根据所述去噪后的图像和所述各概念的语义特征确定所述各概念的注意力图。
16、根据本专利技术提供的一种文本生成图像的方法，所述确定所述各概念的注意力图在所述各概念对应的预测位置框上的聚集损失，包括：
17、将所述各概念对应的预测位置框转换为二元掩码；
18、根据所述各概念对应的二元掩码和所述注意力图，确定所述聚集损失。
19、根据本专利技术提供的一种文本生成图像的方法，所述根据所述各概念的注意力图在所述各概念对应的预测位置框上的聚集损失对所述去噪后的图像进行再次去噪，直到满足预设条件，包括：
20、在所述第一噪声图像的去噪次数小于预设阈值，且不满足所述预设条件的情况下，根据所述聚集损失和所述各概念的语义特征使用所述扩散模块对新的所述第一噪声图像继续进行去噪；
21、在所述去噪次数大于等于所述预设阈值，且不满足所述预设条件的情况下，根据所述各概念的语义特征使用所述扩散模块对新的所述第一噪声图像继续进行去噪。
22、本专利技术还提供一种文本生成图像的装置，包括：
23、预测模块，用于确定输入的第一文本描述中的各概念在文本生成图像模型生成的图像中对应的预测位置框，所述文本生成图像模型根据第二噪声图像、第二文本描述和输入的参考图像，基于文本反转方法训练得到，所述第一文本描述和所述第二文本描述中包括目标概念，所述参考图像包括所述目标概念的对象；
24、去噪模块，用于将第一噪声图像和所述第一文本描述输入所述文本生成图像模型，根据所述文本生成图像模型对所述第一噪声图像每次去噪后的图像确定所述各概念的注意力图，根据所述各概念的注意力图在所述各概念对应的预测位置框上的聚集损失对所述去噪后的图像进行再次去噪，直到满足预设条件。
25、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述文本生成图像的方法。
26、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述文本生成图像的方法。
27、本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述文本生成图像的方法。
28、本专利技术提供的文本生成图像的方法及装置，通过首先根据输入的参考图像基于文本反转方法对文本生成图像模型进行训练，使得训练后的文本生成图像模型能够重建特定对象；然后自适应为输入的文本描述中的各概念生成预测位置框，在使用文本生成图像模型生成图像的过程中，使用各概念的预测位置框约束各概念对生成图像的影响区域，使得各概念的对象倾向于出现在对应预测位置框位置，而不影响其他概念的对象生成，生成的图像中不丢失其他概念的对象。
本文档来自技高网...【技术保护点】
1.一种文本生成图像的方法，其特征在于，包括：
2.根据权利要求1所述的文本生成图像的方法，其特征在于，所述确定输入的第一文本描述中的各概念在所述文本生成图像模型生成的图像中对应的预测位置框，包括：
3.根据权利要求1所述的文本生成图像的方法，其特征在于，所述将第一噪声图像和所述第一文本描述输入所述文本生成图像模型，根据所述文本生成图像模型对所述第一噪声图像每次去噪后的图像确定所述各概念的注意力图，根据所述各概念的注意力图在所述各概念对应的预测位置框上的聚集损失对所述去噪后的图像进行再次去噪，直到满足预设条件，包括：
4.根据权利要求3所述的文本生成图像的方法，其特征在于，所述根据所述去噪后的图像和所述各概念的语义特征确定所述各概念的注意力图，包括：
5.根据权利要求3所述的文本生成图像的方法，其特征在于，所述确定所述各概念的注意力图在所述各概念对应的预测位置框上的聚集损失，包括：
6.根据权利要求3所述的文本生成图像的方法，其特征在于，所述根据所述各概念的注意力图在所述各概念对应的预测位置框上的聚集损失对所述去噪后的图
7.一种文本生成图像的装置，其特征在于，包括：
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述文本生成图像的方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述文本生成图像的方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述文本生成图像的方法。
...【技术特征摘要】
1.一种文本生成图像的方法，其特征在于，包括：
2.根据权利要求1所述的文本生成图像的方法，其特征在于，所述确定输入的第一文本描述中的各概念在所述文本生成图像模型生成的图像中对应的预测位置框，包括：
3.根据权利要求1所述的文本生成图像的方法，其特征在于，所述将第一噪声图像和所述第一文本描述输入所述文本生成图像模型，根据所述文本生成图像模型对所述第一噪声图像每次去噪后的图像确定所述各概念的注意力图，根据所述各概念的注意力图在所述各概念对应的预测位置框上的聚集损失对所述去噪后的图像进行再次去噪，直到满足预设条件，包括：
4.根据权利要求3所述的文本生成图像的方法，其特征在于，所述根据所述去噪后的图像和所述各概念的语义特征确定所述各概念的注意力图，包括：
5.根据权利要求3所述的文本生成图像的方法，其特征在于，所述确定所述各概念的注意力图在所...
【专利技术属性】
技术研发人员：张兆翔，雷震，张栩禄，吴锦林，王玉玺，
申请(专利权)人：中国科学院香港创新研究院人工智能与机器人创新中心有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。