【技术实现步骤摘要】
本申请涉及计算机视觉和深度学习领域，特别是涉及一种基于预训练文生图模型的生成含有预期标识图像的方法、计算机设备、可读存储介质和程序产品。
技术介绍
1、最近的大型预训练文本到图像扩散模型可以使用一句提示词生成高质量的图像。然而，它们无法产生一张特定标识的图像(如预期的卡通人物)，因为特定标识难以用提示词准确描述。
2、特定标识记录于参考图像中，具有预期的角色身份。作为一种定制方法，dreambooth模型可以针对参考图像中的特定标识、生成与特定标识提示词相对应的图像。然而，在利用dreambooth模型生成的特定图像中，特定标识的结构特征参考图像内的特定标识往往图像不一致，比如形状和轮廓存在明显差异。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种基于预训练文生图模型的生成含有预期标识图像的方法。
2、本申请基于预训练文生图模型的生成含有预期标识图像的方法，包括：
3、获得含有预期标识的参考图像，对所述参考图像依次执行定向编码和反向重建，在所...
【技术保护点】
1.基于预训练文生图模型的生成含有预期标识图像的方法，其特征在于，包括：
2.如权利要求1所述的生成含有预期标识图像的方法，其特征在于，所述反向重建包括执行的多个时间步，所述第一自注意力图来自于各所述时间步。
3.如权利要求1所述的生成含有预期标识图像的方法，其特征在于，对所述参考图像依次执行定向编码和反向重建，具体包括：
4.如权利要求3所述的生成含有预期标识图像的方法，其特征在于，在所述反向重建的过程中抽取获得第一自注意力图，利用下式进行：
5.如权利要求1所述的生成含有预期标识图像的方法，其特征在于，包括，微调所述...
【技术特征摘要】
1.基于预训练文生图模型的生成含有预期标识图像的方法，其特征在于，包括：
2.如权利要求1所述的生成含有预期标识图像的方法，其特征在于，所述反向重建包括执行的多个时间步，所述第一自注意力图来自于各所述时间步。
3.如权利要求1所述的生成含有预期标识图像的方法，其特征在于，对所述参考图像依次执行定向编码和反向重建，具体包括：
4.如权利要求3所述的生成含有预期标识图像的方法，其特征在于，在所述反向重建的过程中抽取获得第一自注意力图，利用下式进行：
5.如权利要求1所述的生成含有预期标识图像的方法，其特征在于，包括，微调所述预训练文生图模型，具体包括：
6.如权利要求5所述的生成含有预期标识图像的方法，其特征在于，所述对比损失通过下式获得：<...
【专利技术属性】
技术研发人员：赵磊，栾俊升，张权威，林怀忠，张占杰，李光远，孙嘉锴，尹浩霖，蓝泽铧，莫俊程，马骋，王永康，陈嘉芙，褚天易，饶晨，焦涵，贾世安，张玮婧，邢卫，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。