【技术实现步骤摘要】
本专利技术涉及图像生成领域，尤其涉及基于多任务的图像生成方法、图像生成装置及存储介质。
技术介绍
1、目前计算机视觉领域的生成式多任务学习和应用，通常使用多模态的预训练模型进行处理。例如将clip(contrastive language-image pre-training，对比语言图像预训练)作为骨干网络，处理不同的子任务的图像设计时，通过续接不同的网络头，实现风格转换、图像去噪、图像修复、图像编辑等任务。
2、然而，不同的视觉任务数据相互之间分布差异性较大且训练过程为分次训练，同时每个视觉任务对应有单独的网络头，每个网络头对应单独的处理模型。在面对多种生成任务组成的任务需求，例如在执行对图像依次进行降噪、去雾及颜色校正处理的任务时，需要将任务进行串联并通过不同网络头依次进行处理，而在前一步骤出现图像误差例如降噪效果较差时，相应的误差会累积到下一处理模型，导致图像输出效果较差。
3、上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
1、本专利技术的主要目的在于提供一种基于多任务的图像生成方法、图像生成装置及存储介质，解决现有技术中图像输出效果差的问题。
2、为实现上述目的，本专利技术提供一种基于多任务的图像生成方法，所述方法包括以下步骤：
3、确定所述多任务生成指令对应的任务执行顺序以及场景信息；
4、确定所述多任务生成指令对应的，每个子任务在所述场景信息下的子提示链语句；p>
5、基于所述任务执行顺序将所有所述子提示链语句进行组合，得到所述多任务生成指令对应的目标提示链语句；
6、将所述多任务生成指令对应的原始图像以及所述目标提示链语句，作为预先训练的处理模型的输入参数，并控制所述处理模型生成所述多任务生成指令对应的目标图像。
7、可选地，所述确定所述多任务生成指令对应的任务执行顺序以及场景信息的步骤之前，还包括：
8、获取预训练模型以及所述预训练模型对应的训练集，其中，所述预训练模型至少包括文本编码器、文本解码器以及图像编码器；
9、将所述预训练模型的所述文本解码器替换为图像解码器，并将所述图像解码器与所述图像编码器在神经网络层中的连接关系调整为直连关系；
10、基于所述训练集对所述预训练模型进行训练，得到所述处理模型。
11、可选地，所述获取预训练模型以及所述预训练模型对应的训练集的步骤包括：
12、获取所述预训练模型以及图像处理的单个任务信息，其中，所述单个任务信息的任务类型至少包括图像风格转换、图像去噪、图像修复、图像编辑以及图像去雾；
13、确定各个所述任务类型对应的语句模板，并将所述语句模板对应的原始图像及生成图像输入到所述语句模板中，得到各个所述任务类型对应的预处理提示链语句；
14、将所述预处理提示链语句、所述原始图像以及所述生成图像作为所述训练集。
15、可选地，所述将所述多任务生成指令对应的原始图像以及所述目标提示链语句，作为预先训练的处理模型的输入参数，并控制所述处理模型生成所述多任务生成指令对应的目标图像的步骤之后，还包括：
16、接收到单任务生成指令时，在所述处理模型中添加所述单任务生成指令对应的前导提示链；
17、控制所述处理模型基于所述前导提示链，对所述单任务生成指令对应的图像进行处理。
18、可选地，所述确定所述多任务生成指令对应的任务执行顺序以及场景信息的步骤包括：
19、通过语义分析模型确定所述多任务生成需求对应的子任务数量及各个所述子任务对应的处理顺序；
20、根据所述子任务数量以及所述处理顺序确定所述任务执行数量，并获取所述多任务生成需求对应的所述场景信息。
21、可选地，所述确定所述多任务生成指令对应的任务执行顺序以及场景信息的步骤包括：
22、确定所述多任务生成指令对应的执行代码、所述执行代码的执行顺序以及所述执行代码关联的任务场景；
23、将所述执行顺序对应的子任务处理顺序，作为所述多任务处理指令对应的所述处理顺序，以及将所述任务场景作为所述场景信息。
24、可选地，所述基于所述任务执行顺序将所有所述子提示链语句进行组合，得到所述多任务生成指令对应的目标提示链语句的步骤之后，还包括：
25、将所述目标提示链语句输出至提示链校验界面，并响应所述提示链校验界面反馈的校验结果；
26、在所述校验结果为异常时，获取所述提示链校验界面接收到的校验提示链语句，并基于所述校验提示链语句执行所述将所述多任务生成指令对应的原始图像以及所述目标提示链语句，作为预先训练的处理模型的输入参数，并控制所述处理模型生成所述多任务生成指令对应的目标图像的步骤；或者
27、在所述校验结果为正常时，执行所述将所述多任务生成指令对应的原始图像以及所述目标提示链语句，作为预先训练的处理模型的输入参数，并控制所述处理模型生成所述多任务生成指令对应的目标图像的步骤。
28、可选地，所述确定所述多任务生成指令对应的，每个子任务在所述场景信息下的子提示链语句的步骤包括：
29、获取所述多任务生成指令对应的，每个所述子任务对应的预存语句模板；
30、根据所述预存语句模板生成每个所述子任务在所述场景信息的，所述子提示链语句。
31、此外，为实现上述目的，本专利技术还提供一种基于多任务的图像生成装置，所述基于多任务的图像生成装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于多任务的图像生成程序，所述基于多任务的图像生成程序被所述处理器执行时实现如上所述的基于多任务的图像生成方法的步骤。
32、此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于多任务的图像生成程序，所述基于多任务的图像生成程序被处理器执行时实现如上所述的基于多任务的图像生成方法的步骤。
33、本专利技术实施例提供了基于多任务的图像生成方法、图像生成装置及存储介质，确定多任务生成指令对应的任务执行顺序以及场景信息，随后确定多任务生成指令的每个子任务在场景信息下的子提示链语句，并基于任务执行顺序将子提示链语句进行组合，进而得到多任务生成指令对应的目标提示链语句，进而将目标提示链语句以及多任务生成指令对应的原始图像输入到处理模型中，并控制处理模型生成对应的目标图像。基于此，对于单张图像的多种生成任务需求，通过将任务描述为提示链语句，并进行任务融合，进而进行一次端对端推理即可生成目标图像，无需使用多个不同的网络头进行分批次处理，提高图像输出效果。
本文档来自技高网...【技术保护点】
1.一种基于多任务的图像生成方法，其特征在于，所述基于多任务的图像生成方法包括：
2.如权利要求1所述的基于多任务的图像生成方法，所述确定所述多任务生成指令对应的任务执行顺序以及场景信息的步骤之前，还包括：
3.如权利要求2所述的基于多任务的图像生成方法，其特征在于，所述获取预训练模型以及所述预训练模型对应的训练集的步骤包括：
4.如权利要求1所述的基于多任务的图像生成方法，其特征在于，所述将所述多任务生成指令对应的原始图像以及所述目标提示链语句，作为预先训练的处理模型的输入参数，并控制所述处理模型生成所述多任务生成指令对应的目标图像的步骤之后，还包括：
5.如权利要求1所述的基于多任务的图像生成方法，其特征在于，所述确定所述多任务生成指令对应的任务执行顺序以及场景信息的步骤包括：
6.如权利要求1所述的基于多任务的图像生成方法，其特征在于，所述确定所述多任务生成指令对应的任务执行顺序以及场景信息的步骤包括：
7.如权利要求1所述的基于多任务的图像生成方法，其特征在于，所述基于所述任务执行顺序将所有所述子提示
8.如权利要求1所述的基于多任务的图像生成方法，其特征在于，所述确定所述多任务生成指令对应的，每个子任务在所述场景信息下的子提示链语句的步骤包括：
9.一种基于多任务的图像生成装置，其特征在于，所述基于多任务的图像生成装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于多任务的图像生成程序，所述基于多任务的图像生成程序被所述处理器执行时实现如权利要求1至8中任一项所述的基于多任务的图像生成方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于多任务的图像生成程序，所述基于多任务的图像生成程序被处理器执行时实现如权利要求1至8中任一项所述的基于多任务的图像生成方法的步骤。
...【技术特征摘要】
1.一种基于多任务的图像生成方法，其特征在于，所述基于多任务的图像生成方法包括：
2.如权利要求1所述的基于多任务的图像生成方法，所述确定所述多任务生成指令对应的任务执行顺序以及场景信息的步骤之前，还包括：
3.如权利要求2所述的基于多任务的图像生成方法，其特征在于，所述获取预训练模型以及所述预训练模型对应的训练集的步骤包括：
4.如权利要求1所述的基于多任务的图像生成方法，其特征在于，所述将所述多任务生成指令对应的原始图像以及所述目标提示链语句，作为预先训练的处理模型的输入参数，并控制所述处理模型生成所述多任务生成指令对应的目标图像的步骤之后，还包括：
5.如权利要求1所述的基于多任务的图像生成方法，其特征在于，所述确定所述多任务生成指令对应的任务执行顺序以及场景信息的步骤包括：
6.如权利要求1所述的基于多任务的图像生成方法，其特征在于，所述确定所述多任务生成指令对应的任务执行顺序以及场景信息的步...
【专利技术属性】
技术研发人员：张一帆，李琦，山金孝，龙喜洋，刘屹，喻霜，
申请(专利权)人：招商局金融科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。