【技术实现步骤摘要】
本申请属于通信，具体涉及一种图像生成模型训练方法、图像生成方法、装置、设备及可读存储介质。
技术介绍
1、目前手势操纵增强现实(augmented reality，ar)特效的方式中，虚拟的特效会随手势移动而被拖动，犹如真实地拖动效果。但ar属于将虚拟特效叠加到现实场景中，而拖动效果只作用于虚拟特效，真实场景成像的图像并没有任何移动，导致虚拟特效与真实场景的绑定关系被破坏，失去了虚实叠加的效果。
技术实现思路
1、本申请实施例提供一种图像生成模型训练方法、图像生成方法、装置、设备及可读存储介质，能够解决上述手势操纵ar特效，导致虚拟特效与真实场景的绑定关系被破坏的问题。
2、第一方面，提供了一种图像生成模型训练方法，所述方法包括：
3、建立包含第一生成网络、第二生成网络和判别网络的待训练模型；
4、以第一特征参数、第一起始点和第一结束点为输入，对所述待训练模型进行训练得到第一模型；
5、以第二特征参数、第二起始点和第二结束点为输入，对所述第一模型进行迭代训练；
6、在所述第一模型中的判别网络输出的判别值大于或等于第一门限的情况下，根据本次训练后的所述第一生成网络和所述第二生成网络建立训练后的图像生成模型；
7、其中，所述第一生成网络的输出为所述第二生成网络的输入，所述判别网络的输入包括所述第二生成网络的输出和目标图像，所述第一生成网络用于与拖拽方向相关的图像生成处理，所述第二生成网络用于保持与所述目标图像相同风
8、可选地，所述以第二特征参数和第二拖拽参数为输入，对所述第一模型进行迭代训练，包括：
9、获取上一次训练中所述第一生成网络输出的特征参数，以及上一次训练中的起始点和结束点；
10、将所述上一次训练中所述第一生成网络输出的特征参数作为本次训练的输入；
11、以所述上一次训练中的起始点为原点，按预设半径确定起始点领域，以所述上一次训练中的结束点为原点，按所述预设半径确定结束点领域；
12、根据所述起始点领域进行点位追踪得到追踪起始点，根据所述结束点领域进行点位追踪得到追踪起始点；
13、将所述追踪起始点和所述追踪起始点作为本次训练的输入。
14、可选地，所述将所述上一次训练中所述第一生成网络输出的特征参数作为本次训练的输入，包括：
15、通过损失函数对所述上一次训练中所述第一生成网络输出的特征参数进行验证；
16、在所述损失函数的值小于或等于第二门限的情况下，将所述上一次训练中所述第一生成网络输出的特征参数作为本次训练的输入；
17、其中，所述损失函数与所述上一次训练中所述第一生成网络输出的特征参数，以及上一次训练中的起始点与上一次训练中的结束点之间的步长相关联。
18、可选地，所述通过损失函数对所述上一次训练中所述第一生成网络输出的特征参数进行验证，包括：
19、通过以下公式对所述上一次训练中所述第一生成网络输出的特征参数进行验证：
20、loss(m)＝∑q∈o(s,r)||f(q)-f(q+d)||；
21、
22、其中，loss(m)为所述损失函数，所述f(q)为上一次训练中输入所述第一生成网络的特征参数，用于表示坐标为q的点对应的像素值，所述f(q+d)为上一次训练中所述第一生成网络输出的特征参数，所述d为上一次训练中的起始点与上一次训练中的结束点之间的步长，所述s为上一次训练中的起始点s，所述e为上一次训练中的结束点s，所述o(s,r)表示以所述s为圆心，所述r为半径确定的领域中的点集合。
23、可选地，所述根据所述起始点领域进行点位追踪得到追踪起始点，根据所述结束点领域进行点位追踪得到追踪起始点，包括：
24、通过以下公式确定追踪起始点s和追踪起始点s：
25、
26、其中，所述fn为第n次训练对应的特征参数，所述bn为第n次训练中通过点位追踪得到追踪起始点或追踪结束点，所述a为所述第一起始点或所述第一结束点，所述b为点位追踪得到的追踪起始点或追踪结束点，所述o(a,r)表示以所述a为圆心，所述r为半径确定的领域中的点集合。
27、第二方面，提供了一种图像生成方法，所述方法包括：
28、获取第一图像并在所述第一图像中生成增强现实ar特效；
29、获取用户对所述ar特效的拖拽操作；
30、根据所述第一图像确定特征参数，以及根据所述拖拽操作确定起始点和结束点；
31、将所述特征参数、所述起始点和所述结束点输入图像生成模型，输出第二图像；
32、其中，所述图像生成模型为采用如第一方面所述的图像生成模型训练方法训练得到的图像生成模型。
33、第三方面，提供了一种图像生成模型训练装置，所述装置包括：
34、第一建立模块，用于建立包含第一生成网络、第二生成网络和判别网络的待训练模型；
35、第一训练模块，用于以第一特征参数、第一起始点和第一结束点为输入，对所述待训练模型进行训练得到第一模型；
36、第二训练模块，用于以第二特征参数、第二起始点和第二结束点为输入，对所述第一模型进行迭代训练；
37、第二建立模块，用于在所述第一模型中的判别网络输出的判别值大于或等于第一门限的情况下，根据本次训练后的所述第一生成网络和所述第二生成网络建立训练后的图像生成模型；
38、其中，所述第一生成网络的输出为所述第二生成网络的输入，所述判别网络的输入包括所述第二生成网络的输出和目标图像，所述第一生成网络用于与拖拽方向相关的图像生成处理，所述第二生成网络用于保持与所述目标图像相同风格的图像生成处理，所述判别网络用于确定所述第二生成网络的输出与所述目标图像之间的相似度，所述第一特征参数为预设参数，所述第一起始点和第一结束点是基于用户拖拽操作获取的起始点和结束点，所述第二特征参数为上一次训练中所述第一生成网络输出的特征参数，所述第二起始点为上一次训练中的起始点经点位追踪后得到的起始点，所述第二结束点为上一次训练中的结束点经点位追踪后得到的结束点。
39、可选地，所述第二训练模块，具体用于：
40、获取上一次训练中所述第一生成网络输出的特征参数，以及上一次训练中的起始点和结束点；
41、将所述上一次训练中所述第一生成网络输出的特征参数作为本次训练的输入；
42、以所述上一次训练中的起本文档来自技高网...
【技术保护点】
1.一种图像生成模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述以第二特征参数和第二拖拽参数为输入，对所述第一模型进行迭代训练，包括：
3.根据权利要求2所述的方法，其特征在于，所述将所述上一次训练中所述第一生成网络输出的特征参数作为本次训练的输入，包括：
4.根据权利要求3所述的方法，其特征在于，所述通过损失函数对所述上一次训练中所述第一生成网络输出的特征参数进行验证，包括：
5.根据权利要求2所述的方法，其特征在于，所述根据所述起始点领域进行点位追踪得到追踪起始点，根据所述结束点领域进行点位追踪得到追踪起始点，包括：
6.一种图像生成方法，其特征在于，所述方法包括：
7.一种图像生成模型训练装置，其特征在于，所述装置包括：
8.一种图像生成装置，其特征在于，所述装置包括：
9.一种通信设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至5任一项所述的图像生成模
10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至5任一项所述的图像生成模型训练方法的步骤，或者，执行时实现如权利要求6所述的图像生成方法的步骤。
...【技术特征摘要】
1.一种图像生成模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述以第二特征参数和第二拖拽参数为输入，对所述第一模型进行迭代训练，包括：
3.根据权利要求2所述的方法，其特征在于，所述将所述上一次训练中所述第一生成网络输出的特征参数作为本次训练的输入，包括：
4.根据权利要求3所述的方法，其特征在于，所述通过损失函数对所述上一次训练中所述第一生成网络输出的特征参数进行验证，包括：
5.根据权利要求2所述的方法，其特征在于，所述根据所述起始点领域进行点位追踪得到追踪起始点，根据所述结束点领域进行点位追踪得到追踪起始点，包括：
6.一种图像生成方...
【专利技术属性】
技术研发人员：洪毅强，胡良军，王琦，刘泽凡，罗德海，
申请(专利权)人：咪咕新空文化科技厦门有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。