System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 图像绘制方法、模型训练方法、装置、设备及存储介质制造方法及图纸_技高网
当前位置: 首页 > 专利查询>深圳大学专利>正文

图像绘制方法、模型训练方法、装置、设备及存储介质制造方法及图纸

技术编号:40124750 阅读:4 留言:0更新日期:2024-01-23 21:12
本公开实施例提供一种图像绘制方法、模型训练方法、装置及存储介质,该方法包括:获取待演示绘画步骤的目标图像;在多层次强化学习绘画模型中的绘画位置选择网络中,基于用于绘制目标图像的画布,在目标图像上进行区域选择,得到区域位置信息;基于区域位置信息,在目标图像上截取参考图像;通过多层次强化学习绘画模型中的绘画网络,生成参考图像对应的笔画参数,并基于笔画参数在画布上进行笔画渲染;对通过位置选择网络、绘画网络进行的绘画过程进行显示;重复多次执行区域选取、笔画参数生成、笔画渲染和绘画过程显示,直至在画布上绘制完成目标图像上的图像内容。从而,模仿人类的绘画过程,提高利用人工智能技术进行绘画的可解释性。

【技术实现步骤摘要】

本公开实施例涉及计算机,尤其涉及一种图像绘制方法、装置、设备及存储介质。


技术介绍

1、近年来,计算机辅助艺术创作取得了很大的进展,降低了艺术创作的难度,使得非专业人员也能够创作出艺术作品。特别地,随着人工智能的发展,非专业人员可以通过人工智能进行绘画作品的创作,比如通过人工智能技术将自己拍摄的自然图像转换为艺术图像。

2、在绘画作品创作的相关技术中,将绘画作品的创作过程定义为通过前馈神经网络进行逐像素的图像映射过程,基于该定义,多次训练前馈神经网络,使得前馈神经网络具备生成接近真实绘画作品的图像的能力,再将训练好的前馈神经网络应用于绘画作品的创作。

3、然而,通过前馈神经网络进行逐像素的图像映射,不同于人类一笔一笔的绘画创作过程,不符合人类绘画习惯,绘画过程的可解释性较低。


技术实现思路

1、本公开实施例提供一种图像绘制方法、模型训练方法、装置、设备及存储介质,以解决人工智能绘画过程的可解释性较低的问题。

2、第一方面,本公开实施例提供一种图像绘制方法,包括:

3、获取待演示绘画步骤的目标图像;

4、在多层次强化学习绘画模型中的绘画位置选择网络中,基于用于绘制所述目标图像的画布,在所述目标图像上进行区域选择,得到区域位置信息;

5、基于所述区域位置信息,在所述目标图像上截取参考图像;

6、通过所述多层次强化学习绘画模型中的绘画网络,生成所述参考图像对应的笔画参数,并基于所述笔画参数在所述画布上进行笔画渲染;

7、对通过所述绘画位置选择网络、所述绘画网络进行的绘画过程进行显示;

8、重复多次执行区域选取、笔画参数生成、笔画渲染和绘画过程显示,直至在所述画布上绘制完成所述目标图像上的图像内容。

9、第二方面,本公开实施例提供一种模型训练方法,包括:

10、获取训练图像;

11、在多层次强化学习绘画模型中的绘画位置选择网络中,基于用于绘制所述训练图像的画布,在所述训练图像上进行区域选择,得到区域位置信息;

12、基于所述区域位置信息,在所述训练图像上截取参考图像;

13、通过所述多层次强化学习绘画模型中的绘画网络,生成所述参考图像对应的笔画参数,并基于所述笔画参数在所述画布上进行笔画渲染;

14、确定所述笔画参数对应的奖励值,并基于所述奖励值调整所述绘画网络的参数,得到训练后的绘画网络;

15、重复多次执行区域选取、笔画参数生成和笔画渲染,直至在所述画布上绘制完成所述训练图像上的图像内容;

16、根据所述画布与所述训练图像之间的差异和所有参考图像占所述训练图像的比例,确定所述绘画位置选择网络的损失值;

17、根据所述绘画位置选择网络的损失值,对所述绘画位置选择网络进行参数调整,得到训练后的绘画位置选择网络。

18、第三方面,本公开实施例提供一种图像绘制装置,包括:

19、图像获取单元,用于获取待演示绘画步骤的目标图像;

20、区域选择单元,用于在多层次强化学习绘画模型中的绘画位置选择网络中,基于用于绘制所述目标图像的画布,在所述目标图像上进行区域选择,得到区域位置信息;

21、区域截图单元,用于基于所述区域位置信息,在所述目标图像上截取参考图像;

22、绘画渲染单元,用于通过所述多层次强化学习绘画模型中的绘画网络,生成所述参考图像对应的笔画参数,并基于所述笔画参数在所述画布上进行笔画渲染;

23、绘画显示单元,用于对通过所述绘画位置选择网络、所述绘画网络进行的绘画过程进行显示;

24、循环单元,用于重复多次执行区域选取、笔画参数生成、笔画渲染和绘画过程显示,直至在所述画布上绘制完成所述目标图像上的图像内容。

25、第四方面,本公开实施例提供一种模型训练装置,包括:

26、训练数据获取单元,用于获取训练图像;

27、区域选择单元,用于在多层次强化学习绘画模型中的绘画位置选择网络中,基于用于绘制所述训练图像的画布,在所述训练图像上进行区域选择,得到区域位置信息;

28、区域截图单元,用于基于所述区域位置信息,在所述训练图像上截取参考图像;

29、绘画渲染单元,用于通过所述多层次强化学习绘画模型中的绘画网络,生成所述参考图像对应的笔画参数,并基于所述笔画参数在所述画布上进行笔画渲染;

30、绘画网络训练单元,用于确定所述笔画参数对应的奖励值,并基于所述奖励值调整所述绘画网络的参数,得到训练后的绘画网络;

31、循环单元,用于重复多次执行区域选取、笔画参数生成和笔画渲染,直至在所述画布上绘制完成所述训练图像上的图像内容;

32、损失值确定单元,用于根据所述画布与所述训练图像之间的差异和所有参考图像占所述训练图像的比例,确定所述绘画位置选择网络的损失值;

33、位置选择网络训练单元,用于根据所述绘画位置选择网络的损失值,对所述绘画位置选择网络进行参数调整,得到训练后的绘画位置选择网络。

34、第五方面,本公开实施例提供一种电子设备,包括:至少一个处理器和存储器;所述存储器存储计算机执行指令;所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上第一方面所述的图像绘制方法或者如第二方面所述的模型训练方法。

35、第六方面,本公开实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一方面所述的图像绘制方法或者如第二方面所述的模型训练方法。

36、第七方面,本公开实施例提供了一种计算机程序产品,所述计算机程序产品包含计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一方面所述的图像绘制方法或者如第二方面所述的模型训练方法。

37、本公开实施例提供的图像绘制方法、模型训练方法、装置、设备及存储介质,提出了通过绘画位置选择网络和绘画网络,模拟人类的绘画过程,以提高绘画过程的可解释性。先通过绘画位置选择网络,在目标图像上选择区域位置信息,基于区域位置信息,在目标图像上截取用作绘画参考的参考图像,类似于人类参照原图的局部区域进行绘画;再通过绘画网络,生成参考图像对应的笔画参数,基于笔画参数在画布上进行笔画渲染,类似于人类一笔一笔的绘画过程。如此,通过多层次的强化学习模型(绘画位置选择网络和绘画网络)实现的绘画过程与人类绘画过程更为贴合,提高了通过人工智能技术实现的绘画过程的可解释性。

本文档来自技高网...

【技术保护点】

1.一种图像绘制方法,其特征在于,包括:

2.根据权利要求1所述的图像绘制方法,其特征在于,所述在多层次强化学习绘画模型中的绘画位置选择网络中,基于用于绘制所述目标图像的画布,在所述目标图像上进行区域选择,得到区域位置信息,包括:

3.根据权利要求2所述的图像绘制方法,其特征在于,所述对所述画布、所述目标图像、所述历史位置集合以及所述历史位置隐状态进行特征融合和特征编码,生成第i次区域选择中的区域位置隐状态,包括:

4.根据权利要求2所述的图像绘制方法,其特征在于,所述基于第i次区域选择中的区域位置隐状态,在所述目标图像上进行区域选择,得到第i次区域选择中选择的区域位置信息,包括:

5.根据权利要求1至4中任一项所述的图像绘制方法,其特征在于,所述通过所述多层次强化学习绘画模型中的绘画网络,生成所述参考图像对应的笔画参数,并基于所述笔画参数在所述画布上进行笔画渲染,包括:

6.一种模型训练方法,其特征在于,包括:

7.一种图像绘制装置,其特征在于,包括:

8.一种模型训练装置,其特征在于,包括:</p>

9.一种电子设备,其特征在于,包括:至少一个处理器和存储器;

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如权利要求1至5任一项所述的图像绘制方法或者如权利要求6所述的模型训练方法。

...

【技术特征摘要】

1.一种图像绘制方法,其特征在于,包括:

2.根据权利要求1所述的图像绘制方法,其特征在于,所述在多层次强化学习绘画模型中的绘画位置选择网络中,基于用于绘制所述目标图像的画布,在所述目标图像上进行区域选择,得到区域位置信息,包括:

3.根据权利要求2所述的图像绘制方法,其特征在于,所述对所述画布、所述目标图像、所述历史位置集合以及所述历史位置隐状态进行特征融合和特征编码,生成第i次区域选择中的区域位置隐状态,包括:

4.根据权利要求2所述的图像绘制方法,其特征在于,所述基于第i次区域选择中的区域位置隐状态,在所述目标图像上进行区域选择,得到第i次区域选择中选择的区域位置信息,包括:

5....

【专利技术属性】
技术研发人员:张小燕徐广鑫
申请(专利权)人:深圳大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1