基于深度神经网络的简笔画绘画过程生成算法制造技术

本发明专利技术设计并实现了一种简笔画引导的绘画过程生成方法。依据目前常用的两大生成模型之一的变分自动编码器(VAE)能够生成数据，同时循环神经网络(RNN)能够学习到基于时间的序列特性，再加上注意力机制能够将重要的信息保留的特性。因此基于变分自动编码器，循环神经网络以及注意力机制设计实现了一种算法，这种算法能够更加准确的生成简笔画的绘画过程序列。本发明专利技术的算法通过注意力机制以及编码器的隐变量状态的先验知识能有效的捕捉到简笔画绘画过程之间的关系，能够生成让人难以识别是生成还是人类绘画的简笔画序列。

【技术实现步骤摘要】
基于深度神经网络的简笔画绘画过程生成算法
本专利技术涉及人工智能，计算机视觉领域，同时也涉及到一些图形图像的
具体涉及自动变分编码器，循环神经网络，注意力机制，混合密度建模的方法。
技术介绍
人工智能领域的研究已经涉及到下棋、送餐、售货等人类生活的方方面面。艺术绘画类也是人工智能领域研究的一个方面，如何智能的教会学生绘画、评估以及纠正学生绘画过程的错误，目前仍然没有一个很好的解决方案。虽然目前已有一些人工智能技术在艺术领域应用的研究，但是并没有基于绘画过程的一个详细的研究。因为在绘画的过程中，人类都是基于绘画的过程进行学习的，在绘画的过程中，老师都是一步一步按照绘画的过程来教学的，而不是像目前人工智能在艺术领域中的直接对整张图片进行处理，比如风格迁移，图像生成，这些得到的结果都是整张图片结果。所以使用人工智能技术生成绘画过程序列的研究及应用仍然是一个值得探索的问题。目前将神经网络应用到绘画艺术领域的研究，主要分为两类。第一类是基于计算机视觉的卷积神经网络，主要是将绘画结果的图像进行特征提取，然后进行转化、检测、搜索之类的应用。这本文档来自技高网...

【技术保护点】
1.基于深度神经网络的简笔画绘画过程生成算法，其特征在于：包括以下步骤：/n(1)对数据集中的svg格式的简笔画图像进行采样处理，处理为序列(Δx,Δy,p)；/n(2)将简笔画过程序列输入到基于双向循环网络的编码器部分，一个是正序输入，一个是逆序输入；/n(3)将编码器得到的final_state进行两次转换，得到隐变量Z和解码器的初始状态h0；/n(4)注意力机制的使用得出注意力的值C

【技术特征摘要】
1.基于深度神经网络的简笔画绘画过程生成算法，其特征在于：包括以下步骤：
(1)对数据集中的svg格式的简笔画图像进行采样处理，处理为序列(Δx,Δy,p)；
(2)将简笔画过程序列输入到基于双向循环网络的编码器部分，一个是正序输入，一个是逆序输入；
(3)将编码器得到的final_state进行两次转换，得到隐变量Z和解码器的初始状态h0；
(4)注意力机制的使用得出注意力的值Ct；
(5)将编码器网络的隐变量Z，注意力机制的结果Ct同时做为解码器的输入进行训练。
(6)将解码器网络输出，然后将解码器网络的输出映射为维度为(-1,123)的序列，其中-1为不指定大小，然后输入到混合密度网络中对(Δx,Δy,p)进行建模，最后输出为简笔画绘画过程的序列。


2.根据权利要求1所述的基于深度神经网络的简笔画绘画过程生成算法，其特征在于：步骤(1)中所述的采样处理，处理为序列(Δx,Δy,p)，其中的(Δx,Δy)表示采样的这一个点距离上一个点的x坐标和y坐标之间的间隔，p代表是否一笔的结束。


3.根据权利要求1所述的基于深度神经网络的简笔画绘画过程生成算法，其特征在于：经过步骤(2)中所述编码器部分获得简笔画图像特征以及绘画过程序列的各个时刻经过循环神经网络之后的输出output，大小为(batch_size,timesteps,rnn_size*2)，最后一个时刻对应的循环神经网络单元的输出状态final_state,大小为(batch_size,rnn_size*2)，乘以2的原因是因为编码器部分是双向循环网络。其中的batch_size为训练过程中每次输入多少个简笔画过程序列，timesteps代表一张简笔画对应的过程序列的长度，rnn_size指的...

【专利技术属性】
技术研发人员：宋桂岭，
申请(专利权)人：江苏元图信息技术有限公司，
类型：发明
国别省市：江苏;32