【技术实现步骤摘要】
本专利技术涉及计算机领域，尤其涉及一种光影图案生成方法、装置、设备及存储介质。
技术介绍
1、随着数字图像处理技术的发展，已经开发出了多种图片制作工具。例如，漫画师可以使用专业绘画工具来在电子画布上绘制线稿图，并且可以使用图像处理工具来辅助完成漫画上色，等等。然而，读者对于人物图片的审美要求不断提高，例如，读者可能并不满意具有单一着色效果的人物图片，并且期望可以看到具有光影效果的人物图片。
2、以往的光影图片生成方法需针对特定物体，如生成图片主体为人像，动物等，需要单独对模型进行训练，训练时间长且复杂，光影图案生成准确率低。
技术实现思路
1、本专利技术的主要目的在于解决光影图案生成准确率低的技术问题。
2、本专利技术第一方面提供了一种光影图案生成方法，所述光影图案生成方法包括：
3、接收光影图案生成请求，根据所述光影图案生成请求，获取目标图文；
4、根据所述目标图文，制作掩膜图案，所述掩膜图案用于确认图案光影位置；
5、获取输入的文字描述，通过clip编码器，将所述文字描述转换为文本向量作为生成控制条件，用于控制生成目标光影效果；
6、随机生成噪音图像，根据所述掩膜图案、所述文本向量及所述噪音图像，通过扩散模型结合controlnet控制网络迭代去噪，输出所述目标图文对应的光影图案。
7、可选的，在本专利技术第一方面的第一种实现方式中，所述根据所述目标图文，制作掩膜图案，所述掩膜图案用于确认图案光
8、判断所述目标图文是文字或者图片；
9、若所述目标图文是文字，则根据所述目标图文，制作文字掩膜图案；
10、若所述目标图文是图片，则根据所述目标图文，制作图片掩膜图案。
11、可选的，在本专利技术第一方面的第二种实现方式中，所述若所述目标图文是文字，则根据所述目标图文，制作文字掩膜图案包括：
12、若所述目标图文是文字，则通过python的pil库，绘制得到背景图，所述背景图为全黑图片；
13、根据所述目标图文，计算所述文字在所述背景图的相对坐标；
14、设置字体属性，根据所述相对坐标及所述字体属性，将所述文字写入到所述背景图中的相对位置，制作得到文字掩膜图案。
15、可选的，在本专利技术第一方面的第三种实现方式中，所述若所述目标图文是图片，则根据所述目标图文，制作图片掩膜图案包括：
16、若所述目标图文是图片，则通过训练的u2-net网络，对所述图片的背景及前景进行分割；
17、通过python的pil库，绘制得到背景图；
18、根据分割后的前景及所述背景图，制作得到图片掩膜图案。
19、可选的，在本专利技术第一方面的第四种实现方式中，光影图案生成方法还包括：
20、获取训练数据集及初始化参数；
21、根据所述训练数据集及所述初始化参数，对初始u2-net网络进行训练；
22、通过优化器来更新所述初始化参数，得到最优参数，以获取训练的u2-net网络。
23、可选的，在本专利技术第一方面的第五种实现方式中，所述随机生成噪音图像，根据所述掩膜图案、所述文本向量及所述噪音图像，通过扩散模型结合controlnet控制网络迭代去噪，输出所述目标图文对应的光影图案包括：
24、随机生成噪音图像，将所述掩膜图案、所述文本向量及所述噪音图像传入到扩散模型的潜空间，在所述潜空间进行扩散；
25、在扩散过程中迭代去噪，并通过controlnet控制网络控制光影生成方向；
26、将所述潜空间中的输出结果，经过解码器解码，输出所述目标图文对应的光影图案。
27、可选的，在本专利技术第一方面的第六种实现方式中，所述扩散模型中包括u-net模块；
28、在扩散中过程中迭代去噪，并通过controlnet控制网络控制光影生成方向包括：
29、对所述u-net模块的u-net模块编码器和u-net模块解码器进行条件训练，得到controlnet模型；
30、将所述生成控制条件，经过所述controlnet模型的零卷积，传入所述扩散模型，控制光影生成方向；
31、通过所述扩散模型，在扩散过程中迭代去噪，输出所述目标图文对应的光影图案。
32、本专利技术第二方面提供了一种光影图案生成设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述光影图案生成设备执行上述的光影图案生成方法。
33、本专利技术的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的光影图案生成方法。
34、在本专利技术实施例中，接收光影图案生成请求，根据所述光影图案生成请求，获取目标图文；根据所述目标图文，制作掩膜图案，所述掩膜图案用于确认图案光影位置；获取输入的文字描述，通过clip编码器，将所述文字描述转换为文本向量作为生成控制条件，用于控制生成目标光影效果；随机生成噪音图像，根据所述掩膜图案、所述文本向量及所述噪音图像，通过扩散模型结合controlnet控制网络迭代去噪，输出所述目标图文对应的光影图案。本专利技术中，首先制作掩膜图案，然后通过clip编码器，将文字描述转换为文本向量作为生成控制条件，再通过扩散模型结合controlnet控制网络迭代去噪，输出目标图文对应的光影图案，能通过扩散模型及controlnet控制网络，学习局部和全局的特征来逐渐生成细节丰富的图像，提高光影图案生成准确率。
本文档来自技高网...【技术保护点】
1.一种光影图案生成方法，其特征在于，所述光影图案生成方法包括：
2.根据权利要求1所述的光影图案生成方法，其特征在于，所述根据所述目标图文，制作掩膜图案，所述掩膜图案用于确认图案光影位置包括：
3.根据权利要求2所述的光影图案生成方法，其特征在于，所述若所述目标图文是文字，则根据所述目标图文，制作文字掩膜图案包括：
4.根据权利要求2所述的光影图案生成方法，其特征在于，所述若所述目标图文是图片，则根据所述目标图文，制作图片掩膜图案包括：
5.根据权利要求4所述的光影图案生成方法，其特征在于，还包括：
6.根据权利要求1所述的光影图案生成方法，其特征在于，所述随机生成噪音图像，根据所述掩膜图案、所述文本向量及所述噪音图像，通过扩散模型结合ControlNet控制网络迭代去噪，输出所述目标图文对应的光影图案包括：
7.根据权利要求6所述的光影图案生成方法，其特征在于，所述扩散模型中包括U-Net模块；
8.一种光影图案生成装置，其特征在于，所述光影图案生成装置包括：
9.一种光影图案生成
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的光影图案生成方法。
...【技术特征摘要】
1.一种光影图案生成方法，其特征在于，所述光影图案生成方法包括：
2.根据权利要求1所述的光影图案生成方法，其特征在于，所述根据所述目标图文，制作掩膜图案，所述掩膜图案用于确认图案光影位置包括：
3.根据权利要求2所述的光影图案生成方法，其特征在于，所述若所述目标图文是文字，则根据所述目标图文，制作文字掩膜图案包括：
4.根据权利要求2所述的光影图案生成方法，其特征在于，所述若所述目标图文是图片，则根据所述目标图文，制作图片掩膜图案包括：
5.根据权利要求4所述的光影图案生成方法，其特征在于，还包括：
6.根据权利要求1所述的光影图案生成方法，其特征在于，所述随机生成噪音图像，根据所述掩...
【专利技术属性】
技术研发人员：石敏煊，
申请(专利权)人：上海积图科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。