一种基于深度学习的流体艺术控制方法技术

本发明专利技术公开一种一种基于深度学习的流体艺术控制方法，包括：生成阶段，将烟雾的原始密度场d经过具有跳跃连接的自编码器网络生成合成密度场渲染阶段，将原始密度场d经过可微渲染器生成多角度的原始渲染图像I

【技术实现步骤摘要】
一种基于深度学习的流体艺术控制方法


[0001]本专利技术涉及计算机图形学和虚拟仿真领域，主要涉及流体模拟领域。具体来说，本专利技术提供了一种基于深度学习的流体艺术控制方法。

技术介绍

[0002]流体艺术控制是流体形态引导和合成的重要应用之一，是流体模拟领域的一种重要数字信息生产形式。针对流体仿真场景，流体的艺术控制使流体不仅保留物理运动规律和流动特性，而且产生特定艺术风格的湍流细节和纹理特征。它对符合真实世界的流体进行艺术再加工，改变流体结构和整体视觉效果。流体的艺术控制在诸如电影特效制作、电子游戏生产等方面均有所应用，对从事数字信息生产和艺术加工的工作者有较大意义，方便相关从业者提高创作效率。
[0003]通常，流体的艺术控制分为两个任务：1)流体控制：在保留流体运动特性的同时，实现对局部湍流细节结构的改变；2)艺术编辑：湍流细节产生特定的艺术风格。流体艺术性控制的关键之一是计算效率较低。早期的流体控制方法主要研究如何根据关键帧或者通过流体形态引导和合成的方式生成具有艺术风格的流体。这些后处理方法要么需要手工绘制，要么需要进行累次迭代优化，消耗艺术工作者大量的精力和时间。在基于深度学习的方法中，流体艺术性控制的另一关键点是没有预训练三维物体分类网络提取流体特征来表征艺术风格。图像领域中通常用预训练VGG(Visual Geometry Group)网络提取图像的高级特征，表征图像艺术风格。因此，没有定性指标对流体艺术风格进行量化，造成深度学习在流体艺术控制任务上的应用困难。
[0004]目前大多数流体艺术性控制方法均采用累次迭代进行计算。在流体控制方面，TempoGAN[1]应用于流体的超分辨率任务，通过设计的具有时空判别器的GAN网络和相应的损失函数，改善低精度流体在对应高精度下的模拟效果，提高计算效率。具有循环链条结构的GAN(Generative Adversarial Networks)网络[2]则通过隐空间编码物理参数，用于流体密度场反推物理运动状态的任务中。基于数据驱动的三维流体特征提取方法[3]则通过卷积神经网络计算复能量矩阵特征。尽管这些方法均能够提高运行效率，同时生成相对详细的湍流细节，但它们仅能生成具有真实感的流体运动状态。而针对非真实感的艺术性流体生成，仍主要依赖传统小波湍流等迭代优化法进行控制，计算效率并没有显著提升。一些基于数据驱动的恢复流体表面的算法[4]虽然能够恢复流体表面之间的动作，获得更自然的流体表面，但也仅适用于表面的重建行为。
[0005]在艺术编辑方面，最近的一些研究也涉及到专门的艺术控制过程。基于风格化关键帧动画的算法[5]通过手绘流体艺术性关键帧，使烟雾在指定时间步内逐渐过渡到关键帧的流体形态，手绘过程耗费大量的时间和精力。基于传输的烟雾风格迁移算法[6]则利用预训练VGG网络提取风格图像的风格特征，指导欧拉网格下流体的速度场合成。拉格朗日流体风格迁移算法[7]则采用类似的技术在SPH(Smoothed Particle Hydrodynamics)粒子上实现风格化属性。然而，这些方法的特征提取方式回传梯度相对困难，仅适用于迭代优化计
算，运行效率低。
[0006]此外，图像风格迁移领域与流体艺术控制密切相关。风格迁移将预训练VGG网络上的过滤响应作为目标提取图像内容，将图像分解为多个层级。一方面保留内容图像的语义结构，一方面将风格图像在卷积网络下的特征统计分布作为优化目标。最初，大量针对单一风格的前馈神经网络用于提高风格化效率。随着技术发展，针对多风格的网络模型被提出，如AdaIN[8]利用自适应归一化调整内容图像的均值和方差，WCT[9]利用协方差进行白化和着色过程，SANet[10]利用软注意力机制实现多风格迁移，一些保留更丰富的语义信息的技术[11]也被提出来提高风格化质量。
[0007]因此，现有的方法中仍然存在以下局限性：1)流体的艺术性控制仍主要依赖迭代优化，运行效率较低；2)流体的艺术编辑主要依赖十分耗费精力的手工绘制，或者预训练VGG网络空间提取风格特征的方法，梯度传播过程较为困难。针对以上问题，本专利技术在基于传输的烟雾风格迁移算法和图像风格迁移这两类方法的基础上，不仅大大增加了流体艺术控制的运行效率，同时新的风格特征提取方式为艺术生成质量提供了有效保障。
[0008]参考文献：
[0009][1]Xie Y,Franz E,Chu M,et al.Tempogan:Atemporally coherent,volumetric GAN for super
‑
resolution fluid flow.ACM Transactions on Graphics,2018,37(4):95:1
‑
95:15.
[0010][2]Chu M,Thuerey N,Seidel H P,et al.Learning meaningful controls for fluids.ACM Transactions on Graphics,2021,40(4):100:1
‑
100:13.
[0011][3]张锐.基于数据驱动的流体特征提取方法与应用[J].上海交通大学,2020.
[0012][4]朱青,李琨,齐娜.一种基于数据驱动的流体模拟方法[P].北京市:CN111460741A,2020
‑
07
‑
28.
[0013][5]Browning M,Barnes C,Ritter S,et al.Stylized keyframe animation of fluid simulations.In Proceedings of the Workshop on Non
‑
Photorealistic Animation and Rendering.2014:63
‑
70.
[0014][6]Kim B,Azevedo V C,Gross M,et al.Transport
‑
based neural style transfer for smoke simulations.arXiv preprint arXiv:1905.07442,2019.
[0015][7]Kim B,Azevedo V C,Gross M,et al.Lagrangian neural style transfer for fluids.ACM Transactions on Graphics,2020,39(4):52:1
‑
52:10.
[0016][8]Huang X,Belongie S.Arbitrary style transfer in real
‑
time with adaptive instance normalization.In Proceedings of the IEEE International C本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的流体艺术控制方法，其特征在于，包括：生成阶段，将烟雾的原始密度场d经过具有跳跃连接的自编码器网络生成合成密度场渲染阶段，将原始密度场d经过可微渲染器生成多角度的原始渲染图像I
θ
，而合成密度场经过可微渲染器生成多角度的合成渲染图像特征提取阶段，原始渲染图像I
θ
和用户定义的风格图像I
s
经过风格迁移网络SANet生成参考渲染图像I
gt
，作为合成渲染图像的真实值；通过预训练的VGG网络分别提取出参考渲染图像I
gt
、合成渲染图像和风格图像I
s
对应的特征；最终，将提取出的特征参与损失函数的计算，通过调整合成渲染图像的特征，使合成渲染图像的特征分别匹配参考渲染图像和风格图像的特征，实现对流体艺术生成效果的控制。2.根据权利要求1所述一种基于深度学习的流体艺术控制方法，其特征在于，生成阶段中自编码器网络是通过编码器与解码器各自对应的特征层跳跃连接组成，编码器与解码器结构对称；具体的，原始密度场首先经过若干个卷积层和最大池化层进行3次下采样编码，然后经过一...

【专利技术属性】
技术研发人员：杨渊，刘世光，徐庆，
申请(专利权)人：天津大学，
类型：发明
国别省市：