面向交互的可编辑艺术图像生成系统及方法技术方案

一种面向交互的可编辑艺术图像生成系统及方法，包括：图像采集模块、解耦的SVG几何和纹理重建模块和SVG解耦式编辑模块，本发明专利技术不需要丰富的经验和技术知识进行建模，而是通过多种图像获取方式得到素材图像并进行解耦式的几何矢量与参数纹理重建，建立起设计的基础，从而可以交互式地对图像中各元素的几何与纹理进行设计和编辑。与现有的图像矢量化重建及编辑技术相比，本发明专利技术在时间效率更高的同时，大大减少了矢量冗余，使用较少的矢量即可重建出更清晰、保真度更高的图像，从而更加方便后续的编辑与设计。便后续的编辑与设计。便后续的编辑与设计。

【技术实现步骤摘要】
面向交互的可编辑艺术图像生成系统及方法


[0001]本专利技术涉及的是一种图像处理领域的技术，具体是一种面向交互的可编辑艺术图像生成系统及方法。

技术介绍

[0002]近年来，艺术图像设计与生成系统在广告、游戏、电影以及其他多媒体领域越来越受到欢迎。现有的矢量化艺术图像生成方法主要有两点不足。其一，需要设计师具备丰富的经验和技术知识，以手动或半手动的方式创建和编辑模型。其二，图像中不仅包含适合矢量化表示的形状结构，还包含并不适合矢量化表示的复杂纹理，而传统的图像矢量化表征无法表达复杂纹理，导致图像矢量化重建不够精细，使得后续的编辑变得非常低效。

技术实现思路

[0003]本专利技术针对现有技术存在的上述不足，提出一种面向交互的可编辑艺术图像生成系统及方法，不需要丰富的经验和技术知识进行建模，而是通过多种图像获取方式得到素材图像并进行解耦式的几何矢量与参数纹理重建，建立起设计的基础，从而可以交互式地对图像中各元素的几何与纹理进行设计和编辑。与现有的图像矢量化重建及编辑技术相比，本专利技术在时间效率更高的同时，大大减少了矢量冗余，使本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向交互的可编辑艺术图像生成系统，其特征在于，包括：图像采集模块、解耦的SVG几何和纹理重建模块和SVG解耦式编辑模块，其中：图像采集模块采集并对原始图像进行预处理，解耦的SVG几何和纹理重建模块将预处理后的图像通过两个并行的神经网络分别重建得到参数化的矢量图形和稀疏网格点的纹理特征及对应的可微的隐式表征神经网络参数后，将两者合并光栅化处理，SVG解耦式编辑模块显示光栅化处理后的图像并对图像几何与纹理特征进行独立分离编辑；所述的预处理包括：归一化处理和缩放处理；所述的解耦的SVG几何和纹理重建模块包括：几何形状重建单元、图像纹理重建单元，其中：几何形状重建单元根据输入的图像，进行序列化处理并输入序列预测网络，得到对应的参数化矢量图形集合；图像纹理重建单元根据输入的图像信息，建立稀疏化的2D网格存储图像的纹理特征，并通过可微的隐式表征神经网络，得到纹理特征和图像像素值的映射关系；所述的两个并行的神经网络是指：序列预测网络和可微的隐式表征神经网络。2.根据权利要求1所述的面向交互的可编辑艺术图像生成系统，其特征是，所述的序列预测网络包括：Transformer网络，该Transformer网络以图像Token和作为Query向量的经过预训练的一组固定向量为输入，得到一组参数化的矢量图形序列。3.根据权利要求1所述的面向交互的可编辑艺术图像生成系统，其特征是，所述的可微的隐式表征神经网络包括：一组多分辨率的稀疏网格、样条插值单元以及多层感知机单元，其中：一组多分辨率的稀疏网格分别将图像划分为多尺度的规则区域，对应的特征向量存储在每个网格的中心；样条插值单元以图像中的坐标及稀疏网格特征为输入，进行样条插值处理，获得对应坐标处的特征向量；多层感知机单元以特征向量为输入，输出对应坐标位置的预测像素值。4.基于权利要求1
‑
3中任一所述系统的面向交互的可编辑艺术图像生成方法，其特征在于，通过使用参数化的矢量图形描述原始图像的几何形状；通过序列预测网络得到对应的参数化矢量图形集合；使用稀疏化的2D网格存储图像的纹理特征，并通过可微的隐式表征神经网络的参数存储纹理特征与图像颜色的映射关系；在图像像素空间通过样条插值和可微的隐式表征神经网络进行图像纹理重建；将几何形状与纹理分布叠加后经透明度光栅化处理得到完整的重建图像，并可基于重建结果对图像中的几何形状和纹理特征进行解耦式分离编辑。5.根据权利要求4所述的方...

【专利技术属性】
技术研发人员：倪冰冰，陈烨，史睿，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：