一种基于辅助网格的图片特定区域渲染系统及渲染方法技术方案

本发明专利技术公开了一种基于辅助网格的图片特定区域渲染系统及渲染方法，所述系统包括：带辅助网格的模版拍摄模块网格目标检测模块；网格关键点检测模块；网格去除模块；纹理和光影效果提取模块；渲染模块。本发明专利技术通过先进的深度学习方法对人工构建形变参数和渲染图层的特定区域的渲染方案进行了优化，基本代替了传统的机械的人力劳动，显著提高了建模效率和建模精度。该方法通过模型自动识别网格点位置获得形变参数从而对渲染图案进行扭曲，通过提取纹理和光影效果增强渲染的真实感和3D效果，实现了实时建模和实时渲染的效果，在设计效果可视化领域具有很大的应用前景。视化领域具有很大的应用前景。视化领域具有很大的应用前景。

【技术实现步骤摘要】
一种基于辅助网格的图片特定区域渲染系统及渲染方法


[0001]本专利技术属于图片渲染和机器视觉
，尤其是涉及一种基于辅助网格的图片特定区域渲染系统及渲染方法。

技术介绍

[0002]渲染技术是将设计好的纹理、材质和光影等参数渲染到图片中的指定区域的技术，被广泛应用于设计领域。设计师通过渲染技术快速生成真实场景下的图片效果，并基于效果反馈进行迭代优化，可极大的提升设计效率，缩短产品迭代周期。目前的渲染技术主要分为两种：一种是基于3D建模的图片渲染技术，该技术建立三维场景下的网格模型，通过纹理贴图和计算光线反射和折射的参数进行渲染，渲染效果较好，然而建模周期长、资源消耗较大；另一种是基于2D的图片渲染技术，该技术通过对纹理进行2维空间的扭曲和光影效果的叠加，达到较好的肉眼渲染效果，然而该技术主要通过人工方法，同样具有建模耗时长、效率低的问题。

技术实现思路

[0003]本专利技术旨在解决上述技术问题，提供一种基于辅助网格的图片特定区域渲染系统及渲染方法。
[0004]为了达到上述目的，本专利技术采用如下技术方案：一种基于辅助网格的图片特定区域渲染系统，包括：模版拍摄模块、网格目标检测模块、网格关键点检测模块、网格去除模块、纹理和光影效果提取模块、渲染模块；所述模版拍摄模块用于拍摄物品作为渲染模版，物品的特定区域印制有设计好的网格；所述网格目标检测模块用于对图片进行网格检测，获取网格的外接矩形参数和网格4个顶点的坐标信息；所述网格关键点检测模块通过获取的外接矩形参数将网格区域从图片中裁剪出来，输入到网格交点检测模型获得所有横轴和纵轴的分割掩码，并对其两两求交点，获取关键点坐标信息；所述网格去除模块通过获取的外接矩形参数将网格区域从图片中裁剪出来，输入到图像生成网络获得去除网格的图片；所述纹理和光影效果提取模块用于将图片输入到纹理和光影提取模型中，获取图片的纹理和光影信息；所述渲染模块用于将输入的图案与设置的图案模版对齐，根据格关键点检测模块 获取的关键点参数计算形变参数并对图案进行扭曲，然后将其与光影和纹理信息进行正片叠底操作，最后将该图案替换点图片对应的网格区域。
[0005]一种基于辅助网格的图片特定区域渲染方法，包括以下步骤：S1：设计辅助网格，将辅助网格打印在待渲染的物品的指定区域，将生产好的成品交由摄影师拍摄成待渲染模版；S2：构建网格检测模型，通过网格检测模型获取输入图片中网格的最大外接矩形和四个顶点坐标；S3：构建网格交点检测模型，通过获取的外接矩形参数将网格区域从图片中裁剪
出来，输入到网格交点检测模型获得所有横轴和纵轴的分割掩码，并对其两两求交点，获取关键点坐标信息；S4：构建网格去除模型，通过网格去除模型获取输入图片中去除网格后的效果图；S5：构建纹理和光影效果提取模型，通过纹理和光影效果提取模型获取输入图片中的纹理和光影效果图片；S6：构建渲染模块，将输入的图案与设置的图案模版对齐，根据S3 获取的关键点参数计算形变参数并对图案进行扭曲，然后将其与光影和纹理信息进行正片叠底操作，最后将该图案替换掉原图片对应的网格区域。
[0006]作为优选，S2中，构建网格检测模型包括以下步骤：获取基于人工标注的网格检测样本；获取基于图像合成的网格检测样本；对网格检测样本进行预处理，缩放到固定尺寸，做为训练样本，其对应的标签是网格在图像上的矩形位置的中心点坐标和宽高、四个顶点的坐标和默认宽高；设置训练条件后进行训练，训练结束后保存网格检测模型。
[0007]作为优选，S3中，构建网格交点检测模型包括以下步骤：获取基于图像合成的网格线分割掩码样本；对RGB网格图片样本进行预处理，缩放到固定尺寸，其对应的标签为网格线的分割掩码；设置训练条件后进行训练，训练结束后保存网格交点检测模型。
[0008]作为优选，S4中，构建网格去除模型包括以下步骤：获取基于图像合成的网格去除样本；对RGB网格图片样本进行预处理，缩放到固定尺寸，其对应的标签为无网格的RGB图片；设置训练条件后进行训练，训练结束后保存网格去除模型。
[0009]作为优选，S5中，构建纹理和光影效果提取模型包括以下步骤：纹理和光影效果提取模型通过图片人工标注；对RGB网格图片样本进行预处理，缩放到固定尺寸，其对应的标签为4通道的RGBA图片，该图片包含了图片的纹理和光影信息；设置训练条件后进行训练，训练结束后保存纹理和光影效果提取模型。
[0010]采用上述技术方案后，本专利技术具有如下优点：本专利技术开发了一种新的基于2D的图片渲染技术，通过结合深度学习和计算机视觉技术，代替人工完成网格扭曲参数的预测和光影效果的提取，极大的提高了效率。本专利技术使用深度学习和机器视觉技术，开发了关键点提取模型、纹理和光影效果提取模型，使用计算机模拟并替代了人工操作，极大的缩短了建模周期，且减少了人工建模导致的渲染与实际生产的误差，提高了渲染精度；并且该渲染系统只在建模时需要消耗一定的GPU资源，渲染时仅使用少量的CPU资源即可。
附图说明
[0011]图1为一种基于辅助网格的图片特定区域渲染系统的结构示意图；图2为设计的网格图片；图3为网格检测模型训练流程图；图4为网格交点检测模型训练流程图；图5为网格去除模型训练流程图；图6为纹理和光影效果提取模型训练流程图；图7为步骤S6的流程图。
具体实施方式
[0012]以下结合附图及具体实施例，对本专利技术作进一步的详细说明。
[0013]如图1所示，一种基于辅助网格的图片特定区域渲染系统，包括：模版拍摄模块、网格目标检测模块、网格关键点检测模块、网格去除模块、纹理和光影效果提取模块、渲染模块。
[0014]模版拍摄模块用于拍摄物品作为渲染模版，如图2所示，物品的特定区域印制有设计好的网格。生产中心将开发人员设计的网格打印到物品的特定区域，然后交付由专业的拍摄人员拍摄成图片。
[0015]特别的，如图3所示，设计的网格的保证每相邻网格线的颜色各不相同，中心网格线的颜色使用蓝色，且中心网格线的横纵轴的正方向线宽为标准线宽的两倍。更特别的，拍摄时要尽量保证网格正对镜头，无大面积遮挡，且无大面积的扭曲。
[0016]网格目标检测模块用于对图片进行网格检测，获取网格的外接矩形参数和网格4个顶点的坐标信息。目标检测是通过输入图片获取指定物品的最小包围矩形。通过将带辅助网格的图片输入网格目标检测模型，获取网格的最小包围矩形和四个顶点的坐标。
[0017]网格关键点检测模块通过获取的外接矩形参数将网格区域从图片中裁剪出来，输入到网格交点检测模型获得所有横轴和纵轴的分割掩码，并对其两两求交点，获取关键点坐标信息。分割掩码是通过输入物品目标区域图像到网格交点检测模型得到的输出，是用来像素级定位物品在图像中的精准位置，即分割掩码的二值图像。通过网格目标检测模块获取的网格的最小外接矩形，将图片中的网格裁剪出来，送入网格交点检测模型，获取每条网格线的分割掩码，将网格线掩码的重合区域的中心点坐标作为网格线的交点坐标，该交点的数量与开发人员设计的网格的交点数量一致且本文档来自技高网...

【技术保护点】

【技术特征摘要】
1. 一种基于辅助网格的图片特定区域渲染系统，其特征在于，包括：模版拍摄模块、网格目标检测模块、网格关键点检测模块、网格去除模块、纹理和光影效果提取模块、渲染模块；所述模版拍摄模块用于拍摄物品作为渲染模版，物品的特定区域印制有设计好的网格；所述网格目标检测模块用于对图片进行网格检测，获取网格的外接矩形参数和网格4个顶点的坐标信息；所述网格关键点检测模块通过获取的外接矩形参数将网格区域从图片中裁剪出来，输入到网格交点检测模型获得所有横轴和纵轴的分割掩码，并对其两两求交点，获取关键点坐标信息；所述网格去除模块通过获取的外接矩形参数将网格区域从图片中裁剪出来，输入到图像生成网络获得去除网格的图片；所述纹理和光影效果提取模块用于将图片输入到纹理和光影提取模型中，获取图片的纹理和光影信息；所述渲染模块用于将输入的图案与设置的图案模版对齐，根据格关键点检测模块 获取的关键点参数计算形变参数并对图案进行扭曲，然后将其与光影和纹理信息进行正片叠底操作，最后将该图案替换点图片对应的网格区域。2.一种基于辅助网格的图片特定区域渲染方法，其特征在于，包括以下步骤：S1：设计辅助网格，将辅助网格打印在待渲染的物品的指定区域，将生产好的成品交由摄影师拍摄成待渲染模版；S2：构建网格检测模型，通过网格检测模型获取输入图片中网格的最大外接矩形和四个顶点坐标；S3：构建网格交点检测模型，通过获取的外接矩形参数将网格区域从图片中裁剪出来，输入到网格交点检测模型获得所有横轴和纵轴的分割掩码，并对其两两求交点，获取关键点坐标信息；S4：构建网格去除模型，通过网格去除模型获取输入图片中去除网格后的效果图；S5：构建纹理和光影效果提取模型，通过纹理和光影效果提取模型获取输入图片中的纹理和光影效果图片；S6：构建...

【专利技术属性】
技术研发人员：杨波波，邹国平，吕茂鑫，
申请(专利权)人：杭州印鸽科技有限公司，
类型：发明
国别省市：