一种面向内容美学质量提升的材料神经风格迁移方法技术

本发明专利技术公开了一种面向内容美学质量提升的材料神经风格迁移方法，包括，步骤1，在风格材质数据集筛选出材质部分占图片总面积较大、且较美的图片；并对图片增加被选次数标签；步骤2，使用美学指数较高的、以及被选的次数较多的风格材质图片对原图I

【技术实现步骤摘要】
一种面向内容美学质量提升的材料神经风格迁移方法
专利

[0001]本专利技术属于一种图像处理领域，具体来讲，是一种基于把图像进行风格转换的神经风格迁移类算法，它主要应用在虚拟现实/增强现实领域。
[0002]专利技术背景
[0003]材料神经风格迁移算法的作用是把原始图像中某种原始材料转化成指定的另一种材料，例如把原始图像A中石头材质的内容，转化成指定的金属材质的内容，所述金属材质的内容风格来源于数据集中的图像B，把一个石头材质的房子转化为金属材质的房子，其余保持不变，得到合成的图像C。这种算法可以被广泛应用在虚拟现实领域的图像合成方向，具有很好的应用价值。
[0004]目前，其结果的效果依靠的是生成图片和指定材质部分的风格相似性来判断，但是除了相似性这一特征外，生成图片的形式还是可以千变万化的，这些千变万化的结果中，如何选择出最美的图片，即上面所说的合成出的金属材质的房子，其风格是金属的，但是金属房子也还是可以有很多种效果的，如何进一步选择出最美的图像结果，这个问题目前没有相关研究方案。

技术实现思路

[0005]本专利技术要解决的技术问题是如何从风格迁移后的多种图像效果中，选取出最美的图像，原材料的图像B是美的，如果迁移后生成的图像C是美的，就把相关经验反馈到原材料领域的图像，使得下一次任务时，学习这一经验知识；因此，本专利技术提出了一种面向内容美学质量提升的材料神经风格迁移方法，一是能够在经典的材质神经风格迁移算法的基础上，对生成的图像在实现风格迁移的基础上，能够生成最美的图片，那么就可以更加美丽的实现虚拟现实的效果，增加人机交互的舒适度；二是把相关经验保留，在下一次任务中被学习到，那么就可以减少计算资源，获得更好的工程效果。
[0006]本专利技术基于深度学习、美学指标等基础，面向生成图片的美学问题，它能够对生成的图像在实现风格迁移的基础上，生成出客观的、最美的图片，可以更加美丽的实现虚拟现实的效果，增加人机交互的舒适度。
[0007]本专利技术提出的一种面向内容美学质量提升的材料神经风格迁移方法，包括的步骤有，数据集预处理、原图整体神经风格迁移、原图分割、合成、评估反馈。具体如下
[0008]步骤1，对风格材质数据集Dataset1预处理，筛选出材质部分占图片总面积比大于阈值T1的风格材质图片，形成数据集Dataset3；
[0009]从数据集Dataset3中进一步筛选出美学指标分数大于阈值T2的风格材质图片，形成数据集Dataset4；
[0010]对数据集Dataset4中所有风格材质图片增加被选次数标签Pic4_selected；
[0011]该过程的主要内容是一是要求Dataset3数据集的样本中的材质部分占图片总面积比越大越好，二是这个部分的美学指标分数越高越好。
[0012]步骤2，选取美学指数较高的风格材质图片、以及被选的次数Pic4_selected较多
的图片将原图I
org
整体神经风格迁移，生成多张迁移后图片I
gen
；
[0013]步骤3，对原图I
org
的材料进行精细化分割，分割出原图I
org
中待转化材质部分RegionTarget，定义一张与图像I
org
大小完全一致、数值全部为0的矩阵I
mask
，并把I
mask
对应到待转化材质部分RegionTarget位置的部分全部设置为1。
[0014]步骤4，图像合成，并输出图片I
out
，表示如下：
[0015]I
out
＝I
gen
I
mask
+I
org
(1
‑
I
mask
)
[0016]其中，I
gen
是合成后的图像，每个合成图像I
out
的与一个迁移后图片I
gen
对应；
[0017]步骤5，计算所有合成图像I
out
的NIMA指标，得到NIMA值最大的合成图像I
out
，即为最终得到的图像，并将其对应的风格材质图片的Pic4_selected标签值加1。
[0018]进一步的，步骤1中筛选出材质部分占图片总面积比大于阈值T1的风格材质图片，形成数据集Dataset3；具体包括如下步骤：
[0019]步骤1.1，获取初级的材料区域标签数据集SegDateset2；
[0020]从FMD和EFMD中所有图像级标签图片样本随机抽取获得数据集SegDateset1；
[0021]使用弱监督的方案，从多标签CNN网络的类激活映射图CAM中学习像素级语义亲和性PSA，从图像级标签的数据集SegDateset1中获得初级的材料区域标签数据集SegDateset2。
[0022]步骤1.2，采用初级的材料区域标签数据集SegDateset2进行训练名称为HarDNet1的谐波密集连接网络HarDNet，并使用另一组像素级注释数据集SegDateset3对该网络HarDNet1进行微调，得到训练好的谐波密集连接网络HarDNet_seg；
[0023]所述数据集SegDateset3是从FMD和EFMD中所有像素级标签图片样本随机抽取得到。
[0024]步骤1.3，采用训练好的HarDNet1的谐波密集连接网络分割出数据集Dataset1中所有图像的像素级语义；并标签为Dataset2；
[0025]步骤1.4，统计数据集Dataset2图像中各种语义内容的像素总数，并计算出其与整幅图的比例，由高到低排序，对数据集Dataset2中每幅图只输出排序最高的语义归类的面积比Ph2(i)，i是编号，从1到Dataset2的图片总数itotal。
[0026]定义阈值T1(0～1)，删除Dataset2中Ph2(i)<＝T1的图片，将剩下的图片输出为Dataset3，得到一个单个材质的面积占整个图片超过T1的像素级语义数据集Dataset3。
[0027]进一步的，步骤2中选取美学指数较高的风格材质图片、以及被选的次数Pic4_selected较多的图片将原图I
org
整体神经风格迁移，生成多张迁移后图片I
gen
；具体步骤如下：
[0028]步骤2.1，对数据集Dataset4中的每类图片按美学NIMA指标从高到低排序，待迁移的风格材质类别中共有K张图片，采用前N1个风格图片对原图I
org
整体神经风格迁移，分别得到N1个迁移后输出图片I
gen
(n1)；其中,n1取值范围为1～N1；
[0029]步骤2.2，在待迁移的风格材质类别中；当该类中所有图片的Pic4_selected值均为0时，则令N3＝0；进入步骤2.4；
[0030]否则，在待迁移的风格材质本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向内容美学质量提升的材料神经风格迁移方法，其特征在于，包括如下步骤：步骤1，对风格材质数据集Dataset1预处理，筛选出材质部分占图片总面积比大于阈值T1的风格材质图片，形成数据集Dataset3；从数据集Dataset3中进一步筛选出美学指标分数大于阈值T2的风格材质图片，形成数据集Dataset4；对数据集Dataset4中所有风格材质图片增加被选次数标签Pic4_selected；步骤2，选用美学指数较高的风格材质图片、以及被选的次数Pic4_selected较多的风格材质图片，将原图I
org
整体神经风格迁移，生成多张迁移后图片I
gen
；步骤3，对原图I
org
的材料进行精细化分割，分割出原图I
org
中待转化材质部分RegionTarget，定义一张与图像I
org
大小完全一致、数值全部为0的矩阵I
mask
，并把I
mask
对应到待转化材质部分RegionTarget位置的部分全部设置为1；步骤4，图像合成，并输出图片I
out
，表示如下：I
out
＝I
gen
I
mask
+I
org
(1
‑
I
mask
)其中，I
gen
是合成后的图像，每个合成图像I
out
的与一个迁移后图片I
gen
对应；步骤5，计算所有合成图像I
out
的NIMA指标，得到NIMA值最大的合成图像I
out
，即为最终得到的图像，并将其对应的风格材质图片的Pic4_selected标签值加1。2.根据权利要求1所述一种面向内容美学质量提升的材料神经风格迁移方法，其特征在于，步骤1中筛选出材质部分占图片总面积比大于阈值T1的风格材质图片，形成数据集Dataset3；具体包括如下步骤：步骤1.1，获取初级的材料区域标签数据集SegDateset2；从FMD和EFMD中所有图像级标签图片样本随机抽取获得数据集SegDateset1；使用弱监督的方案，从多标签CNN网络的类激活映射图CAM中学习像素级语义亲和性PSA，从图像级标签的数据集SegDateset1中获得初级的材料区域标签数据集SegDateset2；步骤1.2，采用初级的材料区域标签数据集SegDateset2进行训练名称为HarDNet1的谐波密集连接网络HarDNet，并使用另一组像素级注释数据集SegDateset3对该网络HarDNet1进行微调，得到训练好的谐波密集连接网络HarDNet_se...

【专利技术属性】
技术研发人员：陈森霖，沈玉龙，袁博，胡凯，
申请(专利权)人：南京栢拓视觉科技有限公司，
类型：发明
国别省市：