本申请公开了一种物体表面反射属性提取方法，该方法中提出一种基于柏林噪声的合成数据集，生成具有低频和高频特征分布的纹理，支持数据集样本的生成，解决训练数据不足的问题，同时该方法基于柏林噪声进行样本数据的合成，可以表达出近似真实样本的数据集合，进一步提高了网络的泛化性；另外，该方法中还提出一种基于VGG‑19和U‑Net网络模型的自编码器网络结构，该网络对特征图进行直方图匹配，通过空洞卷积策略进行特征提取，结合弱监督和渲染技术对网络进行训练，对于提取的物体表面反射属性精度以及质量均实现了有效的提升。本申请还提供了一种物体表面反射属性提取装置、设备及一种可读存储介质，具有上述有益效果。
【技术实现步骤摘要】
物体表面反射属性提取方法、装置、设备及存储介质
本申请涉及图像处理
，特别涉及一种物体表面反射属性提取方法、装置、设备及一种可读存储介质。
技术介绍
真实物体的三维建模包括三维几何建模和表面反射属性建模。三维几何建模可以利用三维扫描仪进行数据收集，或通过美术工作者利用Maya、3DMax等专业的建模软件来进行模型制作。而物体的表面反射属性建模过程十分复杂，不同样本的表面反射属性不尽相同，在表面反射属性建模中存在着诸多难点，如由于输入图像的亮度分布不均匀、分辨率不足、图像细节模糊等因素都会影响生成结果的质量和准确性，如何稳定可靠地生成质量较高、图像细节不丢失的表面反射属性一直是研究难点。目前，对于表面反射属性建模研究的方法主要分为两类：一类是基于传统的数据驱动方法，另一类是基于深度学习的方法。其中，传统的获取物体表面反射属性的方法存在着诸多问题和局限性，例如需要特殊的专业采集仪器进行样本检测、采集过程过于专业和复杂以及不能实现参数化等。近些年来随着人工智能的不断发展，深度学习在三维重建、图像风格迁移、图像超分辨率增强和纹理合成等领域都展现出了不错的效果，也有研究者将神经网络引入到物体表面反射属性建模问题中。基于深度学习的方法则是利用卷积神经网络，对单张图像进行预测，并通过添加各种条件的限制进行性能优化，神经网络会假设输入是一个已知几何形状的均匀物体，并利用自然光照以及图像的先验分布进行预测，可以实现预测特定样本的表面反射属性，神经网络中对于自动优化参数的设置，采用一种基于批标准化自动优化的方法。测试样本采用的是手机等移动设备拍摄的图像。测试阶段将图像输入到网络中，神经网络会生成对应的表面反射属性。通过观察并计算生成结果和标签值的差值，进行网络性能的评估。较为常用的神经网络预测算法为Valentin算法。Valentin网络是一种基于深度学习的方法，功能是对单张图像进行表面反射属性估计。该模型利用大量具有空间变化的标签图像去训练一个预先设计好的初始卷积神经网络，每一个训练的样本图像包括漫反射贴图(Albedomap)、法线贴图(Normalmap)、高光贴图(Specular)和粗糙度贴图(Roughness)。Valentin网络模型结构遵循U-Net自编码器结构，对输入的单张图像进行表面反射属性预测，训练后得到了相应的表面反射属性。但是，在利用卷积神经网络对输入图像进行处理、生成漫反射贴图时，会产生明暗不均匀、光照过强、过暗或损失特征分布信息等问题，针对某一局部高强度点光源，无法准确分析其高光结构，会将高光误认为是纹理自身颜色，同时输出尺寸增加时，还会导致优化和合成过程在迭代中逐渐不稳定，丢失纹理规律性。因此，如何稳定实现物体表面反射属性的精准提取，是本领域技术人员急需解决的问题。
技术实现思路
本申请的目的是提供一种物体表面反射属性提取方法，该方法可以稳定实现物体表面反射属性的精准提取；本申请的另一目的是提供一种物体表面反射属性提取装置、设备及一种可读存储介质。为解决上述技术问题，本申请提供一种物体表面反射属性提取方法，包括：确定目标物体的表面图像；对所述表面图像进行归一化处理；调用预训练的基于弱监督的自编码网络模型通过Tensorflow框架中空洞卷积操作函数对归一化处理后的所述表面图像进行特征提取，确定表面反射属性；其中，所述自编码网络模型以VGG-19与U-Net结合作为网络结构，根据具有低频和高频特征的无标签数据样本训练后得到；所述无标签数据样本根据基于柏林噪声合成的表面反射属性值生成，所述表面反射属性值包括：漫反射属性值、法线属性值、高光系数以及粗糙度。可选地，所述表面反射属性值的合成方法，包括：调用二维柏林噪声函数生成平滑纹理特征以及锐利纹理特征；将所述平滑纹理特征与所述锐利纹理特征进行混合，生成漫反射属性值。可选地，所述表面反射属性值的合成方法，包括：基于像素的强度将所述漫反射属性值转换为高度场信息；将所述高度场信息进行归一化处理；根据确定的全局比例因子对归一化处理后的所述高度场信息进行缩放；通过离散微分将缩放后的所述高度场信息进行数据处理，生成法线属性值。可选地，所述表面反射属性值的合成方法，包括：调用随机生成数值函数生成随机数，作为所述高光系数以及所述粗糙度。可选地，调用预训练的基于弱监督的自编码网络模型通过Tensorflow框架中空洞卷积操作函数对归一化处理后的所述表面图像进行特征提取，确定表面反射属性，包括：确定各网络层待输入的特征图；对所述特征图进行空洞卷积操作，得到膨胀化特征图；将所述膨胀化特征图输入至所述网络层进行图像特征提取。可选地，调用预训练的基于弱监督的自编码网络模型通过Tensorflow框架中空洞卷积操作函数对归一化处理后的所述表面图像进行特征提取，确定表面反射属性，包括：确定网络训练的总损失函数；其中，所述总损失函数包括：图像层次的损失、渲染层次的损失以及直方图和边缘损失；根据所述总损失函数进行模型优化。可选地，调用预训练的基于弱监督的自编码网络模型通过Tensorflow框架中空洞卷积操作函数对归一化处理后的所述表面图像进行特征提取，确定表面反射属性，包括：确定各网络层待输入的特征图；调用Canny检测算子对所述特征图的边缘信息进行提取计算，得到边缘结构优化特征图；将所述边缘结构优化特征图输入至所述网络层进行图像特征提取。本申请还提供了一种物体表面反射属性提取装置，包括：图像确定单元，用于确定目标物体的表面图像；图像处理单元，用于对所述表面图像进行归一化处理；特征提取单元，用于调用预训练的基于弱监督的自编码网络模型通过Tensorflow框架中空洞卷积操作函数对归一化处理后的所述表面图像进行特征提取，确定表面反射属性；其中，所述自编码网络模型以VGG-19与U-Net结合作为网络结构，根据具有低频和高频特征的无标签数据样本训练后得到；所述无标签数据样本根据基于柏林噪声合成的表面反射属性值生成，所述表面反射属性值包括：漫反射属性值、法线属性值、高光系数以及粗糙度。本申请还提供了一种物体表面反射属性提取设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现所述的物体表面反射属性提取方法的步骤。本申请还提供了一种可读存储介质，所述可读存储介质上存储有程序，所述程序被处理器执行时实现所述物体表面反射属性提取方法的步骤。本申请所提供的物体表面反射属性提取方法，该方法中提出一种基于柏林噪声的合成数据集，生成具有低频和高频特征分布的纹理，支持数据集样本的生成，解决训练数据不足的问题，通过创建合成数据集，在能够对数据集进行修正和调试的同时，简化了数据集的获取过程，同时该方法基于柏林噪声进行样本数据的合成，可以表达出近似真实样本的数据集合，提高了样本的获取速度，增加了本文档来自技高网...
【技术保护点】
1.一种物体表面反射属性提取方法，其特征在于，包括：/n确定目标物体的表面图像；/n对所述表面图像进行归一化处理；/n调用预训练的基于弱监督的自编码网络模型通过Tensorflow框架中空洞卷积操作函数对归一化处理后的所述表面图像进行特征提取，确定表面反射属性；其中，所述自编码网络模型以VGG-19与U-Net结合作为网络结构，根据具有低频和高频特征的无标签数据样本训练后得到；所述无标签数据样本根据基于柏林噪声合成的表面反射属性值生成，所述表面反射属性值包括：漫反射属性值、法线属性值、高光系数以及粗糙度。/n
【技术特征摘要】
1.一种物体表面反射属性提取方法，其特征在于，包括：
确定目标物体的表面图像；
对所述表面图像进行归一化处理；
调用预训练的基于弱监督的自编码网络模型通过Tensorflow框架中空洞卷积操作函数对归一化处理后的所述表面图像进行特征提取，确定表面反射属性；其中，所述自编码网络模型以VGG-19与U-Net结合作为网络结构，根据具有低频和高频特征的无标签数据样本训练后得到；所述无标签数据样本根据基于柏林噪声合成的表面反射属性值生成，所述表面反射属性值包括：漫反射属性值、法线属性值、高光系数以及粗糙度。
2.如权利要求1所述的物体表面反射属性提取方法，其特征在于，所述表面反射属性值的合成方法，包括：
调用二维柏林噪声函数生成平滑纹理特征以及锐利纹理特征；
将所述平滑纹理特征与所述锐利纹理特征进行混合，生成漫反射属性值。
3.如权利要求1所述的物体表面反射属性提取方法，其特征在于，所述表面反射属性值的合成方法，包括：
基于像素的强度将所述漫反射属性值转换为高度场信息；
将所述高度场信息进行归一化处理；
根据确定的全局比例因子对归一化处理后的所述高度场信息进行缩放；
通过离散微分将缩放后的所述高度场信息进行数据处理，生成法线属性值。
4.如权利要求1所述的物体表面反射属性提取方法，其特征在于，所述表面反射属性值的合成方法，包括：
调用随机生成数值函数生成随机数，作为所述高光系数以及所述粗糙度。
5.如权利要求1所述的物体表面反射属性提取方法，其特征在于，调用预训练的基于弱监督的自编码网络模型通过Tensorflow框架中空洞卷积操作函数对归一化处理后的所述表面图像进行特征提取，确定表面反射属性，包括：
确定各网络层待输入的特征图；
对所述特征图进行空洞卷积操作，得到膨胀化特征图；
将所述膨胀化特征图输入至所述网络层进行图像特征提取。
6.如权利要求1所...
【专利技术属性】
技术研发人员：王欣，王豫嵩，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林;22
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。