一种材质提取方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种材质提取方法、装置、设备及存储介质，用于提高材质提取精度以及还原建筑墙面还原精度。该方法包括：对待处理图像进行分割处理，得到目标分割区域，并将目标分割区域划分为N个待处理图像块，其中，目标分割区域用于表示待处理图像中的非背景区域，N为大于的整数；分别计算每两个待处理图像块之间的特征互信息，并基于特征互信息，从N个待处理图像块中确定目标图像块；将目标图像块与候选材质图像集合中的每个候选材质图像分别进行纹理匹配，得到每个候选材质图像对应纹理匹配结果；基于每个候选材质图像对应纹理匹配结果，从候选材质图像集合中确定目标材质图像。像。像。

【技术实现步骤摘要】
一种材质提取方法、装置、设备及存储介质


[0001]本申请实施例涉及人工智能
，尤其涉及一种材质提取方法、装置、设备及存储介质。

技术介绍

[0002]随着人工智能技术的快速发展，能够越来越好地应用到虚拟场景或实物场景等多种场景的建筑搭建中，在建筑搭建中建筑的主体结构即建筑立面，其通常包括墙面、窗户、阳台和装饰等结构，能够用于确定一栋建筑的主要风格和用途，是建筑设计中最关键的部分，故对建筑立面的分析可以在虚拟场景或实物场景等场景的搭建中起到重要作用，因此一直受到广泛的关注。
[0003]而墙面又是建筑中最常见的元素，不同的墙面材质决定了墙面的整体风格，同时对建筑的采光和散热等用途都有很大的影响，故如何高效快速地从建筑图片中提取墙面材质是目前一个亟需解决的重要问题。
[0004]目前，常用材质分类方法通常是依靠人工经验筛选的方式从目标图片中提取出比较有代表性的墙面区域块，再将筛选出的墙面区域块送入一个训练好的神经网络分类器中，输出墙面材质的分类结果，然后，基于分类结果确定最匹配的墙面材质。但是，一方面，该方法不仅需要预先准备大量的标注数据来训练神经网络，还需要维护训练图片的质量，导致材质提取成本增高；另一方面，该方法过于依赖人工经验筛选的方式才能提取到目标图片中比较有代表性的墙面区域块，容易受到人工经验的影响，增加后续对材质提取的干扰，影响材质提取的效率和准确率，从而导致在下游的使用场景中难以基于提取到的墙面材质对建筑墙面进行高精度的还原。

技术实现思路

[0005]本申请实施例提供了一种材质提取方法、装置、设备及存储介质，用于基于特征互信息快速准确地确定目标图像块，无需依赖人工经验筛选，避免受到人工经验的影响，增加后续对材质提取的干扰，从而影响材质提取的效率和准确率，且不需要训练能够对目标图像块进行材质分类处理的模型，不仅能够有效降低材质提取成本增高，而且部署简单和计算复杂度低，从而能够在一定程度上提高获取材质的效率，此外，不仅能够准确提取出目标材质图像，还能够基于纹理分配获知材质的纹理属性等重要信息，以使后续能够在下游的使用场景基于目标材质图像的纹理属性实现对虚拟模型的高保真的还原。
[0006]本申请实施例一方面提供了一种材质提取方法，包括：
[0007]对待处理图像进行分割处理，得到目标分割区域，并将目标分割区域划分为N个待处理图像块，其中，目标分割区域用于表示待处理图像中的非背景区域，N为大于的整数；
[0008]分别计算每两个待处理图像块之间的特征互信息，并基于特征互信息，从N个待处理图像块中确定目标图像块；
[0009]将目标图像块与候选材质图像集合中的每个候选材质图像分别进行纹理匹配，得
到每个候选材质图像对应纹理匹配结果；
[0010]基于每个候选材质图像对应纹理匹配结果，从候选材质图像集合中确定目标材质图像。
[0011]本申请另一方面提供了一种材质提取装置，包括：
[0012]获取单元，用于对待处理图像进行分割处理，得到目标分割区域，并将目标分割区域划分为N个待处理图像块，其中，目标分割区域用于表示待处理图像中的非背景区域，N为大于的整数；
[0013]确定单元，用于分别计算每两个待处理图像块之间的特征互信息，并基于特征互信息，从N个待处理图像块中确定目标图像块；
[0014]处理单元，用于将目标图像块与候选材质图像集合中的每个候选材质图像分别进行纹理匹配，得到每个候选材质图像对应纹理匹配结果；
[0015]确定单元，还用于基于每个候选材质图像对应纹理匹配结果，从候选材质图像集合中确定目标材质图像。
[0016]在一种可能的设计中，本申请实施例另一方面的一种实现方式中，
[0017]处理单元，还用于基于目标图像块的颜色值，对目标材质图像进行重着色处理，得到重着色材质图像；
[0018]处理单元，还用于基于重着色材质图像，对待处理图像对应的虚拟模型进行渲染，得到目标虚拟模型。
[0019]在一种可能的设计中，本申请实施例另一方面的一种实现方式中，确定单元具体可以用于：
[0020]基于每个待处理图像块中每个像素点的像素值，计算每个待处理图像块的纹理特征；
[0021]基于每个待处理图像块的纹理特征，分别计算每个待处理图像块与其他N
‑
1个待处理图像块之间的纹理特征相似度的和值；
[0022]将数值最大的纹理特征相似度的和值所对应的待处理图像块，作为目标图像块。
[0023]在一种可能的设计中，本申请实施例另一方面的一种实现方式中，确定单元具体可以用于：
[0024]对目标图像块进行平滑处理，得到目标图像块中每个像素点对应的颜色值，并基于目标图像块中每个像素点对应的颜色值，计算目标图像块的颜色平均值；
[0025]基于目标图像块的颜色平均值，从随机初始化的M个颜色灰度粒子中，确定目标颜色灰度粒子，其中，M为大于等于1的整数；
[0026]将目标颜色灰度粒子的颜色灰度值与目标材质图像的颜色值进行相乘，得到重着色材质图像。
[0027]在一种可能的设计中，本申请实施例另一方面的一种实现方式中，确定单元具体可以用于：
[0028]获取每个颜色灰度粒子在当前时刻对应的当前颜色灰度值；
[0029]分别计算目标图像块的颜色平均值与每个颜色灰度粒子的当前颜色灰度值之间平方误差，得到每个颜色灰度粒子在对应的当前时刻误差；
[0030]若数值最小的当前时刻误差小于误差阈值，则将数值最小的当前时刻误差对应的
颜色灰度粒子，确定为目标颜色灰度粒子。
[0031]在一种可能的设计中，本申请实施例另一方面的一种实现方式中，
[0032]处理单元，还用于若数值最小的当前时刻误差大于误差阈值，则基于数值最小的当前时刻误差更新每个颜色灰度粒子在下一个时刻对应的颜色灰度值，得到每个颜色灰度粒子的更新颜色灰度值；
[0033]处理单元，还用于分别计算目标图像块的颜色平均值与每个颜色灰度粒子的更新颜色灰度值之间平方误差，得到每个颜色灰度粒子在对应的下一时刻误差；
[0034]确定单元，还用于若数值最小的下一时刻误差小于误差阈值，则将数值最小的下一时刻误差对应的颜色灰度粒子，确定为目标颜色灰度粒子。
[0035]在一种可能的设计中，本申请实施例另一方面的一种实现方式中，处理单元具体可以用于：
[0036]将每个待处理图像块的每个像素点作为圆心，以及半径阈值作为半径，在待处理图像块中遍历半径范围内的每个像素点对应的第一关联像素点；
[0037]基于每个像素点的像素值以及每个像素点对应的第一关联像素点的像素值，计算每个像素点对应的局部特征值；
[0038]基于每个像素点的局部特征值整理得到每个待处理图像块的纹理特征。
[0039]在一种可能的设计中，本申请实施例另一方面的一种实现方式中，处理单元具体可以用于：
[0040]基于每本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种材质提取方法，其特征在于，包括：对待处理图像进行分割处理，得到目标分割区域，并将所述目标分割区域划分为N个待处理图像块，其中，所述目标分割区域用于表示所述待处理图像中的非背景区域，所述N为大于的整数；分别计算每两个所述待处理图像块之间的特征互信息，并基于所述特征互信息，从所述N个待处理图像块中确定目标图像块；将所述目标图像块与候选材质图像集合中的每个候选材质图像分别进行纹理匹配，得到所述每个候选材质图像对应纹理匹配结果；基于所述每个候选材质图像对应纹理匹配结果，从所述候选材质图像集合中确定目标材质图像。2.根据权利要求1所述的方法，其特征在于，所述基于所述每个候选材质图像对应纹理匹配结果，从所述候选材质图像集合中确定目标材质图像之后，所述方法还包括：基于所述目标图像块的颜色值，对所述目标材质图像进行重着色处理，得到重着色材质图像；基于所述重着色材质图像，对所述待处理图像对应的虚拟模型进行渲染，得到目标虚拟模型。3.根据权利要求1所述的方法，其特征在于，所述特征互信息包括纹理特征相似度；所述分别计算每两个所述待处理图像块之间的特征互信息，并基于所述特征互信息，从所述N个待处理图像块中确定目标图像块，包括：基于每个所述待处理图像块中每个像素点的像素值，计算每个所述待处理图像块的纹理特征；基于每个所述待处理图像块的纹理特征，分别计算每个所述待处理图像块与其他N
‑
1个待处理图像块之间的纹理特征相似度的和值；将数值最大的纹理特征相似度的和值所对应的待处理图像块，作为所述目标图像块。4.根据权利要求2所述的方法，其特征在于，所述基于所述目标图像块的颜色，对所述目标材质图像进行重着色处理，得到重着色材质图像，包括：对所述目标图像块进行平滑处理，得到所述目标图像块中每个像素点对应的颜色值，并基于所述目标图像块中每个像素点对应的颜色值，计算所述目标图像块的颜色平均值；基于所述目标图像块的颜色平均值，从随机初始化的M个颜色灰度粒子中，确定目标颜色灰度粒子，其中，所述M为大于等于1的整数；将所述目标颜色灰度粒子的颜色灰度值与所述目标材质图像的颜色值进行相乘，得到所述重着色材质图像。5.根据权利要求4所述的方法，其特征在于，所述基于所述目标图像块的颜色平均值，从随机初始化的M个颜色灰度粒子中，确定目标颜色灰度粒子，包括：获取每个颜色灰度粒子在当前时刻对应的当前颜色灰度值；分别计算所述目标图像块的颜色平均值与每个颜色灰度粒子的当前颜色灰度值之间平方误差，得到每个颜色灰度粒子在对应的当前时刻误差；若数值最小的当前时刻误差小于误差阈值，则将所述数值最小的当前时刻误差对应的颜色灰度粒子，确定为所述目标颜色灰度粒子。
6.根据权利要求5所述的方法，其特征在于，所述分别计算所述目标图像块的颜色平均值与每个颜色灰度粒子的初始颜色灰度值之间平方误差，得到每个颜色灰度粒子在对应的当前时刻误差之后，所述方法还包括：若所述数值最小的当前时刻误差大于误差阈值，则基于所述数值最小的当前时刻误差更新所述每个颜色灰度粒子在下一个时刻对应的颜色灰度值，得到所述每个颜色灰度粒子的更新颜色灰度值；分别计算所述目标图像块的颜色平均值与所述每个颜色灰度粒子的更新颜色灰度值之间平方误差，得到每个颜色灰度粒子在对应的下一时刻误差；若数值最小的下一时刻误差小于误差阈值，则将所述数值最小的下一时刻误差对应的颜色灰度粒子，确定为所述目标颜色灰度粒子。7.根据权利要求3所述的方法，其特征在于，所述基于每个所述待处理图像块中每个像素点的像素值，计算每个所述待处理图像块的纹理特征，包括：将每个所述待处理图像块的每个像素点作为圆心，以及半径阈值作为半径，在所述待处理图像块中遍历所述半径范围内的每个像素点对应的第一关联像素点；基于每个像素点的像素值以及所述每个像素点对应的第一关联像素点的像素值，计算每个像素点对应的局部特征值；基于每个像素点的局部特征值整理得到每个所述待处理图像块的纹理特征。8.根据权利要求3所述的方法，其特征在于，所述纹理特征相似度包括纹理余弦相似度以及纹理结构相似度；所述基于每个所述待处理图像块的纹理特征，分别计算每个所述待处理图像块与其他N
‑
1个待处理图像块...

【专利技术属性】
技术研发人员：张云东，尚鸿，王碧杉，郑嘉文，孙钟前，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：