一种基于深度学习的三维室内模型检索方法技术

本发明专利技术公开了一种基于深度学习的三维室内模型检索方法，步骤包括：建立模型特征数据库；对输入的二维图像进行主体检测，分割出主体图像；使用特征提取网络对分割出的各个主体图像进行特征向量提取；通过计算特征向量的相似度大小在模型特征数据库中进行室内模型标准渲染图检索，获取各个相似的室内模型标准渲染图；按照相似度的大小顺序对各个相似的室内模型标准渲染图进行排序，并选取相似度较大的室内模型标准渲染图作为检索结果输出显示。该基于深度学习的三维室内模型检索方法对同类模型个体具有良好的区分能力，同时降低了检索输入源的获取难度，能够高效准确地实现对三维室内模型的检索。

【技术实现步骤摘要】
一种基于深度学习的三维室内模型检索方法
本专利技术涉及一种三维室内模型检索方法，尤其是一种基于深度学习的三维室内模型检索方法。
技术介绍
随着计算机图形领域的快速发展和相关软硬件技术的日益成熟，三维模型在各领域得到了广泛的应用，而室内设计行业则是其中的一个典型代表。通过使用三维设计软件，设计师只需简单地拖放和替换三维室内模型就能对室内空间进行设计和修改，大大提升了方案的设计效率。为了满足消费者对设计方案的个性化需求，三维室内模型的数量急剧增长，而采用传统的关键字检索方式难以对海量的模型资源进行高效准确的检索，这已经成为了制约该行业发展的关键性因素。目前，针对三维模型检索领域的研究主要集中于基于内容的检索，此类检索方法主要是通过对三维模型所包含的内容进行特征提取，并在特征空间中对待检模型与目标模型进行相似度度量以实现模型检索。基于内容的三维模型检索其核心部分是对三维模型的特征进行提取，主要分为以下四类：基于统计的特征提取、基于拓扑关系的特征提取、基于几何结构的特征提取和基于投影的特征提取。其中，上述前三类方法是直接对三维模型进行特征提取，普遍存在着计算过程较为复杂并对模型的完整性要求较高等问题，实际使用时具有一定的难度。而基于投影的特征提取方法则是从各个不同的视角对三维模型进行投影，将其转换为二维图像之后再进行特征提取。此类方法具有特征计算的复杂度低并且提取到的特征易于索引等优点，但是由于提取的图像特征多是由人工设计的底层特征，忽略了高层语义，并不能对三维模型进行全面的描述，具有一定的局限性。由于模型渲染图能够充分反映三维室内模型的颜色、轮廓、纹理、形状等特征，因此三维室内模型多以渲染图的形式进行展示。基于此，有必要设计出一种利用卷积神经网络对三维室内模型对应渲染图的特征进行提取，并将其用于模型检索。
技术实现思路
专利技术目的在于：提供一种基于深度学习的三维室内模型检索方法，具有良好的区分能力，同时降低了检索输入源的获取难度，能够高效准确地实现对三维室内模型的检索。技术方案：本专利技术所述的基于深度学习的三维室内模型检索方法，包括如下步骤：步骤1，构建特征提取网络，并利用特征提取网络对室内模型数据库中保存的各个室内模型标准渲染图进行特征向量提取，并利用提取到的特征向量建立模型特征数据库；步骤2，利用图像主体检测网络对输入的二维图像进行主体检测，并从二维图像中分割出包含目标物体在内的主体图像；步骤3，利用特征提取网络对分割出的各个主体图像进行特征向量提取；步骤4，计算主体图像的特征向量与模型特征数据库中各个室内模型标准渲染图的特征向量的相似度；步骤5，按照相似度的大小顺序对各个室内模型标准渲染图进行排序，并选取前N个相似度较大的的室内模型标准渲染图作为检索结果输出显示。进一步的，在步骤1中，构建特征提取网络的具体步骤为：步骤1.1，建立模型检索数据集：从室内模型数据库中选取不同模型大类的各个室内模型，每个室内模型均设置有五张效果图以及对应的五张室内实物图，再将包含该室内模型的模型区域从效果图以及室内实物图中截取出来建立模型检索数据集；步骤1.2，构建特征提取网络：特征提取网络包括三个输入、三个对应的卷积神经网络分支以及一个三元组损失函数，三个卷积神经网络分支用于分别将三个输入转化为对应的特征向量，三元组损失函数用于计算各个特征向量之间的距离，三个卷积神经网络分支之间参数共享；步骤1.3，训练特征提取网络，具体步骤为：首先，对模型检索数据集中各个图像的尺寸进行调整，将图像的长边统一调整至224，短边则在保持原图长宽比的前提下进行缩放；其次，使用经过ImageNet预训练的VGG-16网络权重对特征提取网络进行初始化，特征提取网络中的全连接层使用均值为0以及标准差为0.05的截断正态分布随机数进行初始化；再次，使用Adam优化算法对初始化后的特征提取网络进行微调，优化算法的学习率为10-4，一阶矩估计的指数衰减率β1为0.9，二阶矩估计的指数衰减率β2为0.999，微调时设置BatchSize为32；最后，利用图像尺寸调整后的模型检索数据集对构建特征提取网络进行训练，并在三元组损失函数值不再减小时停止训练，三元组损失函数为：式中，以及分别为三个输入样本通过哈希映射层压缩后输出的k维二值哈希码，m为阈值参数，用于控制正负样本对之间的相对距离，l为一个所有元素均等于1且维度为k的向量，λ为用于控制二值约束项约束力度的权重参数，取值为0.1。进一步的，在步骤1.1中，在截取模型区域时，从不同角度进行截取，并将各个效果图以及对应的室内实物图水平翻转后扩充至模型检索数据集，再裁剪效果图以及对应的室内实物图的四个顶角缩减至原图的85％后扩充至模型检索数据集。进一步的，在步骤1.2中，三个输入分别为参考样本、正样本以及负样本，将室内实物图作为参考样本，将包含家居用品对应的室内模型标准渲染图作为正样本，将同一模型大类中的一个室内模型标准渲染图作为参考样本；三个卷积神经网络分支均包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、四个最大池化层、多尺度池化层、特征融合层、全连接层以及哈希映射层；四个最大池化层分别设置在第一卷积层、第二卷积层、第三卷积层、第四卷积层以及第五卷积层的相邻卷积层之间；多尺度池化层设置有4×4、2×2以及1×1三种池化尺度，用于对第五卷积层输出的特征图进行池化；特征融合层用于将多尺度池化层输出的多尺度特征图进行融合，获得一个维度为10752的特征向量；全连接层是一个维度为4096的特征向量，用于对10752维度的特征向量进行融合优化；哈希映射层用于对全连接层融合优化后的4096维度向量进行压缩，输出128维的特征向量。进一步的，在步骤1中，在利用特征提取网络进行特征向量提取时，对输出层输出连续实值的近似哈希码进行阈值化处理，获得离散的二值哈希码作为提取的特征向量，通过阈值化处理生成的二值哈希码bi为：式中，si是以0为阈值的近似哈希码。进一步的，在步骤2中，对输入的二维图像进行主体检测的具体步骤为：步骤2.1，构建一个图像主体检测数据集：选取包含各类常见室内家居用品的室内模型标准渲染图以及对应的实物图，再利用LabelImg软件对室内模型标准渲染图以及对应的实物图进行标注，并将标注的标签信息存储为XML文件以构成图像主体检测数据集；步骤2.2，构建一个图像主体检测网络：图像主体检测网络由卷积层、区域建议网络层、兴趣区域池化层以及分类层构成，卷积层用于提取图像主体检测数据集中各个室内模型标准渲染图以及实物图的特征图，区域建议网络层用于在各个特征图上生成建议检测区域，兴趣区域池化层用于将建议检测区域映射到卷积层输出的特征图上，并进行最大值池化处理得到建议区域特征图，分类层用于对各个建议区域特征图进行全连接层FC和softmax损失函数计算；步骤2.3，训练图像主体检测网络：使用经ImageNet预训练的权重对图本文档来自技高网...

【技术保护点】
1.一种基于深度学习的三维室内模型检索方法，其特征在于，包括如下步骤：/n步骤1，构建特征提取网络，并利用特征提取网络对室内模型数据库中保存的各个室内模型标准渲染图进行特征向量提取，并利用提取到的特征向量建立模型特征数据库；/n步骤2，利用图像主体检测网络对输入的二维图像进行主体检测，并从二维图像中分割出包含目标物体在内的主体图像；/n步骤3，利用特征提取网络对分割出的各个主体图像进行特征向量提取；/n步骤4，计算主体图像的特征向量与模型特征数据库中各个室内模型标准渲染图的特征向量的相似度；/n步骤5，按照相似度的大小顺序对各个室内模型标准渲染图进行排序，并选取前N个相似度较大的的室内模型标准渲染图作为检索结果输出显示。/n

【技术特征摘要】
1.一种基于深度学习的三维室内模型检索方法，其特征在于，包括如下步骤：
步骤1，构建特征提取网络，并利用特征提取网络对室内模型数据库中保存的各个室内模型标准渲染图进行特征向量提取，并利用提取到的特征向量建立模型特征数据库；
步骤2，利用图像主体检测网络对输入的二维图像进行主体检测，并从二维图像中分割出包含目标物体在内的主体图像；
步骤3，利用特征提取网络对分割出的各个主体图像进行特征向量提取；
步骤4，计算主体图像的特征向量与模型特征数据库中各个室内模型标准渲染图的特征向量的相似度；
步骤5，按照相似度的大小顺序对各个室内模型标准渲染图进行排序，并选取前N个相似度较大的的室内模型标准渲染图作为检索结果输出显示。


2.根据权利要求1所述的基于深度学习的三维室内模型检索方法，其特征在于，在步骤1中，构建特征提取网络的具体步骤为：
步骤1.1，建立模型检索数据集：从室内模型数据库中选取不同模型大类的各个室内模型，每个室内模型均设置有五张效果图以及对应的五张室内实物图，再将包含该室内模型的模型区域从效果图以及室内实物图中截取出来建立模型检索数据集；
步骤1.2，构建特征提取网络：特征提取网络包括三个输入、三个对应的卷积神经网络分支以及一个三元组损失函数，三个卷积神经网络分支用于分别将三个输入转化为对应的特征向量，三元组损失函数用于计算各个特征向量之间的距离，三个卷积神经网络分支之间参数共享；
步骤1.3，训练特征提取网络，具体步骤为：
首先，对模型检索数据集中各个图像的尺寸进行调整，将图像的长边统一调整至224，短边则在保持原图长宽比的前提下进行缩放；
其次，使用经过ImageNet预训练的VGG-16网络权重对特征提取网络进行初始化，特征提取网络中的全连接层使用均值为0以及标准差为0.05的截断正态分布随机数进行初始化；
再次，使用Adam优化算法对初始化后的特征提取网络进行微调，优化算法的学习率为10-4，一阶矩估计的指数衰减率β1为0.9，二阶矩估计的指数衰减率β2为0.999，微调时设置BatchSize为32；
最后，利用图像尺寸调整后的模型检索数据集对构建特征提取网络进行训练，并在三元组损失函数值不再减小时停止训练，三元组损失函数为：






式中，以及分别为三个输入样本通过哈希映射层压缩后输出的k维二值哈希码，m为阈值参数，用于控制正负样本对之间的相对距离，l为一个所有元素均等于1且维度为k的向量，λ为用于控制二值约束项约束力度的权重参数，取值为0.1。


3.根据权利要求2所述的基于深度学习的三维室内模型检索方法，其特征在于，在步骤1.1中，在截取模型区域时，从不同角度进行截取，并将各个效果图以及对应的室内实物图水平翻转后扩充至模型检索数据集，再裁剪效果图以及对应的室内实物图的四个顶角缩减至原图的85％后扩充至模型检索数据集。


4.根据权利要求2所述的基于深度学习的三维室内模型检索方法，其特征在于，在步骤1.2中，三个输入分别为参考样本、正样本以及负样本，将室内实物图作为参考样本，将包含家居用品对应的室内模型标准渲染图作为正样本，将同一模型大类中的一个室内模型标准渲染图作为参考样本；
三个卷积神经网络分支均包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、四个最大池化层、多尺度池化层、特征融合层、全连接层以及哈希映射层；四个最大池化层分别设置在第一卷积层、第二卷积层、第三卷积层、第四卷积层以及第五卷积层的相邻卷积层之间；多尺度池化层设置有4×4、2×2以及1×1三种池化尺度，用于对第五卷积层输出的特征图进行池化；特征融合层用于将多尺度池化层输出的多尺度特征图进行融合，获得一个维度为10752的特征向量；全连接层是一个维度为4096的特征向量，用于对10752维度的特征向量进行融合优化；哈希映射层用于对全连接层融合优化后的4096维度向量进行压缩，输出128维的特征向量。


5.根据权利要求2所述的基于深度学习的三维室内模型检索方法，其特征在于，在步骤1中，在利用特征提取网络进行特征向量提取时，对输出层输出连续实值的近似哈希码进行阈值化处理，获得离散的二值哈希码作为提取的特征向量，通过阈值化处理生成的二值哈希码bi为：



s.t.i∈{1,2,…,k}
式中，si是以0为阈值的近似哈希码。


6.根据权利要求1所述的基于深度学习的三维室内模型检索方法，其特征在于，在步骤2中，对输入的二维图像进行主体检测的具体步骤为：
步骤2.1，构建一个图像主体检测数据集：选取包含各类常见室内家居用品的室内模型标准渲染图以及对...

【专利技术属性】
技术研发人员：苏亮亮，刘凯，王庆利，万倩倩，
申请(专利权)人：南京止善智能科技研究院有限公司，南京维狸家智能科技有限公司，
类型：发明
国别省市：江苏;32