一种多区域空间对齐的细粒度草图检索三维模型方法技术

本发明专利技术涉及基于草图的三维模型细粒度检索领域，提供一种多区域空间对齐的细粒度草图检索三维模型方法，包括：渲染所有三维模型3个视角投影下的深度图，对深度图和草图数据进行空间对齐预处理；构建同时提取草图特征和三维模型深度图的多区域特征提取网络，利用身份一致性损失、区域一致性相似度损失、批次内难样本损失联合监督训练，得到训练好的草图和三维模型深度图特征提取网络；利用训练完成的草图和三维模型深度图多区域特征提取网络，分别提取查询草图和待检索的三维模型深度图特征，采用余弦距离进行特征相似度排序，得到检索的三维模型结果。本发明专利技术方法充分考虑了同一实例的草图和三维模型渲染图像的多区域差异，有效提高了检索精度。高了检索精度。高了检索精度。

【技术实现步骤摘要】
一种多区域空间对齐的细粒度草图检索三维模型方法


[0001]本专利技术涉及基于草图的三维模型细粒度检索领域，尤其是涉及一种多区域空间对齐的细粒度草图检索三维模型方法。

技术介绍

[0002]实例级的三维模型检索可以有效服务于VR、AR和3D打印等领域。相比文字信息，草图更适合表征细节信息。基于草图的三维模型检索主要关注类别级检索，而基于草图的三维模型细粒度检索更关注实例级检索，即与草图一致的三维模型个体。
[0003]基于草图的三维模型细粒度检索面临的挑战主要包括：1）二维草图和三维模型的域分离问题，二维草图仅能表达某个视角下的轮廓，三维模型具有深度信息包含了所有视角的信息；2）视角差异，不同视角下的草图和三维模型具有较大的外观差异；3）同一视角下草图和三维模型的差异往往分布在多个区域，仅通过全局特征难以区分。
[0004]由于缺少数据集，基于草图的三维模型细粒度检索相关研究还相对较少。Qi等公开了第一个草图细粒度检索三维模型数据集，并对已有的基于草图的三维模型检索方法进行了性能对比。在细粒度检索任务中，基于投影的方法显著优于非投影的方法，可以有效降低域差异。Qi等重点关注草图与三维模型投影视角匹配的问题，而同一视角下的多区域差异问题还未解决。

技术实现思路

[0005]针对草图和三维模型投影图像的多区域差异问题，本专利技术提出了一种多区域空间对齐的细粒度草图检索三维模型方法，有效提高了检索精度。
[0006]本专利技术提供一种空间对齐的细粒度草图检索三维模型方法，包括以下步骤：步骤1，渲染所有三维模型3个视角投影下的深度图，对深度图和草图数据进行空间对齐预处理；步骤2，构建同时提取草图特征和三维模型深度图的多区域特征提取网络，利用身份一致性损失、区域一致性相似度损失、批次内难样本损失（Batch Hard Triplet Loss）联合监督训练，通过反向传播更新网络参数，得到训练好的草图和三维模型深度图多区域特征提取网络；步骤3，利用步骤2训练完成的草图和三维模型深度图多区域特征提取网络，分别提取查询草图和待检索的三维模型深度图特征，采用余弦距离进行特征相似度排序，得到检索的三维模型结果。
[0007]在上述技术方案中，所述步骤1包括以下子步骤，步骤1.1，利用mesh_to_sdf库将三维模型按方位角0度、45度、90度三个角度渲染三张深度图；步骤1.2，利用OpenCV库读取草图或深度图图像，将RGB图像转变为灰度图；步骤1.3，对灰度图所有的像素值进行遍历，找出灰度值小于250的所有像素，比较
这些像素对应的最小行列号和最大行列号；步骤1.4，根据得到的最小行列号和最大行列号，利用OpenCV库对原始图像进行裁剪，得到裁剪后图像；步骤1.5，计算裁剪后图像的宽高比，将宽和高中最大的值缩放至250像素，宽、高中较小的值保持同样的宽高比进行缩放，得到缩放后图像；步骤1.6，利用OpenCV库对缩放后图像填充白色边界，使最后图像的大小为。
[0008]在上述技术方案中，所述步骤2包括以下子步骤，步骤2.1，构建提取草图特征和三维模型深度图的结构相同参数不同的两个网络分支，每个分支以Resnet50作为基准网络，在Resnet50的layer4后面增加自适应池化层，池化层的参数为（3,1），得到池化后的上、中、下三部分；步骤2.2，草图上、中、下三个区域和三维模型深度图上、中、下三个区域，在每一部分后面增加1x1卷积层、BatchNorm层和LeakyReLU层，得到256维特征向量；步骤2.3，草图上面区域的256维特征向量和三维模型深度图上面区域的256维特征向量连接同一个分类层，同样地，草图和三维模型深度图的中间区域、下面区域也分别连接分类层，共3个分类层；步骤2.4，利用身份一致性损失、相似度一致性损失和批次内难样本损失共同监督训练，得到训练后的草图和三维模型深度图特征提取网络。
[0009]在上述技术方案中，所述步骤3包括以下子步骤，步骤3.1，将所有待检索的三维模型按照步骤1渲染成3个视角下的深度度并进行空间对齐处理，将查询草图按照步骤1进行空间对齐处理；步骤3.2，将空间对齐处理后的所有待检索的三维模型深度图输入到训练好的三维模型深度图提取网络中提取三维模型深度图上、中、下三个区域的合并特征，将空间对齐处理后的查询草图输入到训练好的草图特征提取网络中提取查询草图上、中、下三个区域的合并特征；步骤3.3，计算查询草图特征和所有待检索三维模型深度图特征的余弦距离，按余弦距离从大到小进行排序，采用三维模型三个视角下深度图中余弦距离最大值作为该三维模型与草图的相似度，对排序结果进行去重处理，得到三维模型的检索结果。
[0010]与现有技术相比，本专利技术的有益效果如下：（1）对草图和三维模型渲染的深度图进行空间对齐预处理，有助于后续提取空间对齐的多区域局部特征。
[0011]（2）现有的基于草图的三维模型细粒度检索都采用全局特征比较相似度，但同一类别的个体差异往往分布在多个局部区域，仅通过全局特征难以区分相似度较高的实例。本专利技术设计了多区域局部特征提取网络，通过身份一致性损失、区域一致性相似度损失、批次内难样本损失联合监督，增加了类间的特征距离，减小了同一实例的跨域特征距离，有效提高了检索精度。
附图说明
[0012]图1为本专利技术的多区域空间对齐细粒度草图检索三维模型网络架构图。
[0013]图2为本专利技术实施例实施流程图。
具体实施方式
[0014]如图2所示，本专利技术实施例提供的一种多区域空间对齐的细粒度草图检索三维模型方法主要包括步骤如下：步骤1：将所有的三维模型渲染3个视角的深度图，对草图和渲染后的三维模型深度图进行空间对齐预处理；步骤2：构建草图和三维模型深度图的多区域特征提取网络，利用身份一致性损失、区域一致性相似度损失、批次内难样本损失联合监督训练，得到训练好的草图和三维模型深度图多区域特征提取网络；步骤3：利用步骤2训练完成的草图和三维模型深度图多区域特征提取网络分别提取查询草图和待检索的三维模型3个视角下深度图特征，计算查询草图和所有待检索三维模型3个视角下深度图的特征余弦距离，从大到小进行排序，以3个视角下最大的距离作为该三维模型与查询草图的相似度，得到检索结果。
[0015]图1为本专利技术提出的多区域空间对齐细粒度草图检索三维模型的网络架构图，包括：（1）输入的多视角草图、多视角三维模型深度图；（2）草图和三维模型深度图多区域特征提取网络；（3）身份一致性损失、区域一致性相似度损失、批次内难样本损失。
[0016]接下来，对本方法加以详细说明。
[0017]所述步骤1具体包括以下步骤：步骤1.1，利用mesh_to_sdf库将朝向三维模型的相机俯仰角设置为0度，方位角分别0度、45度、90度三个角度，每个视角下渲染一张深度图，得到三张深度图；步骤1.2，利用OpenCV库读取草图或深度图图像，将RGB图像转变为灰度图；步骤1.3，对灰度图所有的像素值逐行逐列进行遍历，判断像素灰度值是否小于25本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多区域空间对齐的细粒度草图检索三维模型方法，其特征在于，包括以下步骤：渲染所有三维模型3个视角投影下的深度图，对深度图和草图数据进行空间对齐预处理；构建同时提取草图特征和三维模型深度图的多区域特征提取网络，利用身份一致性损失、区域一致性相似度损失、批次内难样本损失联合监督训练，通过反向传播更新网络参数，得到训练好的草图和三维模型深度图多区域特征提取网络；利用训练完成的草图和三维模型深度图多区域特征提取网络，分别提取查询草图和待检索的三维模型深度图特征，采用余弦距离进行特征相似度排序，得到检索的三维模型结果。2.根据权利要求1所述的多区域空间对齐的细粒度草图检索三维模型方法，其特征在于：所述“渲染所有三维模型3个视角投影下的深度图，对深度图和草图数据进行空间对齐预处理”包括以下步骤，利用mesh_to_sdf库将三维模型按方位角0度、45度、90度三个角度渲染三张深度图；利用OpenCV库读取草图或深度图图像，将RGB图像转变为灰度图；对灰度图所有的像素值进行遍历，找出灰度值小于250的所有像素，比较这些像素对应的最小行列号和最大行列号；根据得到的最小行列号和最大行列号，利用OpenCV库对原始图像进行裁剪，得到裁剪后图像；计算裁剪后图像的宽高比，将宽和高中最大的值缩放至250像素，宽、高中较小的值保持同样的宽高比进行缩放，得到缩放后图像；利用OpenCV库对缩放后图像填充白色边界，使最后图像的大小为。3.根据权利要求1所述的多区域空间对齐的细粒度草图检索三维模型方法，其特征在于：所述“构建同时提取草图特征和三维模型深度图的多区域特征提取网络，利用身份一致性损失、区域一致性相似度损失、批次内难样本损失联合监督训练，通过反向传播更新网络参数”包括以下...

【专利技术属性】
技术研发人员：陈旭，钟正，吴砥，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：