一种基于投影密度图采样的草图生成三维点云的方法技术

本发明专利技术公开了一种基于投影密度图采样的草图生成三维点云的方法，包括：基于草图转换模块从手绘图中提取出形状特征，输出包含通道数量信息的特征图；将所述特征图输入点云生成模块，预测一个投影密度图并从中采样出二维点云，推断出每个二维点的深度；结合来自投影密度图采样的(x，y)坐标和来自深度采样的z坐标，生成整体的三维点云。该方法无需多个视角的手绘草图，基于投影密度图采样的草图，可生成相对细节较为完整的三维点云；相比现有技术中三维点云的生成，细节的形状信息表达更多，可视化结果更清楚。化结果更清楚。化结果更清楚。

【技术实现步骤摘要】
一种基于投影密度图采样的草图生成三维点云的方法


[0001]本专利技术涉及草图三维生成
，特别涉及一种基于投影密度图采样的草图生成三维点云的方法。

技术介绍

[0002]近年来，基于草图的三维重建取得了巨大进步。但是大部分方法依赖于多个视角的手绘草图。而在实际应用场景中，多个视角下的手绘草图往往是很难获得的。
[0003]另外，现有的方法通常简单地采用特征向量作为手绘草图和三维模型两个模态的中介，导致草图中的细节特点不能充分地体现在三维模型中。
[0004]因此，针对上述情况面临如下两个问题：
[0005]1)手绘是十分稀疏抽象的形状表达，往往缺少多个视角下的手绘草图，这给三维重建带来了困难。
[0006]2)现有的方法简单地采用特征向量作为手绘草图和三维模型两个模态的中介，只能生成粗糙程度的三维形状，不具备恢复细粒度细节的能力。

技术实现思路

[0007]本专利技术的目的在于提供一种至少部分解决上述技术问题的基于投影密度图采样的草图生成三维点云的方法，该方法无需多个视角的手绘草图，基于投影密度图采样的草图，可生成相对细节较为完整的三维点云。
[0008]为实现上述目的，本专利技术采取的技术方案为：
[0009]本专利技术提供一种基于投影密度图采样的草图生成三维点云的方法，包括以下步骤：
[0010]S10、基于草图转换模块从手绘图中提取出形状特征，输出包含通道数量信息的特征图；
[0011]S20、将所述特征图输入点云生成模块，预测一个投影密度图并从中采样出二维点云，推断出每个二维点的深度；
[0012]S30、结合来自投影密度图采样的(x，y)坐标和来自深度采样的z坐标，生成整体的三维点云。
[0013]进一步地，所述步骤S10中草图转换模块采用编码器
‑
解码器的CNN网络结构；
[0014]所述CNN网络结构，包括依次连接的编码器网络、残差块网络和解码器网络；其中，所述编码器网络包含4个下采样块，用于提取输入草图的高层次的抽象信息，作为残差块网络的输入；所述残差块网络包含9个残差块，用于将稀疏的形状特征补充完善；
[0015]所述解码器网络包含4个上采样块，用于逐步推断出空间分辨率增加的三维形状信息。
[0016]进一步地，所述下采样块由依次连接的卷积层、归一化层和ReLU函数组成；所述下采样块中的卷积层步长为2；
[0017]所述残差块由依次连接的卷积层、归一化层、ReLU函数、卷积层和归一化层组成；所述残差块中的卷积层步长均为1；
[0018]所述上采样块由依次连接的转置卷积层、归一化层和ReLU函数组成；所述上采样块中的卷积层步长为2。
[0019]进一步地，所述点云生成模块，包括：投影密度图预测子模块和深度采样子模块；
[0020]所述投影密度图预测子模块由3个卷积层和3个ReLU函数依次相互交替连接组成；第3个ReLU函数连接归一化层；其中，第1个卷积层和第3个卷积层步长为1，第2个卷积层步长为3；最后的归一化层用于确保投影密度图中所有位置的值加和为1；
[0021]所述深度采样子模块，先对随机噪声用三个残差MLP进行升维，升维后的随机向量与特征图给定位置采样出的特征向量在通道维度连接，然后经过三层残差MLP和一层全连接得到深度信息。
[0022]进一步地，所述步骤S20包括：
[0023]S201、将所述特征图作为输入，利用投影密度图预测子模块预测一个二维坐标的联合分布P(X,Y|I)，其中X,Y分别对应于x,y轴的随机变量；从P(X,Y|I)采样将产生二维点云；
[0024]S202、为所述二维点云中的每个点预测深度分布p(Z
i
|x
i
,y
i
,I)，其中x
i
,y
i
为第i个点的二维坐标；从p(Z
i
|x
i
,y
i
,I)中取样得到每个二维点的深度。
[0025]进一步地，所述步骤S201包括：
[0026]1)将所述特征图F输入投影密度图预测子模块，获得输出结果投影密度图
[0027]2)用二维单通道信号投影密度图定义一个二维多项分布其中概率质量函数为：
[0028]3)从二维多项分布中采样N个样本组成二维点云中包含N个元素，每个元素表示一个二维点。
[0029]进一步地，所述步骤S202包括：
[0030]a)初始化集合为空集；
[0031]b)从二维点云中取出一个二维点x
i
,y
i
并将其从中移除；
[0032]c)从特征图F的x
i
,y
i
位置采样得到C通道的特征向量其中x
i
,y
i
为第i个点的二维坐标；
[0033]d)从均匀分布中采样得到标量随机噪声
[0034]e)将特征向量和标量随机噪声输入深度采样子模块，得到深度z
i
；
[0035]f)将(x
i
,y
i
,z
i
)添加到中；
[0036]g)重复步骤(b)～(f)，由于中初始时包含N个元素，故最终中包含N个元素。
[0037]与现有技术相比，本专利技术具有如下有益效果：
[0038]一种基于投影密度图采样的草图生成三维点云的方法，包括：基于草图转换模块从手绘图中提取出形状特征，输出包含通道数量信息的特征图；将所述特征图输入点云生
成模块，预测一个投影密度图并从中采样出二维点云，推断出每个二维点的深度；结合来自投影密度图采样的(x，y)坐标和来自深度采样的z坐标，生成整体的三维点云。该方法无需多个视角的手绘草图，基于投影密度图采样的草图，可生成相对细节较为完整的三维点云；相比现有技术中三维点云的生成，细节的形状信息表达更多，可视化结果更清楚。
附图说明
[0039]图1是本专利技术基于投影密度图采样的草图生成三维点云的方法的流程图。
[0040]图2是本专利技术基于投影密度图采样的草图生成三维点云所涉及的模块原理图。
[0041]图3是本专利技术的草图转换模块的结构图。
[0042]图4是本专利技术的投影密度图预测子模块的结构图。
[0043]图5是本专利技术的深度采样子模块的结构图。
[0044]图6是本专利技术的投影密度图示意图。
[0045]图7是基于Synthetic
‑
LineDrawing数据集上的相比较的可视化结果示意图。
[0046]图8是基于ShapeNet
‑
Sketch，AmateurSketch，ProSketch
‑
3DChair数据集上的相比较的可视化结果示意图。
具体实施方式
[0047]为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于投影密度图采样的草图生成三维点云的方法，其特征在于，包括以下步骤：S10、基于草图转换模块从手绘图中提取出形状特征，输出包含通道数量信息的特征图；S20、将所述特征图输入点云生成模块，预测一个投影密度图并从中采样出二维点云，推断出每个二维点的深度；S30、结合来自投影密度图采样的(x，y)坐标和来自深度采样的z坐标，生成整体的三维点云。2.根据权利要求1所述的一种基于投影密度图采样的草图生成三维点云的方法，其特征在于，所述步骤S10中草图转换模块采用编码器
‑
解码器的CNN网络结构；所述CNN网络结构，包括依次连接的编码器网络、残差块网络和解码器网络；其中，所述编码器网络包含4个下采样块，用于提取输入草图的高层次的抽象信息，作为残差块网络的输入；所述残差块网络包含9个残差块，用于将稀疏的形状特征补充完善；所述解码器网络包含4个上采样块，用于逐步推断出空间分辨率增加的三维形状信息。3.根据权利要求2所述的一种基于投影密度图采样的草图生成三维点云的方法，其特征在于，所述下采样块由依次连接的卷积层、归一化层和ReLU函数组成；所述下采样块中的卷积层步长为2；所述残差块由依次连接的卷积层、归一化层、ReLU函数、卷积层和归一化层组成；所述残差块中的卷积层步长均为1；所述上采样块由依次连接的转置卷积层、归一化层和ReLU函数组成；所述上采样块中的卷积层步长为2。4.根据权利要求1所述的一种基于投影密度图采样的草图生成三维点云的方法，其特征在于，所述点云生成模块，包括：投影密度图预测子模块和深度采样子模块；所述投影密度图预测子模块由3个卷积层和3个ReLU函数依次相互交替连接组成；第3个ReLU函数连接归一化层；其中，第1个卷积层和第3个卷积层步长为1，第2个卷积层步长为3；最后的归一化层用于确保投影密度图中所有位置的值加和为1；所述深度采样子模块，先对随机噪声用三个残差MLP进行升维，升维后的随机向量与特征图给定位置采样出的特征向量在通道维度连接，然后经过三层残差MLP和一层全连接得到深度信息。5.根据权利要求4所述的一种基...

【专利技术属性】
技术研发人员：于茜，高宸健，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：