【技术实现步骤摘要】
本公开涉及计算机程序和系统领域，更具体地，涉及形成被配置用于学习神经网络架构的数据集的方法、系统和程序，以及所述数据集的使用方法。
技术介绍
1、点云被广泛用于创建真实世界场景的虚拟表示。这些表示可以由从真实世界场景的扫描获得(例如，通过深度传感器获得)，并且用于分析和规划真实世界中的操作。然而，由于采集伪影，点云可能是不规则的、有噪声的或不完整的。例如，由于扫描过程的分辨率，从扫描中获得的点云在其表示中固有地稀疏。这导致在场景中浏览时虚拟表示缺少信息。在这种背景下，点云增强技术得到了越来越多的关注。
2、一些现有方法会增加点云中每个渲染点的点大小，以获得更密集的场景表示。然而，这种方法在表示上引入了伪影。
3、图1示出了点云渲染100，其中点云数据是从扫描中获得的。
4、图2示出了渲染200，其中该渲染增加了点云渲染100上的点云渲染的点大小。该点大小是图1的渲染的原始点大小的五倍。增加点尺寸提高了对诸如地板上的金属部分210之类的一些元素的识别。然而，点大小的增加添加了一些伪影。为了说明这一点，图3显示了渲染200的缩放部分300，该缩放部分300具有增加的点大小(310-340)。点大小的增加可以更好地辨别楼梯，但由于存在使楼梯形状变形的异常点，因此生成的形状变得更加不规则。
5、此外，还提出了用于增强点云的深度学习方法，例如在以下文献中，bui,g.,le,t.,morago,b.,&duan,y.,“point-based rendering enhancemen
6、在这种情况下，仍然需要一种改进的方法来推断点云渲染的缺失图像细节。
技术实现思路
1、因此，提供了一种形成用于学习神经网络架构的数据集的计算机实现的方法。神经网络架构被配置用于推断点云渲染的缺失图像细节。该方法包括获得三维网格场景。该方法还包括计算所述三维网格场景的点云表示。该方法还包括生成所述三维网格场景和所述点云表示的一个或多个相机视图。对于每个相机视图，该方法渲染所述点云表示的视点，从而获得图像以及相应的深度图。该方法还渲染所述三维网格场景的视点。该方法还计算所述三维网格场景的视点的另一个点云表示。该方法还渲染所述另一点云表示的视点，从而获得另一图像以及对应的另一深度图。该方法还包括获得训练样本对，每个训练样本分别包括所述点云表示的渲染后的视点和所述另一点云表示的渲染后的视点。该方法还包括将所述训练样本对添加到所述数据集。
2、该方法可以包括以下中的一个或多个：
3、计算所述点云表示包括：在所述三维场景网格中随机放置一个或多个立方体图，从所述一个或多个立方体图中的每一个立方体图对所述三维场景网格的多个点进行采样；
4、计算所述点云表示包括：分别合并从每个立方体图采样的所述点；
5、所述三维网格是内部场景，并且渲染所述另一点云表示的视点包括：对于每个相机视图，将相机放置在包围所述另一点云表示的框的随机位置；
6、所述相机的放置受约束于到所述另一点云表示中最靠近所述相机的点的最小距离，和受约束于到所述另一点云表示的任何其他点的最大距离的约束；
7、所述三维网格场景是外部场景，并且渲染所述另一点云表示的视点包括：对于每个相机视图，将相机放置在包围所述另一点云表示的球体上的随机点上；
8、所述三维网格场景是混合场景，并且渲染所述另一点云表示的视点包括：对于每个相机视图，将相机随机放置在边界框中，所述放置受约束于到所述另一点云表示中最靠近所述相机的点的最小距离，和受约束于到在边界框内随机选择的第二点的距离；
9、如果所述另一点云表示的渲染后的视点的可见点的数量低于预定阈值，则将所获得的训练样本对添加到所述数据集；
10、包括：针对每对训练样本，使用所述深度信息来计算合并不同的渲染；和/或
11、包括：将色彩增强、水平和/或垂直翻转中的一种或多种增强技术应用于所述训练样本对。
12、还提供了一种根据形成数据集的方法形成的数据集的计算机实现的使用方法。使用方法包括：基于所述数据集学习神经网络架构。
13、该使用方法可以包括：所述神经网络架构具有n个具有相应分辨率的互连的卷积块，每个卷积块以增加的分辨率互连，所述使用方法包括：提供输入图像和所述输入图像的n-1个下采样版本，所述输入图像被提供给具有最大分辨率的互连的卷积块，每个下采样版本被输入到相应的卷积块，并且具有与所述相应卷积块的相应分辨率相同的分辨率。
14、还提供了一种包括指令的计算机程序，当该程序由计算机执行时，该指令使计算机执行形成数据库的方法和/或使用方法。
15、还提供了一种计算机可读存储介质，其上记录有所述计算机程序。
16、还提供了一种系统，该系统包括耦合到存储器的处理器，该存储器上记录有所述计算机程序。
本文档来自技高网...【技术保护点】
1.一种形成用于学习神经网络架构的数据集的计算机实现的方法，所述神经网络架构被配置用于推断点云渲染的缺失图像细节，所述方法包括：
2.根据权利要求1所述的方法，其中，计算(S20)所述点云表示包括：
3.根据权利要求2所述的方法，其中计算(S20)所述点云表示包括：分别合并从每个立方体图采样的所述点。
4.根据权利要求1至3中任一项所述的方法，其中，所述三维网格是内部场景，并且渲染所述另一点云表示的视点包括：对于每个相机视图，将相机放置在包围所述另一点云表示的框的随机位置。
5.根据权利要求4所述的方法，其中，所述相机的放置受约束于到所述另一点云表示中最靠近所述相机的点的最小距离，和受约束于到所述另一点云表示的任何其他点的最大距离的约束。
6.根据权利要求1至5中任一项所述的方法，其中，所述三维网格场景是外部场景，并且渲染所述另一点云表示的视点包括：对于每个相机视图，将相机放置在包围所述另一点云表示的球体上的随机点上。
7.根据权利要求1至6中任一项所述的方法，其中，所述三维网格场景是混合场景，并且渲染所述另
8.根据权利要求1至7中任一项所述的方法，其中，如果所述另一点云表示的渲染后的视点的可见点的数量低于预定阈值，则将所获得的训练样本对添加到所述数据集。
9.根据权利要求1至8中任一项所述的方法，包括：针对每对训练样本，使用所述深度信息来计算合并不同的渲染。
10.根据权利要求1至9中任一项所述的方法，包括：将色彩增强、水平和/或垂直翻转中的一种或多种增强技术应用于所述训练样本对。
11.一种根据权利要求1至10中任一项所形成的数据集的计算机实现的使用方法，包括：基于所述数据集学习神经网络架构。
12.根据权利要求11所述的使用方法，其中，所述神经网络架构具有N个具有相应分辨率的互连的卷积块，每个卷积块以增加的分辨率互连，所述使用方法包括：提供输入图像和所述输入图像的N-1个下采样版本，所述输入图像被提供给具有最大分辨率的互连的卷积块，每个下采样版本被输入到相应的卷积块，并且具有与所述相应卷积块的相应分辨率相同的分辨率。
13.一种包括指令的计算机程序，当所述程序由计算机执行时，所述指令使所述计算机执行权利要求1-10中任一项所述的方法和/或权利要求11-12中任一项所述的使用方法。
14.一种计算机可读存储介质，其上记录有权利要求13的计算机程序。
15.一种系统，包括耦合到存储器的处理器，该存储器上记录有权利要求13的计算机程序。
...【技术特征摘要】
1.一种形成用于学习神经网络架构的数据集的计算机实现的方法，所述神经网络架构被配置用于推断点云渲染的缺失图像细节，所述方法包括：
2.根据权利要求1所述的方法，其中，计算(s20)所述点云表示包括：
3.根据权利要求2所述的方法，其中计算(s20)所述点云表示包括：分别合并从每个立方体图采样的所述点。
4.根据权利要求1至3中任一项所述的方法，其中，所述三维网格是内部场景，并且渲染所述另一点云表示的视点包括：对于每个相机视图，将相机放置在包围所述另一点云表示的框的随机位置。
5.根据权利要求4所述的方法，其中，所述相机的放置受约束于到所述另一点云表示中最靠近所述相机的点的最小距离，和受约束于到所述另一点云表示的任何其他点的最大距离的约束。
6.根据权利要求1至5中任一项所述的方法，其中，所述三维网格场景是外部场景，并且渲染所述另一点云表示的视点包括：对于每个相机视图，将相机放置在包围所述另一点云表示的球体上的随机点上。
7.根据权利要求1至6中任一项所述的方法，其中，所述三维网格场景是混合场景，并且渲染所述另一点云表示的视点包括：对于每个相机视图，将相机随机放置在边界框中，所述放置受约束于到所述另一点云表示中最靠近所述相机的点的最小距离，和受约束于到在边界框内随机选择的第二点的距离。
8.根据权利要求1至7中...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。