本发明专利技术公开了一种获取点云特征，利用PointLIE中预设的多个Rescale Layer依次对所述点云进行自适应采样得到子点云和服从特定分布的嵌入；从所述特定分布中随机采样一个嵌入，连同所述子点云，一起输入至所述PointLIE的最后一个Rescale Layer中，以及按照所述的多个Rescale Layer的反向顺序将自适应采样的子点云和嵌入进行反向重建；将重建得到的偏移按特征维度划分为多份特征偏移，并把每一份特征偏移加到重建出的采样的点云特征上，再进行均匀采样以还原出所述点云特征。PointLIE把丢失的点中蕴含的拓扑结构嵌入到一种服从特定分布的隐变量，因此，当需要重建稠密点云的时候，只需从这个特定的分布中随机地采样出一个隐变量，然后和正向过程自适应地采样出的子点云一起反向通过网络即可。云一起反向通过网络即可。云一起反向通过网络即可。
【技术实现步骤摘要】
一种采样重建方法、装置、计算机设备及存储介质
[0001]本专利技术实施例技术计算机
，尤其是一种采样重建方法、装置、计算机设备及存储介质。
技术介绍
[0002]近来，作为3D数据的基本表征形式，由各种深度扫描仪或LiDAR传感器收集的点云已应用于各种领域，例如自动驾驶，文化遗产重建和3D沉浸式远程呈现。但是，随着3D数据采集能力的提高，每秒可以生成千兆字节的原始点云数据(例如Velodyne HDL
‑
64E每秒可以收集多达220万个点)。因此，由于对功耗，计算成本和通信负载的巨大需求，很难直接处理大规模的点云数据。点云采样和恢复(PCSR)任务旨在从密集点云中采样出有意义的点，以压缩原始点云的规模，同时保留被丢弃点的局部拓扑以供将来重建，这对于大规模实时点云收集和处理至关重要。
[0003]目前与本专利技术最接近的现有技术是单独做下采样和上采样任务的方法。做采样的方法主要有均匀采样的最远点采样FPS，FPS没有考虑到对采样点的后续处理和下游任务，所以会导致非最优的结果。最近有一些自适应采样的方法同时考虑了采样和下游任务，比如通过与任务相关的损失函数提高下游任务的结果。但是他们只是通过增加了下游任务的损失函数来提高重建效果，却没有考虑到丢失的点中的几何信息。上采样旨在增加点云分布的稠密度和均匀度，做上采样的方法主要有PU
‑
Net、3PU、PU
‑
GAN。PU
‑
Net是第一个用于上采样的网络，它通过PointNet++提取逐点的特征，然后在特征空间把每个点的特征扩展到多个点，从而重建出一个上采样版本的点集。3PU是一个多步的逐级网络，它可以在多步中学习不同水平的特征。但是因为它多级的特点，3PU需要大量的计算和更多的数据来监督中间层的输出。PU
‑
GAN利用生成对抗学习来更好地学习上采样点云的分布。但是上采样是一个病态问题，因为降采样的点云会对应多种可行的稠密点云，而现有的基于深度学习的上采样方法都是直接通过学习从稀疏点云到稠密点云的映射来建模这一不确定的问题，因此现在的上采样方法无法生成可信的完整的重建结果，因为忽略了采样过程中损失的珍贵信息。
[0004]之前的一系列方法，主要有三个缺陷：(1)现有的工作都是分开研究采样和上采样这两个任务；(2)因为没有利用到采样过程中损失的信息，现有的压缩或者上采样方法很难重建出真实的稠密点云。(3)传统的压缩任务是把点云压缩成一个不能观察的编码，再还原出稠密的点云，因此这个编码不能被用于实时回显，也不能被用到下游任务做快速处理或测试。
技术实现思路
[0005]为解决上述技术问题，本专利技术创造的实施例提供一种采样重建方法，包括：
[0006]获取点云特征，利用PointLIE中预设的多个Rescale Layer依次对所述点云特征进行自适应采样得到子点云和服从特定特定分布的嵌入；
[0007]从所述特定分布中随机采样一个嵌入，连同所述自适应采样出的子点云，一起输入至所述PointLIE的最后一个Rescale Layer中，以及按照所述的多个Rescale Layer的反向顺序将自适应采样的子点云和嵌入进行反向重建；
[0008]将重建得到的偏移按特征维度划分为多份特征偏移，并把每一份特征偏移加到重建出的采样的点云特征上，再进行均匀采样以还原出所述点云特征。
[0009]进一步地，所述利用PointLIE中预设的多个Rescale Layer依次对所述点云特征进行自适应采样得到子点云和服从特定分布的嵌入，包括：
[0010]所述多个Rescale Layer中处于首位的第一层Rescale Layer对所述点云特征进行采样得到第一层点云特征和第一层特征偏移量；
[0011]按通道维度拼接所述第一层点云特征和所述第一层特征偏移量得到第一层云特征；
[0012]处于第二位的Rescale Layer接收所述第一层点云特征进行采样得到第二层点云特征和第二层特征偏移，按通道维度拼接所述第二层点云特征和所述第二层特征偏移得到第二层云特征，以此类推直至所述PointLIE中最后一个的Rescale Layer完成采样得到所述子点云以及所述服从所述特征分布的嵌入。
[0013]进一步地，每个所述Rescale Layer中包括分解模块和多个点云可逆模块，所述利用PointLIE中预设的多个Rescale Layer依次对所述点云特征进行自适应采样得到子点云和服从特定分布的嵌入，包括：
[0014]利用预设的分解模块将所述点云特征分解为子点云特征和特征偏移；
[0015]通过预设的点云可逆模块中预设的特征更新模型对分解模块分解出来的子点云特征和将重建得到的偏移按特征维度划分为多份特征偏移，并把每一份特征偏移加到重建出的采样的点云特征上，再进行均匀采样以还原出所述点云特征特征偏移的表征进行增强得到更新后的所述子点云特征和更新后的所述特征偏移，并将所述特征偏移用损失函数映射到所述特定分布。
[0016]进一步地，所述利用预设的分解模块将所述点云特征分解为原始子点云特征和原始特征偏移，包括：
[0017]利用最远点采样从所述点云特征中选出预设个数的的采样点组成所述子点云特征，并将所述点云特征中除所述采样点以外的点确定为被丢弃的点；
[0018]从所述被丢弃的点中选取与每个所述采样点紧邻的临近点；
[0019]计算每个所述采样点距离各自的临近点之间的空间距离，并将所述空间距离作为所述特征偏移。
[0020]进一步地，所述输入至所述PointLIE中进行自适应采样的最后一个Rescale Layer中，以及按照所述多个Rescale Layer自适应采样的反向顺序将采样出的子点和采样出的嵌入进行反向重建，包括：
[0021]将所述子点云和所述嵌入输入至所述最后一个Rescale Layer中的最后一个点云可逆模块，并按照原多个点云可逆模块进行表征增强的反向顺序依次进行重建；
[0022]将点云可逆模块反向重建得到的点云特征和特征偏移输入至所述最后一个Rescale Layer中的分解模块进行合并重建出子点云特征和特征偏移；
[0023]按照所述多个Rescale Layer自适应采样的反向顺序进行重建直至所述PointLIE
中每个Rescale Layer完成重建为止。
[0024]为解决上述问题，本专利技术提供一种影像数据处理装置，包括：
[0025]获取模块，用于获取点云特征，利用PointLIE中预设的多个Rescale Layer依次对所述点云特征进行自适应采样得到子点云和服从特定分布的嵌入；
[0026]处理模块，用于从所述特定分布中随机采样一个嵌入，连同所述自适应采样出的子点云，一起输入至所述PointLIE的最后一个Rescale Layer中，以及按照所述的多个Rescale Layer的反向顺序将自适应采样的子点云和嵌入进本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于点云采样和重建的方法，其特征在于，包括：获取点云特征，利用PointLIE中预设的多个Rescale Layer依次对所述点云特征进行自适应采样得到子点云和服从特定分布的嵌入；从所述特定分布中随机采样一个嵌入，连同所述自适应采样出的子点云，一起输入至所述PointLIE的最后一个Rescale Layer中，以及按照所述的多个Rescale Layer的反向顺序将自适应采样的子点云和嵌入进行反向重建；将重建得到的偏移按特征维度划分为多份特征偏移，并把每一份特征偏移加到重建出的采样的点云特征上，再进行均匀采样以还原出所述点云特征。2.根据权利要求1所述的采样重建方法，其特征在于，所述利用PointLIE中预设的多个Rescale Layer依次对所述点云特征进行自适应采样得到子点云和服从特定分布的嵌入，包括：所述多个Rescale Layer中处于首位的第一层Rescale Layer对所述点云特征进行采样得到第一层点云特征和第一层特征偏移量；按通道维度拼接所述第一层点云特征和所述第一层特征偏移量得到第一层云特征；处于第二位的Rescale Layer接收所述第一层点云特征进行采样得到第二层点云特征和第二层特征偏移，按通道维度拼接所述第二层点云特征和所述第二层特征偏移得到第二层云特征，以此类推直至所述PointLIE中最后一个的Rescale Layer完成采样得到所述子点云以及所述服从所述特征分布的嵌入。3.根据权利要求1所述的点云采样和重建方法，其特征在于，每个所述Rescale Layer中包括分解模块和多个点云可逆模块，所述利用PointLIE中预设的多个Rescale Layer依次对所述点云特征进行自适应采样得到子点云和服从特定分布的嵌入，包括：利用预设的分解模块将所述点云特征分解为子点云特征和特征偏移；通过预设的点云可逆模块中预设的特征更新模型对分解模块分解出来的子点云特征和将重建得到的偏移按特征维度划分为多份特征偏移，并把每一份特征偏移加到重建出的采样的点云特征上，再进行均匀采样以还原出所述点云特征特征偏移的表征进行增强得到更新后的所述子点云特征和更新后的所述特征偏移，并将所述特征偏移用损失函数映射到所述特定分布。4.根据权利要求1所述的采样和重建方法，其特征在于，所述利用预设的分解模块将所述点云特征分解为原始子点云特征和原始特征偏移，包括：利用最远点采样从所述点云特征中选出预设个数的的采样点组成所述子点云特征，并将所述点云特征中除所述采样点以外的点确定为被丢弃的点；从所述被丢弃的点中选取与每个所述采样点紧邻的临近点；计算每个所述采样点距离各自的临近点之间的空间距离，并将所述空间距离作为所述特征偏移。5.根据权利要求3所述的采样和重建方法，其特征在于，所述输入至所述PointLIE中进行自适应采样的最后一个Rescale Layer中，以及按照所述多个Rescale Layer自适应采样的反向顺序将采样到的子点云和嵌入进行反向重建，包括：将所述子点云和所述嵌入输入至所述最后...
【专利技术属性】
技术研发人员：李镇，颜旭，赵伟兵，崔曙光，
申请(专利权)人：香港中文大学深圳，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。