点云补全方法、系统、设备以及存储介质技术方案

本发明专利技术公开了一种点云补全方法，包括以下步骤：对采集的图像进行重构得到重构点云，并基于重构点云得到目标区域；获取待补全点云并确定待补全点云中的待补全区域；对目标区域进行特征提取得到第一特征图以及对待补全区域进行特征提取得到第二特征图；将第一特征图与第二特征图进行拼接计算后得到第三特征图；基于第三特征图对待补全区域进行点云补全。本发明专利技术还公开了一种系统、计算机设备以及可读存储介质。本发明专利技术提出的方案通过采集的图像数据对点云数据进行补全，避免了对补全目标的几何对称性的依赖，提高了点云补全的准确性，可以获得更好的点云补全效果，对局部区域进行补全计算而非对整个点云区域进行补全计算，减少了点云补全的计算量。云补全的计算量。云补全的计算量。

【技术实现步骤摘要】
点云补全方法、系统、设备以及存储介质


[0001]本专利技术涉及车路协同领域，具体涉及一种点云补全方法、系统、设备以及存储介质。

技术介绍

[0002]在智能车路协同系统中Lidar采集的点云数据通常被用来进行3D目标检测，但受到采集设备Lidar自身内部结构限制(如Lidar垂直视场角小)和外部原因(如遮挡)的影响，Lidar采集的点云数据中存在部分对象的完整性缺失，这严重影响了3D目标检测模型的召回率和准确率，给车路协同中的交通参与者带来了很大安全隐患，因此，对车路协同系统中Lidar采集的点云数据进行完整性补全(点云补全)具有重要的现实意义。
[0003]现有的点云补全技术通常只对单一模态的Lidar采集的点云数据进行无差别补全，这类点云补全技术方案通常存在计算速度慢、依赖补全目标的几何对称性、对计算设备内存要求高和补全效果差等问题，

技术实现思路

[0004]有鉴于此，为了克服上述问题的至少一个方面，本专利技术实施例提出一种点云补全方法，包括以下步骤：
[0005]对采集的图像进行重构得到重构点云，并基于所述重构点云得到目标区域；
[0006]获取待补全点云并确定所述待补全点云中的待补全区域；
[0007]对所述目标区域进行特征提取得到第一特征图以及对所述待补全区域进行特征提取得到第二特征图；
[0008]将所述第一特征图与第二特征图进行拼接后得到第三特征图；
[0009]基于所述第三特征图对所述待补全区域进行点云补全。
[0010]在一些实施例中，对采集的图像进行重构得到重构点云，进一步包括：
[0011]将采集到的图像输入到第一特征提取网络进行语义特征提取；
[0012]对提取的语义特征使用第一神经网络进行特征压缩；
[0013]对进行压缩后的语义特征进行预设次数的反卷积；
[0014]对最后一次的反卷积结果进行重构得到所述重构点云。
[0015]在一些实施例中，并基于所述重构点云得到目标区域，进一步包括：
[0016]对所述重构点云进行俯视角映射得到第一鸟瞰图；
[0017]使用语义分割模型对所述第一鸟瞰图进行分割计算得到所述目标区域。
[0018]在一些实施例中，获取待补全点云并确定所述待补全点云中的待补全区域，进一步包括：
[0019]对所述待补全点云进行俯视角映射得到第二鸟瞰图；
[0020]计算所述第一鸟瞰图的目标区域与所述第二鸟瞰图的交集；
[0021]将所述第二鸟瞰图中所述交集对应的区域进行反向映射确定所述待补全区域。
[0022]在一些实施例中，对所述目标区域进行特征提取得到第一特征图，进一步包括：
[0023]将所述目标区域输入到第二特征提取网络进行语义特征提取；
[0024]对提取的语义特征使用第二神经网络进行特征压缩；
[0025]对进行压缩后的语义特征重构成第一特征图。
[0026]在一些实施例中，对所述待补全区域进行特征提取得到第二特征图，进一步包括：
[0027]将所述待补全区域的点云输入第三神经网络进行语义特征提取以得到第二特征图。
[0028]在一些实施例中，基于所述第三特征图对所述待补全区域进行点云补全，进一步包括：
[0029]使用第四神经网络对所述第三特征图进行计算后得到第四特征图；
[0030]对第四特征图进行点级最大池化计算得到第五特征图；
[0031]使用第五神经网络对所述第五特征图进行解码以得到所述待补全区域对应的补全点云。
[0032]基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种点云补全系统，包括：
[0033]第一处理模块，配置为对采集的图像进行重构得到重构点云，并基于所述重构点云得到目标区域；
[0034]第二处理模块，配置为获取待补全点云并确定所述待补全点云中的待补全区域；
[0035]第三处理模块，配置为对所述目标区域进行特征提取得到第一特征图以及对所述待补全区域进行特征提取得到的第二特征图；
[0036]拼接计算模块，配置为将所述第一特征图与第二特征图进行拼接得到的第三特征图；
[0037]第四处理模块，配置为基于第三特征图对所述待补全区域进行点云补全。
[0038]基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种计算机设备，包括：
[0039]至少一个处理器；以及
[0040]存储器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时执行如上所述的任一种点云补全方法的步骤。
[0041]基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行如上所述的任一种点云补全方法的步骤。
[0042]本专利技术具有以下有益技术效果之一：本专利技术提出的方案通过采集的图像数据特征对点云数据进行补全，避免了对补全目标的几何对称性的依赖，提高了点云补全的准确性，可以获得更好的点云补全效果。同时只对原始待补全点云中的部分区域进行补全计算，大幅度减少了无效计算量、降低了对计算设备内存空间要求、提高了模型计算速度。
附图说明
[0043]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
[0044]图1为本专利技术的实施例提供的点云补全方法的流程示意图；
[0045]图2为本专利技术的实施例提供的Encode
‑
Image
‑
A模块的结构示意图；
[0046]图3为本专利技术的实施例提供的点云补全方法的流程框图；
[0047]图4为本专利技术的实施例提供的Encode
‑
Image
‑
B模块的结构示意图；
[0048]图5为本专利技术的实施例提供的点云补全系统的结构示意图；
[0049]图6为本专利技术的实施例提供的计算机设备的结构示意图；
[0050]图7为本专利技术的实施例提供的计算机可读存储介质的结构示意图。
具体实施方式
[0051]为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。
[0052]需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。
[0053]根据本专利技术的一个方面，本专利技术的实施例提出一种点云补全方法，如图1所示，其可以包括步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种点云补全方法，其特征在于，包括以下步骤：对采集的图像进行重构得到重构点云，并基于所述重构点云得到目标区域；获取待补全点云并确定所述待补全点云中的待补全区域；对所述目标区域进行特征提取得到第一特征图以及对所述待补全区域进行特征提取得到第二特征图；将所述第一特征图与第二特征图进行拼接得到第三特征图；基于所述第三特征图对所述待补全区域进行点云补全。2.如权利要求1所述的方法，其特征在于，对采集的图像进行重构得到重构点云，进一步包括：将采集到的图像输入到第一特征提取网络进行语义特征提取；对提取的语义特征使用第一神经网络进行特征压缩；对进行压缩后的语义特征进行预设次数的反卷积；对最后一次的反卷积结果进行重构得到所述重构点云。3.如权利要求1所述的方法，其特征在于，基于所述重构点云得到目标区域，进一步包括：对所述重构点云进行俯视角映射得到第一鸟瞰图；使用语义分割模型对所述第一鸟瞰图进行语义分割得到所述目标区域。4.如权利要求3所述的方法，其特征在于，获取待补全点云并确定所述待补全点云中的待补全区域，进一步包括：对所述待补全点云进行俯视角映射得到第二鸟瞰图；计算所述第一鸟瞰图的目标区域与所述第二鸟瞰图的交集；将所述第二鸟瞰图中所述交集对应的区域进行反向映射确定所述待补全区域。5.如权利要求1所述的方法，其特征在于，对所述目标区域进行特征提取得到第一特征图，进一步包括：将所述目标区域输入到第二特征提取网络进行语义特征提取；对提取的语义特征使用第二神经网络进行特征压缩；对进行压缩后的语义特征重构成第一特征图。6...

【专利技术属性】
技术研发人员：王金波，郭振华，
申请(专利权)人：天翼交通科技有限公司，
类型：发明
国别省市：