三维激光点云密集化方法及设备技术

本发明专利技术的目的是提供一种三维激光点云密集化方法及设备，本发明专利技术是基于深度学习的由稀疏点云生成密集点云的方法，为了能够使用HRNet提取数据特征，先对点云进行规则化处理。把得到的规则化数据输入到HRNet网络进行提取特征，凭借HRNet优秀的特征提取和融合能力。得到更具判别能力的深度特征，把此深度特征应用于点云的密集化，将会得到准确率更高的输出结果。

【技术实现步骤摘要】
三维激光点云密集化方法及设备
本专利技术涉及计算机领域，尤其涉及一种三维激光点云密集化方法及设备。
技术介绍
激光雷达是无人驾驶车辆上的关键设备，它由发射器和接收器组成。激光雷达发射器不间断向四周发射激光，当激光打到物体表面时会进行反射，接收器接受反射的激光，通过发射和接收时间间隔以及光速来计算物体表面点距离激光雷达的位置，进而转换为三维空间中的位置，通过这些三维空间的位置点可以大致获得环境物体的形状、位置等信息。激光雷达以一定数量线束向周围环境发射激光，一般有64线、48线、32线等。线束的数量越多，向周围发射的激光点就越多，因此得到的三维空间激光点就越密集，对周边环境的感知也就越具体。然而，激光雷达的线束数量越多，价格也越贵。综合考虑精度与价格，无人驾驶使用的激光雷达以48线为主流。一般说来，把越密集的激光点云输入到感知算法(如3D目标检测)中，得到的结果也就越好。但48线激光雷达购买价格更贵。此外，离激光雷达越远的物体，其表面打到的激光点云越少，越不利于感知算法做出正确推理。因此，对远距离点云进行密集化同样是一项值得做的事情。
技术实现思路
本专利技术的一个目的是提供一种三维激光点云密集化方法及设备。根据本专利技术的一个方面，提供了一种三维激光点云密集化方法，该方法包括：使用低线束数量的激光雷达获取三维空间的稀疏激光点云，使用高线束数量的激光雷达获取三维空间的密集激光点云；对所述稀疏激光点云进行规则化处理，得到稀疏激光点云规则化数据；对所述密集激光点云进行规则化处理，得到密集激光点云规则化数据；基于所述稀疏激光点云规则化数据、密集激光点云规则化数据和HRNet网络，得到转换后的密集激光点云。进一步的，上述方法中，基于所述稀疏激光点云规则化数据、密集激光点云规则化数据和HRNet网络，得到转换后的密集激光点云，包括：把稀疏激光点云规则化数据输入到HRNet网络提取深度特征并对深度特征进行上采样，得到上采样结果；基于所述上采样结果和密集激光点云规则化数据，计算交叉熵损失；使用梯度下降法对所述交叉熵损失进行优化，最终得到训练好的点云密集化模型；使用低线束数量的激光雷达获取三维空间的待转换的稀疏激光点云，基于所述待转换的稀疏激光点云和所述点云密集化模型，得到转换后的密集激光点云。进一步的，上述方法中，对所述稀疏激光点云进行规则化处理，得到稀疏激光点云规则化数据，包括：将所述稀疏激光点云沿x轴均分N份，沿y轴均分M份,沿z轴均分P份，以得到稀疏激光点云的N*M*P个第一小空间，其中，N、M、P分别为正整数；由N*M*P个第一小空间生成一个形状为N*M*P的第一矩阵；将所述第一矩阵中的每一个数据位置与稀疏激光点云中的每一个第一小空间一一对应，对所述第一矩阵内的每一位置进行赋值，若对应的第一小空间内有点云，则将所述第一矩阵中所述第一小空间所对应的的位置设置为1，否则设置为0，以得到一个N*M*P的3维的稀疏激光点云规则化数据。进一步的，上述方法中，对所述密集激光点云进行规则化处理，得到密集激光点云规则化数据，包括：将所述密集激光点云沿x轴均分N份，沿y轴均分M份,沿z轴均分P份，以得到密集激光点云的N*M*P个第二小空间，其中，N、M、P分别为正整数；由N*M*P个第二小空间生成一个形状为N*M*P的第二矩阵；将所述第二矩阵中的每一个数据位置与密集激光点云中的每一个第二小空间一一对应，对所述第二矩阵内的每一位置进行赋值，若对应的第二小空间内有点云，则将所述第二矩阵中所述第二小空间所对应的的位置设置为1，否则设置为0，以得到一个N*M*P的3维的密集激光点云规则化数据。进一步的，上述方法中，把稀疏激光点云规则化数据输入到HRNet网络提取深度特征并对深度特征进行上采样，得到上采样结果，包括：将N*M*P的3维的稀疏激光点云规则化数据输入到HRNet网络中提取特征，得到形状为N/r*M/r*Q的深度特征，其中，在所述HRNet网络中将作为N*M为体素化后的数据大小，P作为的通道数,Q、r为正整数；对所述形状为N/r*M/r*Q的深度特征进行r倍上采样，以得到形状为N*M*Q的深度特征；对形状为N*M*Q的深度特征通过一层卷积层，调整深度特征特征的通道数为2倍的P，以得到形状为N*M*2P的深度特征；将形状为N*M*2P的深度特征转换为N*M*P*2的深度特征。进一步的，上述方法中，基于所述上采样结果和密集激光点云规则化数据，计算交叉熵损失，包括：将密集激光点云规则化数据作为训练的标签，并对所述标签进行one-hot编码，得到形状为N*M*P*2的的矩阵；计算所述N*M*P*2的深度特征与形状为N*M*P*2的的矩阵的交叉熵损失。进一步的，上述方法中，使用低线束数量的激光雷达获取三维空间的待转换的稀疏激光点云，基于所述待转换的稀疏激光点云和所述点云密集化模型，得到转换后的密集激光点云，包括：使用低线束数量的激光雷达获取三维空间的待转换的稀疏激光点云；对所述待转换的稀疏激光点云进行规则化处理，得到待转换的稀疏激光点云规则化数据；将待转换的稀疏激光点云规则化数据输入所述点云密集化模型，得到输出结果；将所述输出结果进行反规则化处理，以得到转换后的密集激光点云。进一步的，上述方法中，将所述进行反规则化处理，以得到转换后的密集激光点云，包括：将形状为N*M*P*2的输出结果进行one-hot解码，得到形状为N*M*P的解码数据；将形状为N*M*P的解码数据中所有为1的位置在各维度方向的索引组成一个Wx3的索引矩阵，所述索引矩阵如式1：其中，W的取值范围为[0,N*M*P]，index_y表示值为1的位置在y轴上的索引；index_x表示值为1的位置在x轴上的索引；index_z表示值为1的位置在z轴上的索引；基于所述Wx3的索引矩阵，并采用下述三个式子进行计算，最终得到转换后的密集激光点云[x,y,z]，x＝(index_x+0.5)*0.05+0，y＝(index_y+0.5)*0.05-40，z＝(index_z+0.5)*0.1-3。根据本专利技术的另一方面，还提供一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现上述任一项所述的方法。与现有技术相比，本专利技术提供了基于深度学习的由稀疏点云生成密集点云的方法。为了能够使用HRNet提取数据特征，先对点云进行规则化处理。把得到的规则化数据输入到HRNet网络进行提取特征，凭借HRNet优秀的特征提取和融合能力。得到更具判别能力的深度特征，把此深度特征应用于点云的密集化，将会得到准确率更高的输出结果。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1示出本文档来自技高网...

【技术保护点】
1.一种三维激光点云密集化方法，其中，该方法包括：/n使用低线束数量的激光雷达获取三维空间的稀疏激光点云，使用高线束数量的激光雷达获取三维空间的密集激光点云；/n对所述稀疏激光点云进行规则化处理，得到稀疏激光点云规则化数据；对所述密集激光点云进行规则化处理，得到密集激光点云规则化数据；/n基于所述稀疏激光点云规则化数据、密集激光点云规则化数据和HRNet网络，得到转换后的密集激光点云。/n

【技术特征摘要】
1.一种三维激光点云密集化方法，其中，该方法包括：
使用低线束数量的激光雷达获取三维空间的稀疏激光点云，使用高线束数量的激光雷达获取三维空间的密集激光点云；
对所述稀疏激光点云进行规则化处理，得到稀疏激光点云规则化数据；对所述密集激光点云进行规则化处理，得到密集激光点云规则化数据；
基于所述稀疏激光点云规则化数据、密集激光点云规则化数据和HRNet网络，得到转换后的密集激光点云。


2.根据权利要求1所述的方法，其中，基于所述稀疏激光点云规则化数据、密集激光点云规则化数据和HRNet网络，得到转换后的密集激光点云，包括：
把稀疏激光点云规则化数据输入到HRNet网络提取深度特征并对深度特征进行上采样，得到上采样结果；
基于所述上采样结果和密集激光点云规则化数据，计算交叉熵损失；
使用梯度下降法对所述交叉熵损失进行优化，最终得到训练好的点云密集化模型；
使用低线束数量的激光雷达获取三维空间的待转换的稀疏激光点云，基于所述待转换的稀疏激光点云和所述点云密集化模型，得到转换后的密集激光点云。


3.根据权利要求2所述的方法，其中，对所述稀疏激光点云进行规则化处理，得到稀疏激光点云规则化数据，包括：
将所述稀疏激光点云沿x轴均分N份，沿y轴均分M份,沿z轴均分P份，以得到稀疏激光点云的N*M*P个第一小空间，其中，N、M、P分别为正整数；
由N*M*P个第一小空间生成一个形状为N*M*P的第一矩阵；
将所述第一矩阵中的每一个数据位置与稀疏激光点云中的每一个第一小空间一一对应，对所述第一矩阵内的每一位置进行赋值，若对应的第一小空间内有点云，则将所述第一矩阵中所述第一小空间所对应的的位置设置为1，否则设置为0，以得到一个N*M*P的3维的稀疏激光点云规则化数据。


4.根据权利要求3所述的方法，其中，对所述密集激光点云进行规则化处理，得到密集激光点云规则化数据，包括：
将所述密集激光点云沿x轴均分N份，沿y轴均分M份,沿z轴均分P份，以得到密集激光点云的N*M*P个第二小空间，其中，N、M、P分别为正整数；
由N*M*P个第二小空间生成一个形状为N*M*P的第二矩阵；
将所述第二矩阵中的每一个数据位置与密集激光点云中的每一个第二小空间一一对应，对所述第二矩阵内的每一位置进行赋值，若对应的第二小空间内有点云，则将所述第二矩阵中所述第二小空间所对应的的位置设置为1，否则设置为0，以得到一个N*M*P的3维的密集激光点云规则化数据。


5.根据权利要求4所述的方法，其中，把稀疏激光点云规则化数据输入到HRNet网络提取深度特征并对深度特征进行...

【专利技术属性】
技术研发人员：周康明，郭义波，
申请(专利权)人：上海眼控科技股份有限公司，
类型：发明
国别省市：上海;31