【技术实现步骤摘要】
本专利技术属于点云数据压缩编码处理，具体涉及一种结合目标检测任务的3d点云编码方法。
技术介绍
1、随着3d激光雷达等三维采集设备种类的扩展以及数量的增加，三维点云数据更容易被获取，精度也得到提升，逐渐成为三维数据最重要的一种表达方式。点云数据中每个点都可以存储几何信息(三维坐标)和属性信息(颜色，法向量，折射率等)，因而能够全方位的对实物进行建模。通过激光雷达反射光束经光电处理后收集到的点云数据可生成环境地图，以实现空间定位与目标检测等功能，业内已应用于自动驾驶、无人机以及智能机器人等场景。与图像和视频中的像素均匀分布在2d空间不同，点云数据中的点在3d空间中呈稀疏且无规律的分布，这种特性导致了在存储与传输点云数据过程中消耗的比特数显著增加，因此开发高效的点云编码方案势在必行。
2、传统的点云编码方法采用八叉树、kd树等不同的数据结构来处理点云数据，这忽视了点云的稀疏性并且会导致失真。近年来，深度学习技术的发展表明，基于深度学习的点云编码方法压缩性能优于mpeg国际点云几何压缩标准g-pcc，其中具有代表性的网络主要有voxeldnn、voxelcontext-net、pcc-s和msvoxeldnn。然而，现有的点云编码网络往往关注对点云几何信息进行特征提取与重建，并未能与目标检测下游任务相结合，这严重降低了后续应用任务的性能。对于使用点云数据而言，我们不仅希望经过编码传输并重建出的点云能保持其原始形状，还希望解码后的点云数据能适用于后续目标检测任务。这可以通过对压缩编码和目标检测任务进行联合训练来实现，即使解码
3、为了使编码任务和目标检测任务结合，我们设计了一种结合3d目标检测任务的点云熵编码深度神经网络，其关键思想是在编码过程减少点云冗余，同时保证目标检测性能。我们还提出一种结合两种任务的损失函数，使解码重建的点云数据更适配于目标检测，从而达到更好的检测效果。该方法利用深度神经网络训练模型，使点云在编码任务中提高网络的对象敏感性和目标识别能力，同时使重建出的点云数据能够与目标检测任务更契合，更加适应检测任务。
技术实现思路
1、本专利技术针对现有技术中存在的技术问题，提供一种结合目标检测任务的3d点云编码方法，本专利技术通过去除地面点与联合损失函数训练网络能够在不影响检测准确率的前提下降低码率，以达到在硬件资源有限的情况下仍然能够充分利用解码后的点云数据进行检测任务的要求。
2、为了实现上述目的，本专利技术通过以下技术方案予以实现：一种结合目标检测任务的3d点云编码方法，按照以下步骤进行：
3、s1、读入目标检测点云数据集data；
4、s2、对数据集data进行预处理；
5、s2-1、将数据集data输入到数据预处理模块中，逐点读取出4元素数组(x,y,z,r)，并进行s2-2的操作；
6、s2-2、利用公式(1)去除地面点：
7、data_remove_ground＝remove_ground_point(input,output|threshold) (1)
8、其中input为输入点云data的路径，output是生成的去地面点后的点云的路径，data_remove_ground为去地面点后的点云，threshold为去地面点的阈值；
9、s2-3、对data_remove_ground建立八叉树并提取当前节点ni的占用符号si，将si嵌入ni对应的体素中，形成局部上下文体素vi，其中i∈[1,u]，u为体素块的数量；
10、s3、搭建点云编码深度神经网络net1，并用预处理后的点云训练net1，得到编解码模型m1：
11、s3-1、搭建点云编码深度神经网络net1，包括熵模块block1和编解码模块block2；
12、s3-2、联合目标检测任务损失函数lossod与编码网络损失函数lossencode构成公式(2)所示的联合损失lossjointloss，并用lossjointloss训练编解码网络net1，得到编解码模型m1。
13、lossjointloss＝lossencode+γlossod (2)
14、其中γ为平衡两种损失的参数；
15、s4、搭建点云目标检测网络net2,利用数据集data训练net2，得到检测模型m2：
16、s4-1、使用任一目标检测深度神经网络作为初始训练网络net2；
17、s4-2、利用目标检测任务的损失函数lossod，利用目标检测点云数据集data训练net2，得到检测模型m2；
18、s5、利用模型m1、m2，对测试点云进行编解码传送及目标检测：
19、s5-1、将测试点云数据利用步骤s2进行预处理，然后利用编解码模型m1预测点的占用概率，使用编解码模块block2进行算数编码，生成编码后的码流并传输至解码端，对点云的反射率和位置进行无失真编码传送；
20、s5-2、解码码流重建3d点云和反射率r，生成重建点云datarec；
21、s5-3、利用检测模型m2对datarec进行目标检测，输出点云目标检测结果。
22、进一步的，所述步骤s2-2中去地面点后的点云data_remove_ground的具体计算过程如下：
23、步骤1)选择合适的邻域半径r，设置地面点邻域阈值hthreshold，对当前节点no＝(xo,yo,zo)，定义其邻域no为以点no为中心、半径为r的球形领域，即：
24、
25、其中o∈[1,ngt]，ngt为输入点云点的数量，nj＝(xj,yj,zj)为当前邻域no内除no以外的点，即nj∈no\{o}；
26、步骤2)计算no＝(xo,yo,zo)与nj＝(xj,yj,zj)的高程差，得到一个最大高程差值do，表示为公式(4)：
27、
28、步骤3)根据设定的阈值hthreshold，判断no是否为地面点，即：如果do＜hthreshold，则点no被分类为地面点，否则被分类为非地面点，得到去地面点后的点云data_remove_ground。
29、进一步的，所述步骤s2-3的具体具体过程如下：
30、步骤1)对去地面点后的data_remove_ground进行l级八叉树建树：将输入点云在x轴、y轴和z轴对三维空间进行等分，以相同的方式遍历划分每个立方体直到最大l级深度，对被点占用的空间，设定其占用信息为“1”并继续划分，未被占用的空间，设占用信息为“0”且停止划分，最终生成2l×2l×2l个二进制体素块，将全部体素块对应的8位占用符号放入集合s，s＝{s1,s2,...si...su}，u为体素块的数量，si表示第i个体素对应的占用符号；
31、步骤2)对当前处理的第i个非空体素块使用中心点坐标作为其坐标，本文档来自技高网...
【技术保护点】
1.一种结合目标检测任务的3D点云编码方法，其特征在于，按照以下步骤进行：
2.根据权利要求1所述的一种结合目标检测任务的3D点云编码方法，其特征在于：所述步骤S2-2中去地面点后的点云Data_remove_ground的具体计算过程如下：
3.根据权利要求1所述的一种结合目标检测任务的3D点云编码方法，其特征在于：所述步骤S2-3的具体具体过程如下：
4.根据权利要求1所述的一种结合目标检测任务的3D点云编码方法，其特征在于：所述编解码网络的损失函数Lossencode的计算过程如下：
5.根据权利要求1所述的一种结合目标检测任务的3D点云编码方法，其特征在于：所述目标检测网络Net2的损失函数LossOD，包含定位损失Lossloc、分类损失Losscls以及角度损失Lossdir损失：
6.根据权利要求4所述的一种结合目标检测任务的3D点云编码方法，其特征在于：熵模块Block1具体网络流程为：
【技术特征摘要】
1.一种结合目标检测任务的3d点云编码方法，其特征在于，按照以下步骤进行：
2.根据权利要求1所述的一种结合目标检测任务的3d点云编码方法，其特征在于：所述步骤s2-2中去地面点后的点云data_remove_ground的具体计算过程如下：
3.根据权利要求1所述的一种结合目标检测任务的3d点云编码方法，其特征在于：所述步骤s2-3的具体具体过程如下：
4.根据权利要求1所述的一种结合目标检测任务...
【专利技术属性】
技术研发人员：王安红，罗康瑞，张静，卜东寒，杨亚坤，景灏，
申请(专利权)人：太原科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。