【技术实现步骤摘要】
本专利技术属于一种用于轮式机器人的3d点云目标检测方法，属于机器人3d视觉。
技术介绍
1、目前随着自动驾驶技术的高速发展和slam技术的研究，对于机器人在运动过程中对于周围环境的感知变得越来越重要，因此输入数据所能携带的信息的多少直接决定了机器人对于环境的感知。传感器数目保证了输入数据的数量，单一传感器的slam技术很难解决现阶段存在的问题，因此在多传感器融合的slam技术已成为许多研究者的研究热点。但这两种slam对于动态物体的检测均有一定的困难。最近几年随着深度学习的高速发展，将深度学习引入动态目标检测变得可行。通过选择多种传感器和引入深度学习，可以有效地避免单个传感器的局限性，融合多个传感器的不同优点，再利用深度学习提高机器人定位的精度，通过视觉回环检测来降低激光传感器的累计误差。
2、基于3d点云数据的目标检测时当前激光slam技术进行场景判断的一种技术。随着近几年的国内lidar设备生产商的发展，价格和精度都有了很大改善，对于3d点云数据的获取变得容易。目前已经提出了很多优秀的深度学习框架，对于点云数据的预处理上仍然集中在将点云投影到平面上使用2d cnn的pixel-based，将点存入到向量中，直接输入3n的向量的point-based和将点存入立体中voxel-based这三种方法。上述方法均使用纯点云数据作为输入的预处理方法，单一具有坐标信息的点云所携带的信息量偏少。
3、轮式里程计是机器人定位中常用的一种技术。它通过监测机器人车轮的运动来估计机器人在环境中的位置和姿态变化。通过监测车
技术实现思路
1、本专利技术的目的在于克服的只带坐标信息的点云数据所携带信息量偏少。在后期学习信息少，点云数据量大，处理速度满。提出了一种用于轮式机器人的3d点云目标检测方法。
2、为达到上述目的，本专利技术具体通过下述技术方案实现：
3、本专利技术保护的一种基于rgb信息的3d点云数据提取与处理方法，包括以下步骤：
4、输入rgb图像信息和激光点云信息，采用基于icp点云配准将当前帧图像与点云进行匹配，使点云数据具备rgb信息。
5、采用体素法进行点云处理，使点云由原始四维p(x,y,z,d)变为p(x,y,z,d,r,g,b)。进一步基于pillars的3维点云处理方法得到
6、pt(x,y,z,d，x_c,y_c,z_c,x2c,y2c,r,g,b)
7、pt中x，y,z为点云所处世界坐标系下位置，d为反射强度，x_c,y_c,z_c为当前柱体的中心点，x2c,y2c为点x，y到中心的距离，r,g,b为点云颜色。
8、对于点云分布不均匀的情况，对非空柱体进行一次采样，限制点云数目，得到张量(d,p,c)。其中d为12维的特征，p为单次抽样非空柱体个数，c为单个柱体里面点的个数。
9、通过轮式里程计限定roi区域，再引入3维卷积处理roi区域的点云数据，使该区域点云具备附加信息，同时采用随机svd分解对非roi区域进行处理，再对非空柱使用pointnet的简化版本对张量(d,p,c)进行特征提取，对特定范围内的点云赋予更高的权重，进行特征提取生成(e,p,c)张量。对点云特征聚合，采用max pooling的方式降维至(e,p)，最后通过pointpillars中的scatter back回到原来的柱体位置去构造大小为(e,h,w)的伪图片，h为高度，w为宽度，再输入二维卷积网络进行学习。
10、在基于类似voxelnet的主干网络基础上引入膨胀卷积，在不降低空间分辨率的基础上扩大感受野，同时降低计算量。
11、本专利技术采用的以上技术方案，与现有技术相比，具有的优点是：本专利技术为了提升检测速度，将rgb信息数据引入点云数据表示。利用轮式里程计实现将点云分为roi区域和非roi区域分别采用3d点云检测处理给予roi区域内点云数据标签和非roi区域采用随机svd分解进行数据压缩，进而缩短检测时间。然后将膨胀卷积引入骨干网络增大感受野，降低计算量。
本文档来自技高网...【技术保护点】
1.一种用于轮式机器人的3d点云目标检测方法，其特性在于，包括以下步骤：
2.按照权利要求1所述的一种用于轮式机器人的3d点云目标检测方法，其特征在于，所述步骤S2具体为：在给点云赋上RGB信息后作为pillars特征提取网络输入处理过程；其输入数据为2维图像数据与3维点云数据，经过点云与图像配准，得到带RGB信息的点云数据，通过pillars的方法用Pt(x,y,z,d，x_c,y_c,z_c,x2c,y2c,R,G,B)来表示点云数据，使点云数据所携带信息量变大。
3.按照权利要求1或2所述的一种用于轮式机器人的3d点云目标检测方法，其特征在于，所述步骤S4具体为：利用轮式里程计得到的数据计算立方体ROI区域，对于立方体内的ROI区域采用Complex-YOLO进行3d目标检测并得到特定区域点云类别概率，对于非ROI区域采用随机SVD分解进行点云数据压缩处理，再输入网络，其具体关键步骤为：
4.按照权利要求1所述的一种用于轮式机器人的3d点云目标检测方法，其特征在于，将膨胀卷积层引入RPN神经网络结构，提升感受野，通过公式
【技术特征摘要】
1.一种用于轮式机器人的3d点云目标检测方法，其特性在于，包括以下步骤：
2.按照权利要求1所述的一种用于轮式机器人的3d点云目标检测方法，其特征在于，所述步骤s2具体为：在给点云赋上rgb信息后作为pillars特征提取网络输入处理过程；其输入数据为2维图像数据与3维点云数据，经过点云与图像配准，得到带rgb信息的点云数据，通过pillars的方法用pt(x,y,z,d，x_c,y_c,z_c,x2c,y2c,r,g,b)来表示点云数据，使点云数据所携带信息量变大。
【专利技术属性】
技术研发人员：龚迪琛，李林峰，于伟，姜长钰，盖东东，李乐飞，章烈，
申请(专利权)人：成都理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。