【技术实现步骤摘要】
本专利技术属于车路协同、智能驾驶、3d点云视频获取、实时视频编码、lidar点云压缩、多模态3d目标检测、机器人视觉，尤其涉及一种基于3d点云的智能远程驾驶方法及系统。
技术介绍
1、随着新一代通信技术与新能源汽车平台的快速发展，家用汽车领域呈现智能化发展趋势，其中以无人自动驾驶、远程辅助驾驶等功能模块为主的新一代智能汽车随着智慧城市与智能交通的建设越来越受到人们的关注。然而，作为与人民生命安全直接相关的汽车行驶相关技术，无人驾驶技术的推广始终与其安全、可靠性直接相关。因此，在缺乏成熟的自动驾驶技术的当下，将无人驾驶同远程辅助驾驶相结合的机制可以有效保障自动驾驶场景下的乘客安全。其中，远程辅助驾驶是一种人车分离的驾驶模式，其要求驾驶员根据摄像头拍摄的道路画面来远程操控车辆的行驶状态，成熟的远程辅助驾驶系统可实现包括车辆的加速、减速、转弯、换挡、制动等常规驾驶场景下的一切操作。由于远程辅助驾驶功能可以实现人车分离，保障驾驶员安全的同时避免长期道路行驶颠簸出现疲劳，因此应用场景非常广泛，已成为当前汽车领域的热点研究话题。
2、远程驾驶要求远程端驾驶员及时感知驾驶场景周围环境，目前主流解决方案是通过2d摄像头获取视频流后基于网络实现远程场景实时展示。然而，受限于2d视频本身不包括深度信息，无法提供驾驶场景的真实三维环境，因此不论是驾驶员自主观察亦或是基于学习的目标检测算法，均可能出现部分遮挡目标和远处检测对象的漏检、以及对形状相似的物体的错误检测等缺陷。并且，由于远程辅助驾驶需依托稳定且高带宽的网络环境，以保证低时延、高可
技术实现思路
1、本专利技术的目的在于上述现有技术存在的缺陷与不足，提供一种基于3d点云的智能远程驾驶方法及系统，包括：三维点云视频采集压缩、实时传输、多传感器里融合、激光slam、辅助驾驶、多模态3d目标检测、驾驶模式智能切换。首先，对行驶场景下环境视频流进行多路实时压缩传输，并在驾驶端实现实时3d点云场景重构复现，提高远程驾驶的实时性和真实感；其次，根据解码得到的rgb信息以及激光雷达点云信息进行多模态3d目标检测，对3d场景下的人物与车辆进行醒目框表示，提高检测精度，并辅以语音模块，增加远程驾驶的可靠性；最后，在改进实时lidar点云传输系统的基础上，通过基于多传感器融合的gmapping改进算法结合自适应蒙特卡洛定位算法(adaptive mentcarto localization，amcl)与move_base功能包实现一体化实时建图、定位、与导航功能，完成智能辅助驾驶，加强远程驾驶的安全性。
2、为实现上述目的，本专利技术的技术方案是：一种基于3d点云的智能远程驾驶方法，包含行驶端采集编码处理过程以及远程控制端解码控制过程。
3、所述行驶端采集编码传输过程包括以下步骤：
4、步骤c1：实时采集行驶场景信息；
5、c11：利用双目相机实时采集双路rgb视频；
6、c12：利用激光雷达实时采集点云数据；
7、c13：利用小车底部控制板实时获取轮式里程计信息；
8、步骤c2：将传感器采集到的数据传入行驶端微处理器进行预处理；
9、c21：根据双目相机采集的左右视频流计算视差，生成中间视点的彩色视频和其对应的深度图；
10、c22：实时解析激光雷达点云数据，去除激光点云畸变，之后进行距离图映射；
11、c23：将轮式里程计信息转换为字节数组，以便更好的打包传输；
12、步骤c3：对预处理后的数据进行编码压缩，以便达到实时传输的要求；
13、c31：对双目相机采集的一路彩色视频和生成的一路深度视频进行二维视频编码压缩；
14、c32：将映射之后的距离图进行双向预测以及多维浮点数组的无损压缩编码(lossless compressor ofmultidimensional floating-point arrays，fpzip)；
15、c33：将轮式里程计信息进行打包压缩；
16、步骤c4：对编码码流分别进行封装和传输；
17、c41：对编码码流进行封装；
18、c42：对封装后的比特流使用udp协议进行网络传输；
19、所述远程控制端解码处理过程具体包括以下步骤：
20、步骤d1：实时接收数据与解封装；
21、d11：使用udp网络协议接收；
22、d12：对接收的编码码流进行实时解析与解封装；
23、步骤d2：对解封装的码流进行解码；
24、d21：对视频编码比特流进行视频解码；
25、d22：对压缩的距离图进行解码和格式转换，重构激光雷达点云；
26、d23：对轮式里程计数据包进行解析；
27、步骤d3：三维场景重构；
28、d31：利用彩色视频和深度视频重构3d点云；
29、d32：通过重构的3d点云实现实时的驾驶场景三维复现；
30、步骤d4：基于的多传感器融合的同步定位与建图；
31、d41：基于ekf的视觉里程计、轮式里程计及激光雷达里程计的融合，并进行gmapping激光雷达建图；
32、d42：amcl重定位及move_base导航；
33、步骤d5：三维目标检测，用于辅助驾驶；
34、d51：基于相机和激光雷达解码数据的多模态3d目标检测；
35、d52：对d51检测出来的人物和车辆进行醒目框标记，并通过语音模块提醒驾驶者近距离出现以及突然加速的目标；
36、步骤d6：智能驾驶，利用多传感器针对特定的网络情况实现不同的驾驶模式；
37、d61：根据网络波动及丢包情况智能判断当前网络情况；
38、d62：如果网络情况良好，进行远程驾驶，以实现远程三维沉浸式安全驾驶；
39、d63：反之，若出现网络大幅波动及丢包情况，则根据建图信息及提前规划好的路径进行小车自动避障，实现部分极端情况的自适应安全驾驶及停靠；
40、d64：向行驶端微处理器下达实时驾驶命令。
41、进一步地，步骤c11，利用双目相机实时拍摄行驶端路况场景，并生成双路彩色视频。
42、进一步地，步骤c12，利用激光雷达实时扫描行驶端路况场景，获得稀疏的点云数据。
43、进一步地，步骤c13，利用小本文档来自技高网...
【技术保护点】
1.一种基于3D点云的智能远程驾驶方法，其特征在于，包括：
2.根据权利要求1所述的一种基于3D点云的智能远程驾驶方法，其特征在于，
3.根据权利要求2所述的一种基于3D点云的智能远程驾驶方法，其特征在于，在步骤C21中，利用双目相机拍摄的双路RGB视频的左右视点图像计算视差，通过配准和插值生成一路中间视点的彩色图像，并根据双目立体视觉的原理生成中间视点对应的深度图视频；通过特征点配准可知，对于左图像IL(u,v)上的每个像素，其中(u,v)表示2D图像坐标系，像素的横坐标u与纵坐标v分别是在其图像数组中所在的列数与所在行数，在右图像IR(u,v+p)上可能存在一个具有视差值p的像素，以便两个像素描绘相同的3D位置；由于中点视点处于基线中心，与左右视点间的视差相同，可推断出中间视点的对应像素为IM(u,v+p/2)，从而通过插值法获得中间视点的彩色视频；进而，根据双目立体视觉的原理将视差图转化为深度图，如下式所示：
4.根据权利要求2所述的一种基于3D点云的智能远程驾驶方法，其特征在于，在步骤C22中，在对点云进行传输之前，首先利用传感器辅助的
5.根据权利要求2所述的一种基于3D点云的智能远程驾驶方法，其特征在于，在步骤C32中，点云映射为距离图像之后，首先通过编码模式判断，对序列中的关键帧Tf-1、Tf+1利用FPZIP算法进行帧内编码，并通过帧内解码得到重构的然后以它们为参考，对第Tf帧进行双向运动估计得到预测帧其中B代表双向预测关系，之后，对预测残差Tf-Tf'进行FPZIP编码，最后输出压缩后的比特流。
6.根据权利要求2所述的一种基于3D点云的智能远程驾驶方法，其特征在于，在步骤D41，对来自相机的视觉里程计、来自小车控制板的轮式里程计以及激光雷达里程计通过扩展卡尔曼滤波算法EKF进行融合，将融合之后的里程计数据用于Gmapping激光雷达建图；扩展卡尔曼滤波算法EKF融合视觉里程计、轮式里程计、激光雷达里程计信息的方式具体为：将机器人的状态向量设为s，涉及机器人状态的协方差为P，通过传感器观测得到的机器人观测向量为w，控制向量为u，则由t-1时刻到t时刻，通过扩展卡尔曼滤波推导各向量；其中，在扩展卡尔曼滤波算法EKF中，认为状态转移过程与观测过程为非线性，其对应的非线性函数分别为l和h，相对的，F和H分别对应状态转移函数和观测函数的雅可比矩阵，并将观测与预测过程中系统的高斯白噪声的协方差分别用Q，R表示；假设系统初试状态和协方差矩阵分别为和第一个传感器的观测更新后得到系统的状态量及系统协方差矩阵将二者作为下一个传感器更新过程的系统预测状态量和系统预测协方差矩阵进行状态更新；将最后一个传感器更新后得到的系统的状态量及系统协方差矩阵作为融合后输出，并将二者用于预测过程进行下一时刻的迭代；这样就能通过三个传感器得到对机器人状态进行估计后的均值与方差。
7.根据权利要求2所述的一种基于3D点云的智能远程驾驶方法，其特征在于，在骤D42中，实现Gmapping高精度实时建图之后，利用自适应蒙特卡洛定位算法AMCL实现移动机器人操作系统ROS小车的重定位，最后利用move_base功能包实现路径规划和导航功能。
8.根据权利要求2所述的一种基于3D点云的智能远程驾驶方法，其特征在于，在步骤D51中，采用的是基于相机-激光雷达多传感器融合的3D目标检测，利用2D图像和激光雷达点云数据作为输入，通过图像和LiDAR特征提取网络分别得到2D和3D特征，之后解决跨模态对齐问题，最后将多模态特征加权融合，输出每个3D目标的参数；首先，在相机流中，通过图像主干网络ResNet50和特征金字塔网络FPN对图像进行多尺度特征提取获得多尺度特征图，然后通过正交特征变换OFT将它们转换为正交特征图，映射到三维空间；接下来，通过共享注意力编码器获得增强且细粒度的图像鸟瞰图BEV...
【技术特征摘要】
1.一种基于3d点云的智能远程驾驶方法，其特征在于，包括：
2.根据权利要求1所述的一种基于3d点云的智能远程驾驶方法，其特征在于，
3.根据权利要求2所述的一种基于3d点云的智能远程驾驶方法，其特征在于，在步骤c21中，利用双目相机拍摄的双路rgb视频的左右视点图像计算视差，通过配准和插值生成一路中间视点的彩色图像，并根据双目立体视觉的原理生成中间视点对应的深度图视频；通过特征点配准可知，对于左图像il(u,v)上的每个像素，其中(u,v)表示2d图像坐标系，像素的横坐标u与纵坐标v分别是在其图像数组中所在的列数与所在行数，在右图像ir(u,v+p)上可能存在一个具有视差值p的像素，以便两个像素描绘相同的3d位置；由于中点视点处于基线中心，与左右视点间的视差相同，可推断出中间视点的对应像素为im(u,v+p/2)，从而通过插值法获得中间视点的彩色视频；进而，根据双目立体视觉的原理将视差图转化为深度图，如下式所示：
4.根据权利要求2所述的一种基于3d点云的智能远程驾驶方法，其特征在于，在步骤c22中，在对点云进行传输之前，首先利用传感器辅助的方法，通过轮式里程计提供的位姿信息对激光雷达点云进行分段线性插值，以实现时间同步，从而去除运动畸变；在对点云去畸变之后，对所有点云进行距离图映射以加快压缩速度；把一帧的激光雷达按照时间间隔分成n个小区间，假设一帧的激光雷达n个数据对应的时间点为与为一帧中激光数据开始点与结束点对应的时刻，代表对应时刻的激光里程计位姿；而代表拥有里程计信息的时间戳，用表示对应时刻的轮式里程计位姿信息；由于里程计的更新频率远远高于激光雷的数据的发布频率，在相同的时间间隔内，里程计的时间戳比激光雷达的时间戳更加的密集；设移动机器人在每一个小区间内为匀速运动的，通过线性插值为相应小区间中每个激光束对应的激光雷达坐标系找到近似的里程计位姿；用线性插值求出一帧激光数据开始点与结束点对应的时刻的里程计信息和表示如下：
5.根据权利要求2所述的一种基于3d点云的智能远程驾驶方法，其特征在于，在步骤c32中，点云映射为距离图像之后，首先通过编码模式判断，对序列中的关键帧tf-1、tf+1利用fpzip算法进行帧内编码，并通过帧内解码得到重构的然后以它们为参考，对第tf帧进行双向运动估计得到预测帧其中b代表双向预测关系，之后，对预测残差tf-tf'进行fpzip编码，最后输出压缩后的比特流。
6.根据权利要求2所述的一种基于3d点云的智能远程驾驶方法，其特征在于，在步骤d41，对来自相机的视觉里程计、来自小车控制板的轮式里程计以及激光雷达里程计通过扩展卡尔曼滤波算法ekf进行融合，将融合之后的里程计数据用于gmapping激光雷达建图；扩展卡尔曼滤波算法ekf融合视觉里程计、轮式里程计、激光雷达里程计信息的方式具体为：将机器人的状态向...
【专利技术属性】
技术研发人员：陈建，万杰，郑明魁，朱映韬，徐晶晶，
申请(专利权)人：福州大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。