一种远程驾驶系统和方法技术方案

本发明专利技术公开一种远程驾驶系统和方法，从驾驶安全员的角度出发，提高远程驾驶体验和安全性，主要由车载系统、中心控制系统和路侧感知系统组成，通过结合交通状况提供重点关注区域，可视化提醒安全员，结合网络状况自动调整视频图像提供高清流畅的视频，减少视频卡顿现象给安全员带来的困扰；同时结合任务情况、周围交通状况、障碍物范围，提供全局可视化的交通状况和路径，提高远程驾驶安全员对不可见区域态势的感知，进一步提升远程驾驶体验感和安全性。全性。全性。

【技术实现步骤摘要】
一种远程驾驶系统和方法


[0001]本专利技术属于自动驾驶
，具体涉及到一种远程驾驶系统和方法。

技术介绍

[0002]随着全国港口吞吐量的不断增长，各大港口当前的设备自动化水平、信息数字化水平、作业智能化水平已经无法满足当前的业务需求，正积极探索港口自动化、智能化改造方向。随着5G、AI、V2X、高精度定位等新技术的兴起和应用，各大港口码头积极应用新技术赋能，如天津港、上海洋山港、宁波港等均在探索港口智能化转型之路，同时衍生出一系列码头新型作业模式，无人水平运输就是其中一类。无人水平运输是通过搭载高精度设备、高性能算法的无人集卡完成装卸箱全流程作业。码头作业规则虽然看似简单，但是工况繁多，涉及与多类大型作业设备交互，现阶段无人驾驶车辆还不足以完全无人化，在特殊情况下需要人工干预。因此借助于5G的大带宽、低延时的特性，5G远程驾驶技术应运而生，在无人集卡无法处理的工况下通过人工远程接管，协助无人集卡脱困。
[0003]目前5G远程驾驶系统大多关注于从网络安全性、系统稳定性等方面研究如何搭建软硬件系统，较少地从安全员使用角度出发思考搭建适用于安全员操控的系统，减少安全员思考判断精力和时间。
[0004]但要实现5G远程驾驶，车端场景的真实性及实时性致关重要，保障了真实性和实时性才能保证远程驾驶舱的操作人员如同坐在车辆驾驶室操作一样，最终才能保证远程驾驶的安全。目前已有技术没有关注远程驾驶安全员对于现场环境的感知和熟悉情况，远程驾驶安全员对现场环境的感知是远不及车上的真实感受，主要体现在以下几方面：1）码头的集卡本身车身较长，而码头箱区、主干道等道路狭窄，若在箱区出入弯口遇到一侧是集装箱、一侧是港机设备，需要远程驾驶人工接管挪车，那么对于远程驾驶安全员的挑战是巨大的；2）码头交通规则不明确，有人集卡逆行、港机转场等情况屡见不鲜，远程驾驶安全员单凭车端上行的多路视频也无法判断其他交通参与者对自身的威胁系数；3）远程驾驶网络延迟会影响安全员判断，即使几百毫秒的网络波动也会带来较大的安全隐患，因此远程驾驶安全员的驾驶难度系数会比现场驾驶集卡的难度系数会更高；4）对远程驾驶安全员要求高，需要持有B级以上驾驶证，且有多年驾驶经验，这对于人员招聘难度大且培训投入的资源较多，另外此类招聘的人员流动性也大，不利于企业长期管理。需要一套能够实时提供周边区域交通状态、网络性能、高清流畅视频的远程驾驶系统，降低对远程驾驶安全员的要求，让安全员易上手的同时进一步提高远程驾驶安全性、可靠性。

技术实现思路

[0005]针对上述问题，本专利技术的主要目的在于设计一种远程驾驶系统和方法，结合路侧感知系统、网络监测模块、可视化远控平台，将影响驾驶安全和体验的关键因素通过算法计算，计算结果通过可视化的形式呈现，更利于远程驾驶操纵体验 。
[0006]为了实现上述目的本专利技术采用如下技术方案：
一种远程驾驶系统，用于被控车辆的远程操作，包括被控车辆自身的车载系统、被控车辆远程驾驶的远控端、路侧感知系统，所述的远控端设置中心控制系统，车载系统与中心控制系统通过无线网络信息交互；路侧感知系统，包括采集设备和通信设备，获取被控车辆周边的道路交通情况，通过计算判定重点图像区域和非重点图像区域，并上传至中心控制系统；车载系统，包括车载控制模块、车辆信息获取模块、视频处理模块及无线通信模块，获取车辆的基本信息及状态并上传至中心控制系统，并通过无线通信模块将中心控制系统接收的重点图像区域范围上传至视频处理模块，经视频处理模块处理后上传至中心控制系统，且所述的车载系统获取来自中心控制系统的控制信号命令，并执行相应的动作；中心控制系统，包括数据处理模块、数据转发模块、调度模块、通信模块，所述的通信模块接收路侧感知系统和车载系统上传的数据，通过数据处理模块处理，并通过数据转发模块将处理后的数据转发至调度模块，进而通过调度模块分配任务建立中心控制系统与车载系统之间的连接，向车载系统下发远程驾驶路线，实现被控车辆的远程驾驶。
[0007]作为本专利技术进一步的描述，所述的采集设备包括被控车辆周边的摄像头，所述摄像头加装雷达感知设备，所述的通信设备为RSU路侧通信设备，摄像头、雷达感知设备与RSU路侧通信设备组成路侧感知系统。
[0008]作为本专利技术进一步的描述，所述的车辆信息获取模块包括RTK定位模块、毫米波雷达感知模块、网络监测模块；RTK定位信息、雷达感知数据通过无线通信模块上传至中心控制系统；网络监测模块，监测从车端至远控端的网络状态，获取网络时延数据delay并上传至中心控制系统，同时转发至视频处理模块。
[0009]作为本专利技术进一步的描述，所述的视频处理模块包括围绕被控车辆设置的6路摄像头，通过6路摄像头获取被控车辆周视摄像头视频，并将视频数据上传至中心控制系统。
[0010]作为本专利技术进一步的描述，所述的视频处理模块对视频的上传包括：对重点图像区域内容传输，对非重点图像区域隔帧传输。
[0011]作为本专利技术进一步的描述，所述的中心控制系统还包括可视化远控平台，可视化远控平台包括呈现车辆信息及状态、向车载系统发送远控指令信息，还包括结合路侧感知数据将重点图像区域进行突出显示。
[0012]一种远程驾驶方法，包括如下步骤：S1：车载系统将被控车辆状态数据通过无线网络上传至中心控制系统，路侧感知系统将被控车辆周围的车辆状态信息以及重点区域范围数据上传至中心控制系统；S2：中心控制系统的数据处理模块将处理路侧感知系统、车载系统的数据，并将重点区域范围、车辆状态信息传输至数据转发模块；S3：数据转发模块将远程控制请求转发至调度模块，车辆状态数据及重点区域范围转发至可视化远控平台；S4：调度模块将分配远程控制任务至可视化远控平台；S5：可视化远控平台根据远程控制任务，建立与被控车辆之间的连接，可视化远控平台的界面呈现被控车辆状态以及全局交通状况、重点区域范围、远程驾驶路线；S6：安全员下发控制指令经过数据转发模块、通信模块、无线网络到达车载系统，
实现远程驾驶车辆运动。
[0013]作为本专利技术进一步的描述，步骤1中，所述的路侧感知系统判定重点图像区域和非重点图像区域方式如下：S101：获取被控车辆周边道路交通情况，通过感知融合算法计算被控车辆周边造成安全威胁的参与者；S102：以被控车辆与最远参与者的距离，结合被控车辆当前车速，计算出以被控车辆为中心到最远参与者的距离；S103：在以被控车辆为中心到最远参与者的距离为半径的范围内，做出内接矩形，该矩形为重点图像区域范围；S104：同时将矩形四个点的位置数据上传至中心控制系统和视频处理模块。、作为本专利技术进一步的描述，S104中，视频处理模块的视频图像处理方法，具体包括如下步骤：步骤1：将视频图像I帧画面分块，划分出重点图像区域及非重点图像区域；步骤2：传输整个视频画面的第一个I帧，该I帧由重点图像区域与非重点图像区域组成；步骤3：传输P帧，P帧为I帧中重点图像区域的参考帧；步骤4：当遇到下一个I帧时，只传输重点图像区域的I帧，非重点图像区域的I帧仍然以第一个I帧本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种远程驾驶系统，用于被控车辆的远程操作，其特征在于：包括被控车辆自身的车载系统、被控车辆远程驾驶的远控端、路侧感知系统，所述的远控端设置中心控制系统，车载系统与中心控制系统通过无线网络信息交互；路侧感知系统，包括采集设备和通信设备，获取被控车辆周边的道路交通情况，通过计算判定重点图像区域和非重点图像区域，并上传至中心控制系统；车载系统，包括车载控制模块、车辆信息获取模块、视频处理模块及无线通信模块，获取车辆的基本信息及状态并上传至中心控制系统，并通过无线通信模块将中心控制系统接收的重点图像区域范围上传至视频处理模块，经视频处理模块处理后上传至中心控制系统，且所述的车载系统获取来自中心控制系统的控制信号命令，并执行相应的动作；中心控制系统，包括数据处理模块、数据转发模块、调度模块、通信模块，所述的通信模块接收路侧感知系统和车载系统上传的数据，通过数据处理模块处理，并通过数据转发模块将处理后的数据转发至调度模块，进而通过调度模块分配任务建立中心控制系统与车载系统之间的连接，向车载系统下发远程驾驶路线，实现被控车辆的远程驾驶。2.根据权利要求1所述的一种远程驾驶系统，其特征在于：所述的采集设备包括被控车辆周边的摄像头，所述摄像头加装雷达感知设备，所述的通信设备为RSU路侧通信设备，摄像头、雷达感知设备与RSU路侧通信设备组成路侧感知系统。3.根据权利要求1所述的一种远程驾驶系统，其特征在于：所述的车辆信息获取模块包括RTK定位模块、毫米波雷达感知模块、网络监测模块；RTK定位信息、雷达感知数据通过无线通信模块上传至中心控制系统；网络监测模块，监测从车端至远控端的网络状态，获取网络时延数据delay并上传至中心控制系统，同时转发至视频处理模块。4.根据权利要求3所述的一种远程驾驶系统，其特征在于：所述的视频处理模块包括围绕被控车辆设置的6路摄像头，通过6路摄像头获取被控车辆周视摄像头视频，并将视频数据上传至中心控制系统。5.根据权利要求4所述的一种远程驾驶系统，其特征在于：所述的视频处理模块对视频的上传包括：对重点图像区域内容传输，对非重点图像区域隔帧传输。6.根据权利要求1所述的一种远程驾驶系统，其特征在于：所述的中心控制系统还包括可视化远控平台，可视化远控平台包括呈现车辆信息及状态、向车载系统发送远控指令信息，还包括结合路侧感知数据将重点图像区域进行突出显示。7.基于...

【专利技术属性】
技术研发人员：梁晖，邹鹰，张显宏，沈汝超，高吉，张翼，汪忠，孟祥东，
申请(专利权)人：上海友道智途科技有限公司，
类型：发明
国别省市：