一种具有辅助驾驶功能的低时延智能远程驾驶系统技术方案

本发明专利技术涉及一种具有辅助驾驶功能的低时延智能远程驾驶系统，包括系统前端、系统后端和辅助驾驶子系统；系统前端采集驾驶工具周围环境信息并回传到系统后端，使驾驶员对驾驶工具周围发生的事件进行观察并远程控制驾驶工具；系统前端将采集的驾驶工具周围环境图像信息发送到辅助驾驶子系统，辅助驾驶子系统对驾驶工具周围环境进行分析，当辅助驾驶子系统分析出可能出现危险情形时，将以警报的方式提示驾驶员远程控制驾驶工具做出相应的规避动作或辅助驾驶子系统直接发出命令控制驾驶工具做出避险动作。本发明专利技术增加了辅助驾驶子系统，可以实时处理采集到的信息；通过5G网络作为其载体，使信息回传和控制信号发送这一环路的整体时延保持在极低的水平。

An Intelligent Long-distance Driving System with Low Delay and Auxiliary Driving Function

【技术实现步骤摘要】
一种具有辅助驾驶功能的低时延智能远程驾驶系统
本专利技术涉及远程信息传输和智能辅助驾驶领域，特别是一种具有辅助驾驶功能的低时延智能远程驾驶系统。
技术介绍
通过远程控制方式驾驶机械进行作业拥有极广的应用领域，如现已面世的各型无人机、无人船只、遥控机器人等。但目前的远程驾驶方式具有较大的局限性，比如控制距离有限、只能通过肉眼观察周围环境、仅依靠驾驶员的个人经验控制驾驶工具、前端到后端的整个系统时延大、受网络传输带宽影响严重等缺陷，这严重制约了远程驾驶系统在安全性要求高、时延小的场景的应用，比如远程控制环卫车、汽车、地铁、轻轨列车、整车测试等。另一方面，目前一些远程驾驶的系统只有将车辆的视频信息传回后端给操控员观看，而后端的操控员只能根据现有传感器的安装位置，无法通过调整座椅或通过身体移动获取更多信息，可能会漏掉一些重要信息，因此具有人工智能算法的辅助驾驶系统对后端操控员很有帮助。以往的广域网信息传输会有较大的时延。在日常生活场景中这些网络时延不会造成太大影响，但对于远程驾驶这类应用，其对网络时延的要求极为苛刻。随着5G技术的日趋成熟，5G网络低时延的特点也逐渐凸显，这很好地满足了远程驾驶对低时延网络的要求，但是5G网络与之前几代无线网络类似，也存在信道不稳定的问题，这导致网络的带宽存在波动的现象。如何保证远程驾驶系统数据传输的稳定性、从前端信息采集到后端视频显示整个链路的低时延、对驾驶工具周围环境的充分感知与分析，是保障远程驾驶安全性的关键。
技术实现思路
有鉴于此，本专利技术的目的是提出一种具有辅助驾驶功能的低时延智能远程驾驶系统，增加了辅助驾驶子系统，可以实时处理采集到的信息以可视化的形式呈现给驾驶员以帮助分析决策；同时，当系统判断遇到危险情况时，其还可直接操控驾驶工具进行紧急避险，大大提高安全系数。本专利技术采用以下方案实现：一种具有辅助驾驶功能的低时延智能远程驾驶系统，包括系统前端、系统后端和辅助驾驶子系统；所述系统前端分别与所述系统后端和所述辅助驾驶子系统通信相连；所述系统后端还与所述辅助驾驶子系统通信相连；所述系统前端采集驾驶工具周围1000米视距范围内的环境信息，并回传到所述系统后端，用以使驾驶员对驾驶工具周围发生的事件进行观察；所述系统前端还将采集的驾驶工具周围环境图像信息发送到所述辅助驾驶子系统，所述辅助驾驶子系统采用基于卷积神经网络的深度学习算法和SLAM方法对驾驶工具周围环境进行分析，并将分析结果以视频的方式呈现出来，当辅助驾驶子系统分析出现危险情形时，将在信息显示模块上以警报的方式提示驾驶员远程控制驾驶工具做出相应的规避动作；所述辅助驾驶子系统还与所述机械控制模块连接，在紧急的情况下辅助驾驶子系统直接发出命令至所述机械控制模块控制驾驶工具做出避险动作；所述环境信息包括图像和激光点云数据。进一步地，所述系统前端包括信息采集模块、信源编码器、信道编码器、信息发送模块、控制信号接收模块和基于CAN总线的机械控制模块；所述机械控制模块与所述控制信号接收模块电性相连；所述信息采集模块与所述信息发送模块连接，用以发送所述信息采集模块采集到的无需编码的数据；所述信源编码器分别与所述信息采集模块和所述信道编码器电性相连，用以将所述信息采集模块采集的驾驶工具周围的环境信息通过信源编码器进行压缩编码并发送到所述信道编码器；所述信道编码器还与所述信息发送模块电性相连，用以将所述信道编码器进行冗余编码处理后的信息通过所述信息发送模块发送到所述系统后端。进一步地，所述系统后端包括控制信号发送模块、控制模块、信息接收模块、信道解码器、信源解码器和信息显示模块；所述控制模块与所述控制信号发送模块连接；所述控制信号发送模块还与所述控制信号接收模块连接；所述信息接收模块与所述信息发送模块连接，用以接收所述信息发送模块发送的信息；所述信息接收模块还与所述信息显示模块连接用以发送系统前端中无需编码的数据；所述信道解码器分别与所述信息接收模块和信源解码器连接，所述信源解码器还与所述信息显示模块连接，用以通过所述信道解码器进行去冗余并传输到所述信源解码器进行数据解码还原最后通过所述信息显示模块进行显示，使驾驶员能够实时了解驾驶工具周围的环境并判断周围行人、车辆、障碍物与驾驶工具的距离是否处于预先设定的安全距离及车辆自身姿态是否安全；驾驶员根据显示的驾驶工具周围的环境信息，操作控制模块并通过所述控制信号发送模块将控制信号发送到所述控制信号接收模块；所述控制信号接收模块将接收到的控制信号发送到所述机械控制模块，所述机械控制模块根据接收到的控制信号控制驾驶工具。进一步地，所述辅助驾驶子系统包括目标检测模块、目标识别模块、目标跟踪模块、语义分割模块、道路检测模块、道路线识别模块、道路面方程模块、测距模块和整合模块；所述辅助驾驶子系统中的各个模块均分别与所述信息采集模块和信息接收模块连接并获取信息；所述目标检测模块与所述目标识别模块连接，用以对所述信息采集模块传递的驾驶工具周围环境图像信息进行检测，并将检测信息中出现的各类目标传输到所述目标识别模块进行目标分类；所述目标识别模块与所述目标跟踪模块连接，用以对信息中出现的目标进行跟踪；所述语义分割模块用以对所述信息采集模块传输的环境信息中出现的目标进行轮廓勾勒；所述道路检测模块采用全卷积神经网络对所述信息采集模块传输的图像信息中的道路进行分割与标注；所述道路线识别模块用以检测进行分割与标注后的图像信息中的车道线，并获取车道线的位置信息；所述道路面方程模块通过车辆和路面接触点在平面方程中的距离计算出视野内车辆、障碍物、标志物在三维空间中的具体位置；所述测距模块用以测量图像信息中出现的目标的最终距离，整合模块分别与所述目标检测模块、目标识别模块、目标跟踪模块、语义分割模块、道路检测模块、道路线识别模块、道路面方程模块、测距模块连接，用以整合所有信息的图像发送到所述信息显示模块，用以便于驾驶员进行查看；当所述辅助驾驶系统在紧急的情况下时则直接通过控制所述机械装置对所述驾驶工具进行控制。进一步地，所述系统前端与所述系统后端通过5G网络进行通信。进一步地，本专利技术还提供一种具有辅助驾驶功能的低时延智能远程驾驶系统的工作方法，具体包括以下步骤：步骤S1：所述信息采集模块采集驾驶工具周围的环境图像信息和视频信息通过所述信源编码器进行压缩编码处理和所述信道编码器进行冗余编码处理后传输到所述信息发送模块，并由所述信息发送模块传输至所述信息接收模块；无需编码的信息由所述信息采集模块直接传输到所述信息发送模块，并通过所述信息发送模块传输到所述信息接收模块；步骤S2：所述信息接收模块对接收到的图像信息通过所述信道解码器进行去冗余处理和所述信源解码器进行数据解码还原处理后传输到所述信息显示模块进行显示，使驾驶员能够实时了解驾驶工具周围的环境并判断周围行人、车辆、障碍物与驾驶工具的距离是否处于安全距离及车辆自身姿态是否安全；步骤S3：若行人、车辆或障碍物与驾驶工具的距离在预先设定的范围内即为危险情形，则驾驶员根据显示的驾驶工具周围的环境信息，操作控制模块并通过所述控制信号发送模块将控制信号发送到所述控制信号接收模块；所述控制信号接收模块将接收到的控制信号发送到所述机械控制模块，所述机械控制模块根据接收到的控制信号控本文档来自技高网...

【技术保护点】
1.一种具有辅助驾驶功能的低时延智能远程驾驶系统，其特征在于：包括系统前端、系统后端和辅助驾驶子系统；所述系统前端分别与所述系统后端和所述辅助驾驶子系统通信相连；所述系统后端还与所述辅助驾驶子系统通信相连；所述系统前端采集驾驶工具周围1000米视距范围内的环境信息，并回传到所述系统后端，用以使驾驶员对驾驶工具周围发生的事件进行观察；所述系统前端还将采集的驾驶工具周围环境图像信息发送到所述辅助驾驶子系统，所述辅助驾驶子系统采用基于卷积神经网络的深度学习算法和SLAM方法对驾驶工具周围环境进行分析，并将分析结果以视频的方式呈现出来，当辅助驾驶子系统分析出现危险情形时，将在信息显示模块上以警报的方式提示驾驶员远程控制驾驶工具做出相应的规避动作；所述辅助驾驶子系统还与所述机械控制模块连接，在紧急的情况下辅助驾驶子系统直接发出命令至所述机械控制模块控制驾驶工具做出避险动作；所述环境信息包括图像和激光点云数据。

【技术特征摘要】
1.一种具有辅助驾驶功能的低时延智能远程驾驶系统，其特征在于：包括系统前端、系统后端和辅助驾驶子系统；所述系统前端分别与所述系统后端和所述辅助驾驶子系统通信相连；所述系统后端还与所述辅助驾驶子系统通信相连；所述系统前端采集驾驶工具周围1000米视距范围内的环境信息，并回传到所述系统后端，用以使驾驶员对驾驶工具周围发生的事件进行观察；所述系统前端还将采集的驾驶工具周围环境图像信息发送到所述辅助驾驶子系统，所述辅助驾驶子系统采用基于卷积神经网络的深度学习算法和SLAM方法对驾驶工具周围环境进行分析，并将分析结果以视频的方式呈现出来，当辅助驾驶子系统分析出现危险情形时，将在信息显示模块上以警报的方式提示驾驶员远程控制驾驶工具做出相应的规避动作；所述辅助驾驶子系统还与所述机械控制模块连接，在紧急的情况下辅助驾驶子系统直接发出命令至所述机械控制模块控制驾驶工具做出避险动作；所述环境信息包括图像和激光点云数据。2.根据权利要求1所述的一种具有辅助驾驶功能的低时延智能远程驾驶系统，其特征在于：所述系统前端包括信息采集模块、信源编码器、信道编码器、信息发送模块、控制信号接收模块和基于CAN总线的机械控制模块；所述机械控制模块与所述控制信号接收模块电性相连；所述信息采集模块与所述信息发送模块连接，用以发送所述信息采集模块采集到的无需编码的数据；所述信源编码器分别与所述信息采集模块和所述信道编码器电性相连，用以将所述信息采集模块采集的驾驶工具周围的环境信息通过信源编码器进行压缩编码并发送到所述信道编码器；所述信道编码器还与所述信息发送模块电性相连，用以将所述信道编码器进行冗余编码处理后的信息通过所述信息发送模块发送到所述系统后端。3.根据权利要求2所述的一种具有辅助驾驶功能的低时延智能远程驾驶系统，其特征在于：所述系统后端包括控制信号发送模块、控制模块、信息接收模块、信道解码器、信源解码器和信息显示模块；所述控制模块与所述控制信号发送模块连接；所述控制信号发送模块还与所述控制信号接收模块连接；所述信息接收模块与所述信息发送模块连接，用以接收所述信息发送模块发送的信息；所述信息接收模块还与所述信息显示模块连接用以发送系统前端中无需编码的数据；所述信道解码器分别与所述信息接收模块和信源解码器连接，所述信源解码器还与所述信息显示模块连接，用以通过所述信道解码器进行去冗余并传输到所述信源解码器进行数据解码还原最后通过所述信息显示模块进行显示，使驾驶员能够实时了解驾驶工具周围的环境并判断周围行人、车辆、障碍物与驾驶工具的距离是否处于预先设定的安全距离及车辆自身姿态是否安全；驾驶员根据显示的驾驶工具周围的环境信息，操作控制模块并通过所述控制信号发送模块将控制信号发送到所述控制信号接收模块；所述控制信号接收模块将接收到的控制信号发送到所述机械控制模块，所述机械控制模块根据接收到的控制信号控制驾驶工具。4.根据权利要求2所述的一种具有辅助驾驶功能的低时延智能远程驾驶系统...

【专利技术属性】
技术研发人员：陈志峰，吴林煌，江磊，
申请(专利权)人：福州视驰科技有限公司，
类型：发明
国别省市：福建,35