一种用于多车状态监控的实时远程驾驶系统及方法技术方案

本发明专利技术公开了一种用于多车状态监控的实时远程驾驶系统，包括：多个车端装置，每个车端装置用于生成针对当前车辆的运行状态信息和表示当前车辆周身各障碍物识别结果的环境感知结果信息，并将其通过无线通信链路输出；云端仿真平台，其用于根据运行状态信息和环境感知结果信息，分别生成针对每个车端装置的车辆模型和虚拟环境模型，基于此，将所有车端装置的模型数据进行融合，得到包括所有车辆在相应驾驶环境中行驶的数据融合视频，并进行显示。本发明专利技术实现了同时对多车进行监控的要求，对带宽需求小，普及率高，成本低，排除人为判断障碍物特性的环节，具有较高的安全性和可靠性。具有较高的安全性和可靠性。具有较高的安全性和可靠性。

【技术实现步骤摘要】
一种用于多车状态监控的实时远程驾驶系统及方法


[0001]本专利技术涉及矿山自动驾驶
，尤其是涉及一种用于多车状态监控的实时远程驾驶系统及方法。

技术介绍

[0002]近年来，自动驾驶技术发展迅速。由于车辆本身计算资源、功耗的限制，单体车辆难以实时高效的处理传感器数据与进行自动驾驶决策规划计算，导致自动驾驶功能的发展受限，远程驾驶的提出可以解决部分问题；另一方面，利用自动驾驶仿真技术所构建的虚拟环境与车辆模型逼真的还原了自动驾驶场景，为自动驾驶提供了安全保障。
[0003]现有技术中公开的远程遥控驾驶方法，常将车辆实时回传的视频显示在具有驾驶控制能力的云端和/或驾驶模拟器端，作为远程遥控驾驶的依据，实时回传的视频占用带宽较大，对网络通信提出了较高的要求，推广性差、成本较高。其次，驾驶回传的视频只能显示车辆前方、左、右和后方的环境情况，以及车辆总线协议的解析数据，并不包含障碍物大小、形状、位置、速度、类型等感知结果信息，需要远程端人类驾驶员通过人眼在回传的视频上进行判定，具有较强的主观性，安全性较低。此外，人为操作驾驶模拟器一般情况下，同一时刻只能对一辆自动驾驶车辆进行远程驾驶控制，难以进行对多个车辆的同时控制与监管。
[0004]因而，针对现有技术中上述三种存在的技术问题来看，本专利技术需要对上述三种问题逐一进行解决。

技术实现思路

[0005]为了解决上述技术问题，本专利技术提供了一种用于多车状态监控的实时远程驾驶系统，所述系统包括：多个车端装置，每个车端装置用于生成针对当前车辆的运行状态信息和表示当前车辆周身各障碍物识别结果的环境感知结果信息，并将其通过无线通信链路输出；云端仿真平台，其用于根据所述运行状态信息和所述环境感知结果信息，分别生成针对所述每个车端装置的车辆模型和虚拟环境模型，基于此，将所有车端装置的模型数据进行融合，得到包括所有车辆在相应驾驶环境中行驶的数据融合视频，并进行显示。
[0006]优选地，所述系统，还包括：远程驾驶装置，其与所述云端仿真平台进行无线通讯，用于接收并显示所述数据融合视频，根据所述数据融合视频内标记的所述每个车端装置的所述运行状态信息、所述环境感知结果信息和当前车端装置所属车辆与其最近障碍物距离信息，判断是否存在具有紧急接管需求的车辆，若存在，则生成紧急接管指令，并将该指令发送至指定的所述车端装置。
[0007]优选地，所述车端装置，其与所述远程驾驶装置进行无线通讯，还用于在接收到所述紧急接管指令时，控制自身从自动驾驶模式转换为远程驾驶模式，以及在远程驾驶模式下，接收来自所述远程驾驶装置发送的含有方向盘控制量数据、油门踏板控制量数据和制动踏板控制量数据在内的远程驾驶控制指令，以使得所述车端装置按照相应的控制量数据控制当前车辆的驾驶行为。
[0008]优选地，在进行模型数据融合处理过程中，进一步，所述云端仿真平台，其用于将各个车端装置的所述车辆模型和所述虚拟环境模型定位到预设的场景模型中，并标记出每个车辆与其最近的障碍物及相应的距离信息，得到所述数据融合视频；或者，所述云端仿真平台，其用于通过三维重建技术，将各个车端装置的所述虚拟环境模型融合成描述同一场景环境的场景模型，而后将各个车端装置的所述车辆模型定位到所述场景模型中，并标记出每个车辆距离其最近的障碍物及相应的距离信息，得到所述数据融合视频。
[0009]优选地，所述车端装置包括：环境信息采集模块，其具备深度相机、激光雷达和毫米波雷达，用于实时采集表征当前车辆在行驶过程中车身周围环境的深度图像、激光雷达传感数据和毫米波雷达传感数据；障碍物感知模块，其用于利用传感器融合算法，将所述深度图像、所述激光雷达传感数据和所述毫米波雷达传感数据进行融合，识别当前车辆周围环境中的每个障碍物的名称类型、速度、形状、位置和大小，得到含有所有障碍物信息的所述环境感知结果信息；车辆控制器模块，其具备车辆状态控制器、方向盘控制器、油门踏板控制器和制动踏板控制器，用于实时采集当前车辆在运行过程中的车辆状态数据、方向盘数据、油门踏板数据和制动踏板数据，并生成相应的所述运行状态信息。
[0010]优选地，所述远程驾驶装置，其包括多套驾驶遥控装置，其中，每个所述驾驶遥控装置用于接收并解析针对自身的所述紧急接管指令，确定当前装置需要远程控制的车辆，并根据所述数据融合视频内针对当前车辆的所述运行状态信息和所述环境感知结果信息，对指定车辆进行远程驾驶控制，从而实现针对多个具有紧急接管需求的车辆的并行远程驾驶控制。
[0011]另一方面，本专利技术还提供了一种用于多车状态监控的实时远程驾驶方法，所述方法利用上述所述的实时远程驾驶系统，实现同时对多个自动驾驶车辆的行驶状态进行监控，所述方法包括：步骤一、每个车端装置生成针对当前车辆的运行状态信息和表示当前车辆周身各障碍物识别结果的环境感知结果信息，并将其通过无线通信链路输出；步骤二、云端仿真平台根据所述运行状态信息和所述环境感知结果信息，分别生成针对所述每个车端装置的车辆模型和虚拟环境模型；步骤三、所述云端仿真平台将所有车端装置的模型数据进行融合，得到包括所有车辆在相应驾驶环境内行驶的数据融合视频，并进行显示。
[0012]优选地，所述方法，还包括：远程驾驶装置接收并显示所述数据融合视频，根据所述数据融合视频内标记的所述每个车端装置的所述运行状态信息、所述环境感知结果信息和当前车端装置所属车辆与其最近障碍物距离信息，判断是否存在具有紧急接管需求的车辆，若存在，则生成紧急接管指令，并将该指令发送至指定的所述车端装置。
[0013]优选地，在所述步骤三中，包括：所述云端仿真平台将各个车端装置的所述车辆模型和所述虚拟环境模型定位到预设的场景模型中，并标记出每个车辆距离其最近的障碍物及相应的距离信息，得到所述数据融合视频；或者，所述云端仿真平台通过三维重建技术，将各个车端装置的所述虚拟环境模型融合成描述同一场景环境的场景模型，而后将各个车端装置的所述车辆模型定位到所述场景模型中，并标记出每个车辆距离其最近的障碍物及相应的距离信息，得到所述数据融合视频。
[0014]优选地，在所述步骤一中，包括：环境信息采集模块利用内部的深度相机、激光雷达和毫米波雷达，实时采集表征当前车辆在行驶过程中车身周围环境的深度图像、激光雷达传感数据和毫米波雷达传感数据；障碍物感知模块利用传感器融合算法，将所述深度图
像、所述激光雷达传感数据和所述毫米波雷达传感数据进行融合，识别当前车辆周围环境中的每个障碍物的名称类型、速度、形状、位置和大小，得到含有所有障碍物信息的所述环境感知结果信息；车辆控制器模块利用内部的车辆状态控制器、方向盘控制器、油门踏板控制器和制动踏板控制器，实时采集当前车辆在运行过程中的车辆状态数据、方向盘数据、油门踏板数据和制动踏板数据，并生成相应的所述运行状态信息。
[0015]与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：
[0016]本专利技术提出了一种用于多车状态监控的实时远程驾驶系统及方法。该方法及系统不需要传输车端感本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于多车状态监控的实时远程驾驶系统，其特征在于，所述系统包括：多个车端装置，每个车端装置用于生成针对当前车辆的运行状态信息和表示当前车辆周身各障碍物识别结果的环境感知结果信息，并将其通过无线通信链路输出；云端仿真平台，其用于根据所述运行状态信息和所述环境感知结果信息，分别生成针对所述每个车端装置的车辆模型和虚拟环境模型，基于此，将所有车端装置的模型数据进行融合，得到包括所有车辆在相应驾驶环境中行驶的数据融合视频，并进行显示。2.根据权利要求1所述的实时远程驾驶系统，其特征在于，所述系统，还包括：远程驾驶装置，其与所述云端仿真平台进行无线通讯，用于接收并显示所述数据融合视频，根据所述数据融合视频内标记的所述每个车端装置的所述运行状态信息、所述环境感知结果信息和当前车端装置所属车辆与其最近障碍物距离信息，判断是否存在具有紧急接管需求的车辆，若存在，则生成紧急接管指令，并将该指令发送至指定的所述车端装置。3.根据权利要求2所述的实时远程驾驶系统，其特征在于，所述车端装置，其与所述远程驾驶装置进行无线通讯，还用于在接收到所述紧急接管指令时，控制自身从自动驾驶模式转换为远程驾驶模式，以及在远程驾驶模式下，接收来自所述远程驾驶装置发送的含有方向盘控制量数据、油门踏板控制量数据和制动踏板控制量数据在内的远程驾驶控制指令，以使得所述车端装置按照相应的控制量数据控制当前车辆的驾驶行为。4.根据权利要求1～3中任一项所述的实时远程驾驶系统，其特征在于，在进行模型数据融合处理过程中，进一步，所述云端仿真平台，其用于将各个车端装置的所述车辆模型和所述虚拟环境模型定位到预设的场景模型中，并标记出每个车辆与其最近的障碍物及相应的距离信息，得到所述数据融合视频；或者，所述云端仿真平台，其用于通过三维重建技术，将各个车端装置的所述虚拟环境模型融合成描述同一场景环境的场景模型，而后将各个车端装置的所述车辆模型定位到所述场景模型中，并标记出每个车辆距离其最近的障碍物及相应的距离信息，得到所述数据融合视频。5.根据权利要求1～4中任一项所述的实时远程驾驶系统，其特征在于，所述车端装置包括：环境信息采集模块，其具备深度相机、激光雷达和毫米波雷达，用于实时采集表征当前车辆在行驶过程中车身周围环境的深度图像、激光雷达传感数据和毫米波雷达传感数据；障碍物感知模块，其用于利用传感器融合算法，将所述深度图像、所述激光雷达传感数据和所述毫米波雷达传感数据进行融合，识别当前车辆周围环境中的每个障碍物的名称类型、速度、形状、位置和大小，得到含有所有障碍物信息的所述环境感知结果信息；车辆控制器模块，其具备车辆状态控制器、方向盘控制器、油门踏板控制器和制动踏板控制器，用于实时采集当前车辆在运行过程中的车辆状态数据、方向盘数据、油门踏板数据和制动踏板数据，并生成相应的所述运行状态信息。6.根据权利要求2或...

【专利技术属性】
技术研发人员：高玉，魏亚，付建华，
申请(专利权)人：青岛慧拓智能机器有限公司，
类型：发明
国别省市：