基于多摄像头与雷达组合的远程驾驶车端场景信息采集、信息展示方法及远程驾驶方法技术

本发明专利技术公开了一种基于多摄像头与雷达组合的远程驾驶车端场景信息采集方法，包括如下步骤：1)判断车辆当前所处的无线通信网络是4G还是5G；2)若为5G，则通过安装在车辆上的多个摄像头同时采集车辆多个角度的视频数据，编码后传输给远程驾驶室；3)若为4G，则仅通过一个摄像头采集车辆正前方的视频数据，经编码后传输给远程驾驶室，同时通过安装在车身上的多个雷达采集其他角度的场景数据并传输给远程驾驶室。本发明专利技术在上述方法的基础上，进一步提供了车端信息展示方法及远程驾驶方法。本发明专利技术采用摄像头与雷达结合的方式，可以很好地解决4G网络下传输多路高清视频带宽不足的问题，保证了远程驾驶的真实性和实时性。

【技术实现步骤摘要】
基于多摄像头与雷达组合的远程驾驶车端场景信息采集、信息展示方法及远程驾驶方法
本专利技术涉及无人驾驶车辆远程驾驶，特别是指一种基于多摄像头与雷达组合的远程驾驶车端场景信息采集、信息展示方法及远程驾驶方法。
技术介绍
随着社会人力成本的上升和无人驾驶技术的发展，一些与交通运输相关的行业逐步无人化，出现可满足不同需求的无人驾驶车辆，如无人出租车RoboTaxi、无人快递小车、无人售卖小车、无人工程机械车辆等。现阶段无人驾驶车辆还不足以完全无人化，在特殊情况下需要人工干预。例如，无人驾驶车辆在极端路况无法做出决策时，或者在高危建筑等作业场景下，需要借用无线通信技术来实现远程驾驶控制，以辅助解决无人驾驶车辆和工程机械车辆无法应对的情况。但要实现远程驾驶，车端场景的真实性及实时性致关重要，保障了真实性和实时性才能保证远程驾驶舱的操作人员如同坐在车辆驾驶室操作一样，最终才能保证远程驾驶的安全。为保证真实性，一般需要采集车辆前方、后方、侧方等多个角度的视频数据；为保证实时性，所采用的无线通信网络必须满足低延迟、高带宽的要求。传统的4G本文档来自技高网...

【技术保护点】
1.一种基于多摄像头与雷达组合的远程驾驶车端场景信息采集方法，其特征在于：/n该方法利用位于车辆(1)上的车端场景信息采集系统对车辆(1)所处的实时环境进行采集，所述车端场景信息采集系统包括安装在车辆(1)上的多个摄像头(11)和多个雷达(12)；/n并且包括如下步骤：/n1)判断需进行远程驾驶的车辆(1)当前所处的无线通信网络(3)是4G还是5G；/n2)若当前所处的无线通信网络(3)是5G，则通过安装在车辆(1)上的多个摄像头(11)同时采集车辆(1)多个角度的视频数据，编码后经无线通信网络(3)传输给远程驾驶室(2)；/n3)若当前所处的无线通信网络(3)是4G，则仅通过一个摄像头(11...

【技术特征摘要】
1.一种基于多摄像头与雷达组合的远程驾驶车端场景信息采集方法，其特征在于：
该方法利用位于车辆(1)上的车端场景信息采集系统对车辆(1)所处的实时环境进行采集，所述车端场景信息采集系统包括安装在车辆(1)上的多个摄像头(11)和多个雷达(12)；
并且包括如下步骤：
1)判断需进行远程驾驶的车辆(1)当前所处的无线通信网络(3)是4G还是5G；
2)若当前所处的无线通信网络(3)是5G，则通过安装在车辆(1)上的多个摄像头(11)同时采集车辆(1)多个角度的视频数据，编码后经无线通信网络(3)传输给远程驾驶室(2)；
3)若当前所处的无线通信网络(3)是4G，则仅通过一个摄像头(11)采集车辆(1)正前方的视频数据，经编码后通过无线通信网络(3)传输给远程驾驶室(2)，同时通过安装在车身上的多个雷达(12)采集其他角度的场景数据并传输给远程驾驶室(2)。


2.根据权利要求1所述的远程驾驶车端场景信息采集方法，其特征在于：所述步骤2)中，车辆(1)上部署的摄像头(11)的数量为六个，采集的视频角度分别为：正前、正后、左侧前、左侧后、右侧前、右侧后，编码后的分辨率分别为1920*1080、960*540、1280*720、1280*720、1280*720、1280*720。


3.根据权利要求1或2所述的远程驾驶车端场景信息采集方法，其特征在于：所述步骤2)中，采用H.264对视频进行编码；所述步骤3)中，采用H.265对视频进行编码。


4.根据权利要求1或2所述的远程驾驶车端场景信息采集方法，其特征在于：所述雷达(12)为超声波雷达，车身前后左右每一侧均设置有四个超声波雷达，形成环绕车身的全方位无死角覆盖。


5.一种与权利要求1～4中任一项所述远程驾驶车端场景信息采集方法相配套的远程驾驶车端信息展示方法，其特征在于：
该方法利用位于远程驾驶室(2)内的场景信息展示系统(21)接收车辆(1)传来的车端场景信息和车辆状态信息并对二者进行展示，所述场景信息展示系统(21)包括多个屏幕或屏幕分区；
并且包括如下步骤：
1)接收来自车端场景信息采集系统发送的场景数据，以及通过安装在车辆(1)上的驾驶控制装置获取的车辆状态信息；
2)若步骤1)接收到的场景数据为多路视频数据，则将其解码后显示到对应的屏幕或屏幕分区中，同时将车辆状态信息也显示到对应的屏幕或屏幕分区中；
3)若步骤1)接收到的场景数据为一路视频数据和多路雷达数据，则将一路视频数据显示在对应的屏幕或屏幕分区中，并提取雷达数据中的障碍物信息进行实时语音播报和/或显示到其他屏幕或屏幕分区中，同时将车辆状态信息也显示到对应的屏幕或屏幕分区中。


6.根据权利要求5所述的远程驾驶车端信息展示方法，其特征在于：所述步骤3)中，雷达数据...

【专利技术属性】
技术研发人员：何薇，付智俊，谢斌，郭启翔，吴明瞭，尹思维，林凌，董庆大，王文博，张路玉，
申请(专利权)人：东风汽车股份有限公司，
类型：发明
国别省市：湖北;42