一种自动驾驶异构系统及实现方法技术方案

本发明专利技术提供一种自动驾驶异构系统及实现方法，包括视频采集处理子系统、数据采集子系统、数据融合子系统、规划决策子系统及运动控制子系统，数据依次通过视频采集处理、数据采集、数据融合、规划决策和运动控制子系统，采集与融合子系统的信息传输至数据共享区，用数据共享和数据交互实现分工合作和协调同步。本发明专利技术由相同或不同硬件架构平台的多个子系统根据功能和工作性质分工协作来完成中央处理器的任务，既减少数据的传输压力，也平衡了整个计算平台的计算量。架构的可扩展性强，可增加和删减传感器及子系统来进行扩展新的功能或减配；而且该异构系统能多个并联，实现整个自动驾驶系统备份冗余和安全监控，提供双重或多重的安全保证。

A Heterogeneous Autopilot System and Its Implementation

【技术实现步骤摘要】
一种自动驾驶异构系统及实现方法
本专利技术涉及自动驾驶
，具体涉及一种自动驾驶异构系统及实现方法。
技术介绍
自动驾驶系统是一个集环境感知、规划决策和运动控制等功能于一体的综合系统，它依赖于各种传感器对汽车行驶途中周边环境静态和动态信息数据的采集、融合、处理、反应以及对复杂场景的解析。由此可见，需要一个强大算力的计算机系统来完成所有数据的处理和计算。因此，很多自动驾驶原型车采用了集中式架构——它的数据全部是从传感器部分传到中央处理器，中央处理器对高频海量的数据来进行计算，目前中央处理器一般选用IPC或者GPU。但这样的架构系统劣势很明显，第一:由于中央处理器运算量特别大，而且带宽要求很高，所以造成了整个系统对硬件的要求十分苛刻。第二:这样的架构系统体积大功耗高、不利于落地生产。另外这种架构的缺点还在于，假如新功能开发需要增加新传感器，中央处理器的软件就要重新部署和刷写，因此可扩展性非常差。更为严重的一点是集中控制系统中局部故障会造成整体系统失效的不可靠性和不稳定性等问题。故而行业提出了分布式架构的汽车控制系统，每个电子单元各自承担计算任务，需要集中处理的数据很少。该架构提高可扩展性较强，令增加新的传感器变得方便。但分布式设计导致的功能分散，在计算的重复性及系统安全及冗余设计方面，仍需要优化设计架构及实现途径。
技术实现思路
专利技术目的：针对集中式架构硬件要求苛刻，可扩展性差，局部故障会造成整体系统失效的不可靠性和不稳定性等缺点，本专利技术提供一种自动驾驶异构系统，由相同或不同硬件架构平台的多个子系统根据功能和工作性质分工协作来完成中央处理器的任务。技术方案：为解决上述技术问题，本专利技术提供的自动驾驶异构系统，包括视频采集处理子系统、数据采集子系统、数据融合子系统、规划决策子系统及运动控制子系统，其中视频采集处理子系统又分为环视子系统和前视子系统。所述环视子系统就是由环视视频采集模块和分布在汽车前后左右多个（一般大于等于4个）广角摄像头组成，环视采集子系统中的视频采集模块采集同一时刻多个广角摄像头的图像，并把图像转换成数字信息传输至环视采集模块上的CPU处理器，然后由CPU处理器通过图像拼接算法进行画面合成和画面矫正，合成一副车身周围的鸟瞰图，再通过图像识别算法对拼接图像进行处理，提取图像中的特征信息和有效信息加上时间戳标记传输至数据融合子系统和数据共享区供其它需要数据的子系统自取。所述前视子系统由前视采集模块和分布在汽车前挡风玻璃内的一个长焦摄像机和一个短焦广角摄像机组成，选择短焦广角摄像机和长焦摄像机配合使用既能保证视场角足够宽不易漏掉检测物，又能拍摄远距离的检测物。前视子系统中的视频采集模块采集同一时刻两个摄像头的图像，并把图像转换成数字信息传输至前视采集模块上的CPU处理器，由CPU处理器通过图像拼接算法进行画面融合、校正、滤波等处理后，再对图像重新定标。进而通过图像识别算法对图像中的特征物体进行比对提取，提取图像中特征物体的信息，诸如红绿的状态，车道线，停车线等，并且通过图像定标参数和数学算法计算出车辆距车道线、红绿灯和停车线（如果检测到红绿灯和停车线）的距离，并把这些目标状态数据和距离信息等数据加上时间戳标记传输至数据融合子系统和数据共享区供其它需要数据的子系统自取。所述数据采集子系统由全球定位单元GPS、惯性测量单元IMU、多线激光雷达Lidar、毫米波雷达Radar等传感器和数据采集模块组成。数据采集模块同时采集这些传感器的数据，并从采集的原始数据中解析出车辆的位置信息（经纬度数据）、车辆的姿态信息、速度及加速度等信息。同时还解析出了此时车辆周围障碍物的方位信息及距离信息。并把这些信息加上时间戳标记传输至数据融合子系统和数据共享区供其它需要数据的子系统自取。所述数据融合子系统根据视觉处理子系统和数据采集子系统提供的各传感器数据，按时间戳信息对同一时刻（容许有一定的误差）所有传感器检测到的物体信息进行聚类计算，根据相邻两次或多次聚类结果计算目标几何相似度，根据相似度进行目标匹配，将匹配成功的目标确定为原始目标，通过对同一目标在不同时刻被传感器检测到的情况进行评判操作，从而判定原始目标为真实目标还是可疑目标或者假目标（这里所说的真实目标为真实存在的物体；可疑目标为可能存在的物体；假目标为不存在的物体）。然后采用基于多特征的目标跟踪方法对真实目标进行跟踪，提取真实目标相对于车辆坐标系中的运动速度；根据同一时刻全球定位单元GPS采集的车辆的运动速度，计算获得真实目标相对于大地坐标系中的运动速度；根据数据采集子系统传输来的目标距离数据计算得到真实目标的中心坐标、目标长度、目标宽度等信息。对于可疑目标则继续进行聚类计算，根据计算结果再次进行评判操作；对于假目标则直接删除。数据融合子系统把真实目标的类别、速度、坐标、长度、宽度等数据加上时间戳标记传输至规划决策子系统和数据共享区供其它需要数据的子系统自取。规划决策子系统根据数据融合子系统提供的真实目标的几何特征和运动特征，建立真实目标特征模型，并对目标类别判定及分类；栅格化目标特征，并进行栅格化表示，获得当前环境下的障碍物及车道线地图。所述地图和预装在系统中的高精度地图及路网数据进行匹配和融合，从而得到针对当前时刻的融合认知的自动驾驶地图。规划决策子系统根据车辆此时刻在规划地图中的位置、速度等信息，所有真实目标在地图中的位置、大小、速度等信息，以及红绿灯的状态等信息来综合规划决策车辆此时刻及未来几秒内的运动状态及运动速度（此处的运动状态指前进、后退、左转、右转及停车；运动速度是指加速到多少、减速到多少或者停车），并把运动状态和运动速度按照约定解析组成报文下发给运动运动控制子系统。运动控制子系统收到规划决策子系统发送来的报文，解析出报文中的命令和参数，然后把解析出的数据和预先存储在系统中的阈值数据做比对，来判定收到的报文是否有效，如果无效则删除报文并上报规划决策子系统。如果数据有效，则读取此时刻线控车的运动状态、运动速度、油门开度、转向角度等车辆信息；然后把报文信息和车辆信息进行融合计算，生成新的报文并发给线控车去执行。同时读取车辆信息数据来判定是否达到本次控制效果。使用时，该系统包括视频采集处理子系统、数据采集子系统、数据融合子系统、规划决策子系统及运动控制子系统，数据依次通过视频采集处理、数据采集、数据融合、规划决策和运动控制子系统，各子系统处理并加上时间戳标记的信息，同时传输至数据共享区供其它需要数据的子系统自取，用数据共享和数据交互实现分工合作和协调同步。有益效果：本专利技术的自动驾驶异构系统，由相同或不同硬件架构平台（可以是ARM架构、也可以式MIPS架构或者X86架构）的多个子系统根据功能和工作性质分工协作来完成中央处理器的任务，这样一方面可以减少数据的传输压力，另一方面也平衡了整个计算平台的计算量。各个子系统相互独立功能互补又通力协作来完成庞大的系统功能，这种系统架构即使局部出现故障也不会影响整个系统的运行；这种架构的好处还在于可扩展性强，可增加和删减传感器及子系统来进行扩展新的功能或减配。另外本系统的另一个亮点是：这样的异构系统能多个并联，可以实现整个自动驾驶系统备份冗余和安全监控，为道路参与者的财产和生命安全提供双重或多重的安全保证。除本文档来自技高网...

【技术保护点】
1.一种自动驾驶异构系统，包括视频采集处理子系统、数据采集子系统、数据融合子系统、规划决策子系统及运动控制子系统，其特征在于：所述视频采集处理子系统分为环视子系统和前视子系统；所述环视子系统处理并提取车身鸟瞰图中的特征信息和有效信息，并把这些信息加上时间戳标记传输至数据融合子系统和数据共享区供其它需要数据的子系统自取；所述前视子系统处理并提取目标状态数据和距离数据，并把这些数据加上时间戳标记传输至数据融合子系统和数据共享区供其它需要数据的子系统自取；所述数据采集子系统包括传感器和数据采集模块，所述数据采集模块同时采集传感器的数据，并从采集的原始数据中解析出车辆的经纬度数据、车辆的姿态信息、速度及加速度，同时解析出此时车辆周围障碍物的方位信息及距离信息，并把这些信息加上时间戳标记传输至数据融合子系统和数据共享区供其它需要数据的子系统自取；所述数据融合子系统根据视觉处理子系统和数据采集子系统提供的各传感器数据，按时间戳信息对同一时刻所有传感器检测到的物体信息进行聚类计算，根据相邻两次或多次聚类结果计算目标几何相似度，根据相似度进行目标匹配，得到真实目标的类别、速度、坐标、长度、宽度数据，并把这些数据加上时间戳标记传输至规划决策子系统和数据共享区供其它需要数据的子系统自取；所述规划决策子系统根据数据融合子系统提供的真实目标的几何特征和运动特征，建立真实目标特征模型，并对目标类别判定及分类；栅格化目标特征，并进行栅格化表示，获得当前环境下的障碍物及车道线地图；所述地图和预装在系统中的高精度地图及路网数据进行匹配和融合，从而得到针对当前时刻的融合认知的自动驾驶地图；规划决策子系统根据车辆此时刻在规划地图中的位置、速度信息，所有真实目标在地图中的位置、大小、速度信息，以及红绿灯的状态信息来综合规划决策车辆此时刻及未来几秒内的运动状态及运动速度，并把运动状态和运动速度按照约定解析组成报文下发给运动运动控制子系统；所述运动控制子系统收到规划决策子系统发送来的报文，解析出报文中的命令和参数，然后把解析出的数据和预先存储在系统中的阈值数据做比对，来判定收到的报文是否有效，如果无效则删除报文并上报规划决策子系统；如果数据有效，则读取此时刻车辆的运动状态、运动速度、油门开度、转向角度信息；然后把报文信息和车辆信息进行融合计算，生成新的报文并发给车辆去执行；同时读取车辆信息数据来判定是否达到本次控制效果。...

【技术特征摘要】
1.一种自动驾驶异构系统，包括视频采集处理子系统、数据采集子系统、数据融合子系统、规划决策子系统及运动控制子系统，其特征在于：所述视频采集处理子系统分为环视子系统和前视子系统；所述环视子系统处理并提取车身鸟瞰图中的特征信息和有效信息，并把这些信息加上时间戳标记传输至数据融合子系统和数据共享区供其它需要数据的子系统自取；所述前视子系统处理并提取目标状态数据和距离数据，并把这些数据加上时间戳标记传输至数据融合子系统和数据共享区供其它需要数据的子系统自取；所述数据采集子系统包括传感器和数据采集模块，所述数据采集模块同时采集传感器的数据，并从采集的原始数据中解析出车辆的经纬度数据、车辆的姿态信息、速度及加速度，同时解析出此时车辆周围障碍物的方位信息及距离信息，并把这些信息加上时间戳标记传输至数据融合子系统和数据共享区供其它需要数据的子系统自取；所述数据融合子系统根据视觉处理子系统和数据采集子系统提供的各传感器数据，按时间戳信息对同一时刻所有传感器检测到的物体信息进行聚类计算，根据相邻两次或多次聚类结果计算目标几何相似度，根据相似度进行目标匹配，得到真实目标的类别、速度、坐标、长度、宽度数据，并把这些数据加上时间戳标记传输至规划决策子系统和数据共享区供其它需要数据的子系统自取；所述规划决策子系统根据数据融合子系统提供的真实目标的几何特征和运动特征，建立真实目标特征模型，并对目标类别判定及分类；栅格化目标特征，并进行栅格化表示，获得当前环境下的障碍物及车道线地图；所述地图和预装在系统中的高精度地图及路网数据进行匹配和融合，从而得到针对当前时刻的融合认知的自动驾驶地图；规划决策子系统根据车辆此时刻在规划地图中的位置、速度信息，所有真实目标在地图中的位置、大小、速度信息，以及红绿灯的状态信息来综合规划决策车辆此时刻及未来几秒内的运动状态及运动速度，并把运动状态和运动速度按照约定解析组成报文下发给运动运动控制子系统；所述运动控制子系统收到规划决策子系统发送来的报文，解析出报文中的命令和参数，然后把解析出的数据和预先存储在系统中的阈值数据做比对，来判定收到的报文是否有效，如果无效则删除报文并上报规划决策子系统；如果数据有效，则读取此时刻车辆的运动状态、运动速度、油门开度、转向角度信息；然后把报文信息和车辆信息进行融合计算，生成新的报文并发给车辆去执行；同时读取车辆信息数据来判定是否达到本次控制效果。2.根据权利要求1所述的自动驾驶异构系统，其特征在于：所述环视子系统就是由环视视频采集模块和分布在汽车前后左右多个广角摄像头组成，环视采集子系统中的视频采集模块采集同一时刻多个广角摄像头的图像，并把图像转换成数字信息传输至环视采集模块上的CPU处理器，然后由CPU处理器通过图像拼接算法进行画面合成...

【专利技术属性】
技术研发人员：王振华，陈诚，张旸，
申请(专利权)人：奥特酷智能科技南京有限公司，
类型：发明
国别省市：江苏,32