一体化融合多传感器自动驾驶智能感知装置制造方法及图纸

本发明专利技术公开的一种一体化融合多传感器自动驾驶智能感知装置，能够实时、可靠、准确识别交通环境。本发明专利技术通过下述技术方案实现：智能感知模型模块实时跟踪检测车辆外静态和动态障碍物，获得场景内各要素信息的与行为信息，传感器数据采集模块完成所有传感器的数据接收后，将传感器采集数据传输给传感器数据同步模块，对来自多个智能传感器进行自动分析，并进行目标级检测信息的时空配准，将同步校准后的数据实时送入传感器数据处理模块，把处理好的数据送达规划控制模块，做出实时轨迹预测，传感器融合控制车辆执行模块根据规划控制模块的控制路径规划，执行感知数据，识别车身周围全域视野范围内的通行性、静动态物体，做出制动和规避障碍的决策。

【技术实现步骤摘要】
一体化融合多传感器自动驾驶智能感知装置
本专利技术涉及自动驾驶智能感知领域，更进一步涉及一种基于多传感器融合的一体化便携式自动驾驶智能感知装置。
技术介绍
无人驾驶是人工智能、计算机科学、自动化技术高度发展的产物。当下，人工智能被分为三个阶段：计算智能、感知智能和认知智能。而机器在理解、思考、推理等认知能力方面，却与人类存在很大的差距。自动驾驶汽车是汽车电子、智能控制以及互联网等技术发展融合的产物，其原理为自动驾驶系统利用感知系统，获取车辆自身以及外界环境信息，经过计算系统分析信息、做出决策，控制执行系统实现车辆加速、减速或转向，从而在无需驾驶员介入的情况下，完成自动行驶。自动驾驶汽车通过摄像头、激光雷达、毫米波雷达等众多感知设备和人工智能算法来实现对复杂道路环境的感知。由于目前智能驾驶汽车认知能力的缺失，使得现有智能汽车在面对决策信息时，往往难以做出正确的理解，导致汽车无法像人类驾驶员一样,能快速适应驾驶环境并能及时、迅速的对周边的环境信息做出感知。智能驾驶传感器和计算决策平台是实现汽车智能化的基础，传感器能代替人的眼睛感知外部环境，利用先进的车载视觉传感器、雷达等感知设备，能获取并认知周围车辆/行人的距离、速度、朝向，交通标识等信息，进而将感知信息传递给计算决策平台，该模块支持针对复杂场景的细粒度、结构化的语义感知，能实现对高度可扩展、模块化的三维语义环境重建以及透明化、可追溯、可推理的决策和路径规划。复杂环境感知技术是自动驾驶技术的关键部分，是人工智能视觉技术在自动驾驶领域应用的关键突破点及核心技术。根据无人驾驶汽车事故相关统计数据，城市街道比高速公路更容易发生交通事故，这主要是由于城市场景交通要素更复杂、交通参与者流量更大、交通参与者行为更随机多样。这些特性使得无人驾驶汽车在城市环境行驶时需要面临更大的感知挑战。由于目前智能驾驶测试的路况大多为城市道路或高速公路，在特殊情况(罕见场景)下是否还能准确感知、识别，例如极端天气(如大雪、大雾)会降低人类视觉、AV视觉系统(摄像机、激光雷达)和DSRC传输的最大距离和信号质量(敏度、对比度、过度的视觉杂波)；车辆上过多的灰尘或物理障碍物(如雪或冰)会干扰或降低所有基本的AV传感器(摄像机、激光雷达、毫米波雷达)的最大感知距离和信号质量(敏度、对比度、视场的物理遮挡)；黑暗或低照明(如隧道)情况下会降低AV摄像系统的最大距离和信号质量(敏度，对比度)等。这些常见限制带来传感器感知能力下降的问题一直都是业内攻破的难点。智能驾驶的感知能力主要包括内部感知、驾驶人感知和环境感知三个方面。内部感知主要是通过CAN总线采集车内各电子控制单元信息，以及装载在车上的各类传感器实时产生的数据信息，来获取车辆状态，包括车体(车内外温度、空气流量、胎压)，动力(油压、转速、机油)，车辆安全(安全带、气囊、门窗锁)等。驾驶人感知主要是指通过摄像头、面部识别、提示器等智能套件实现对驾驶员的疲劳监控、注意力监控、超速监管、驾驶姿态监控等，以从驾驶员驾驶层面实现主动安全，减少事故。环境感知主要是利用传感器、定位导航、车联通信(VehicIe-to-X，V2X)来实现对环境的识别、感知、预测等。主流的传感器感知技术包括视觉感知、激光感知、毫米波感知等。视觉感知是基于摄像头采集的图像信息，使用视觉相关算法进行处理，认知周围环境；激光感知是基于激光雷达采集的点云数据，通过滤波、聚类等技术，对环境进行感知；毫米波感知是基于毫米波雷达采集的距离信息，使用距离相关算法进行处理，认知周围环境。但单一传感器采集的数据并不具备整体性和智能性，3D环境建模使激光雷达成为核心传感器，但其无法识别图像及颜色，且在恶劣天气下性能明显降低。毫米波雷达能实现全天候感知，但其分辨率较低，且难以成像。摄像头价格低廉，能够识别交通参与者和交通标识，但却无法实现点阵建模和远距测距。因此，多传感器融合是实现高级别自动驾驶的必经之路，也是自动驾驶未来发展的重要趋势。传统的物体检测模型通常只在深度卷积网络的最后一个特征图上进行后续操作，而这一层对应的下采样率(图像缩小的倍数)通常又比较大，如16，32，造成小物体在特征图上的有效信息较少，小物体检测性能会急剧下降。由于RPN的anchor是均匀分布的，其方差十分大，难以学习，需要进行迭代回归。但RPN没有类似RoIPool或RoIAlign的手段进行特征对齐，因为RPN的输入很多，性能十分重要，只能进行常规的滑动卷积进行输出，这就造成了anchor和feature的对称问题。为了缓解对齐问题，一些研究使用可变形卷积来进行特征图上的空间变换，希望能使得精调后的anchor与变换后的特征。但是这种方法并没有严格的约束去保证特征与变换后的anchor对齐，也很难确定变换后的特征和anchor是否对齐了。在判定anchor的正负时，单纯地使用anchor-free或anchor-base方法都是不行的，因为使用anchor-free标准会导致stage2要求太低，而使用anchor-base则会导致stage1不能回归足够多的正样本。
技术实现思路
为提高自动驾驶的环境感知水平，降低智能汽车在城市交通环境的事故发生率，本专利技术提出一种能够实时、可靠、准确识别交通环境并及时响应的一种一体化融合多传感器自动驾驶智能感知装置。本专利技术的上述目的可以通过以下措施来得到，一种一体化融合多传感器自动驾驶智能感知装置，包括：通过可扩展北斗短报文应急通信和北斗高精度定位接口，连接在自动驾驶汽车上的车载激光雷达、毫米波雷达、双目摄像头和与红外相机相融合在一起的传感器数据采集模块、传感器数据同步模块、车载计算单元、传感器数据处理模块，规划控制模块、传感器融合执行控制模块和电源模块，其特征在于：车载激光雷达、毫米波雷达、双目摄像头和与红外相机相融合，利用人工智能技术模拟人对外界环境的感知过程，建立传感器、定位、AI感知、路径规划和决策、控制车辆的智能感知模型模块，智能感知模型模块对车辆外进行静态和动态障碍物的实时3D目标跟踪检测，检测车辆所处的环境，获得场景内各要素信息的与行为信息，实时发送、接收车辆定位信息、状态信息和控制信息到传感器数据采集模块，采用多传感器融合方式进行智能驾驶感知经度、纬度、高度、速度、航向角、俯仰角、翻滚角、Lidar点云信息和高清视频，获取并输出车辆的状态信息，完成所有传感器的数据接收后，将传感器采集数据传输给传感器数据同步模块，感器数据同步模块对来自多个智能传感器或多源的信息和数据进行自动综合分析，实现多源异构传感器毫米级的空间同步和纳米级的时间同步，并将目标级检测信息的时空配准送入时间、空间同步校准模块，对传感器数据进行时间与空间同步校准，把同步校准后的数据实时送入传感器数据处理模块后，通过车载计算平台上的车载计算单元进行数据处理，把处理好的数据送达规划控制模块，规划控制模块根据智能感知模型模块的感知结果，完成对车辆行驶路径、避障、感知的规划控制与决策，决定车辆最优的路径和决策，做出实时轨迹预测，指引车辆完成路径规划，将车辆的决策处理信息后送入工智能算法模块，确定每个样本的权值，将修改本文档来自技高网...

【技术保护点】
1.一种一体化融合多传感器自动驾驶智能感知装置，包括：通过可扩展北斗短报文应急通信和北斗高精度定位接口，连接在自动驾驶汽车上的车载激光雷达、毫米波雷达、双目摄像头和与红外相机相融合在一起的传感器数据采集模块、传感器数据同步模块、车载计算单元、传感器数据处理模块，规划控制模块、传感器融合执行控制模块和电源模块，其特征在于：车载激光雷达、毫米波雷达、双目摄像头和与红外相机相融合，利用人工智能技术模拟人对外界环境的感知过程，建立传感器、定位、AI感知、路径规划和决策、控制车辆的智能感知模型模块，智能感知模型模块对车辆外进行静态和动态障碍物的实时3D目标跟踪检测，检测车辆所处的环境，获得场景内各要素信息的与行为信息，实时发送、接收车辆定位信息、状态信息和控制信息到传感器数据采集模块，采用多传感器融合方式进行智能驾驶感知经度、纬度、高度、速度、航向角、俯仰角、翻滚角、Lidar点云信息和高清视频，获取并输出车辆的状态信息，完成所有传感器的数据接收后，将传感器采集数据传输给传感器数据同步模块，感器数据同步模块对来自多个智能传感器或多源的信息和数据进行自动综合分析，实现多源异构传感器毫米级的空间同步和纳米级的时间同步，并将同步校准后的数据实时送入传感器数据处理模块后，通过车载计算平台上的车载计算单元进行数据处理，把处理好的数据送达规划控制模块，规划控制模块根据智能感知模型模块的感知结果，完成对车辆行驶路径、避障、感知的规划控制与决策，决定车辆最优的路径和决策，做出实时轨迹预测，指引车辆完成路径规划，对车辆的决策处理信息后送入工智能算法模块，确定每个样本的权值，将修改过权值的新数据集送给下层分类器进行训练，将每次训练得到的分类器最后融合起来，作为最后的决策分类器到达传感器融合控制车辆执行模块，传感器融合控制车辆执行模块根据规划控制模块的控制路径规划，在车辆决策系统控制下，连接汽车中控模块对车辆进行实时控制，执行感知数据，识别车身周围全域视野范围内的通行性、静动态物体，做出制动和规避障碍的决策。/n...

【技术特征摘要】
1.一种一体化融合多传感器自动驾驶智能感知装置，包括：通过可扩展北斗短报文应急通信和北斗高精度定位接口，连接在自动驾驶汽车上的车载激光雷达、毫米波雷达、双目摄像头和与红外相机相融合在一起的传感器数据采集模块、传感器数据同步模块、车载计算单元、传感器数据处理模块，规划控制模块、传感器融合执行控制模块和电源模块，其特征在于：车载激光雷达、毫米波雷达、双目摄像头和与红外相机相融合，利用人工智能技术模拟人对外界环境的感知过程，建立传感器、定位、AI感知、路径规划和决策、控制车辆的智能感知模型模块，智能感知模型模块对车辆外进行静态和动态障碍物的实时3D目标跟踪检测，检测车辆所处的环境，获得场景内各要素信息的与行为信息，实时发送、接收车辆定位信息、状态信息和控制信息到传感器数据采集模块，采用多传感器融合方式进行智能驾驶感知经度、纬度、高度、速度、航向角、俯仰角、翻滚角、Lidar点云信息和高清视频，获取并输出车辆的状态信息，完成所有传感器的数据接收后，将传感器采集数据传输给传感器数据同步模块，感器数据同步模块对来自多个智能传感器或多源的信息和数据进行自动综合分析，实现多源异构传感器毫米级的空间同步和纳米级的时间同步，并将同步校准后的数据实时送入传感器数据处理模块后，通过车载计算平台上的车载计算单元进行数据处理，把处理好的数据送达规划控制模块，规划控制模块根据智能感知模型模块的感知结果，完成对车辆行驶路径、避障、感知的规划控制与决策，决定车辆最优的路径和决策，做出实时轨迹预测，指引车辆完成路径规划，对车辆的决策处理信息后送入工智能算法模块，确定每个样本的权值，将修改过权值的新数据集送给下层分类器进行训练，将每次训练得到的分类器最后融合起来，作为最后的决策分类器到达传感器融合控制车辆执行模块，传感器融合控制车辆执行模块根据规划控制模块的控制路径规划，在车辆决策系统控制下，连接汽车中控模块对车辆进行实时控制，执行感知数据，识别车身周围全域视野范围内的通行性、静动态物体，做出制动和规避障碍的决策。


2.如权利要求1所述的一体化融合多传感器自动驾驶智能感知装置，其特征在于：智能感知模型模块采用多传感器融合的方式，通过融合自动驾驶汽车上的毫米波雷达、激光雷达、双目摄像机与红外相机的采集数据，传感器数据同步模块将智能传感器的目标级检测信息进行时空配准，实现多源异构传感器毫米级的空间同步和纳米级的时间同步，再由计算单元提供强大计算力，保证装置的高能效与高性能。


3.如权利要求2所述的一体化融合多传感器自动驾驶智能感知装置，其特征在于：车载计算单元从前端感知到后端的多源数据处理，对车辆动作进行具体规划、检查抽象策略是否可执行或者执行满足策略的动作，将学习到的抽象策略转化成对车辆的实际控制动作，从而充分保证系统的安全性。


4.如权利要求1所述的一体化融合多传感器自动驾驶智能感知装置，其特征在于人工智能计算法模块采用人工智能AI芯片内置的人工智能算法，基于人工智能算法进行车辆决策与规划，完成初步计算率，采用强化学习来决策行驶需要的高级策略，按照这些策略和动态规划来实施具体的路径规划与避障。


5.如权利要求1所述的一体化融合多传感器自动驾驶智能感知装置，其特征在于：人工智能计算法模块采用深度学习来做激光雷达的三维点云目标检测，三维点云目标检测整...

【专利技术属性】
技术研发人员：刘美琦，周舒雅，
申请(专利权)人：四川天奥空天信息技术有限公司，
类型：发明
国别省市：四川;51