基于机器学习的多智能体感知融合系统及其实现方法技术方案

本发明专利技术公开一种基于机器学习的多智能体感知融合系统及其实现方法，多个智能体在行驶过程中通过摄像头采集道路环境图片，根据采集的道路环境图片制作训练数据集；使用训练数据集训练算法模型，并将算法模型部署在计算芯片上；使用过程：智能体行驶过程中，通过摄像头采集道路环境图片，并发送给计算芯片，在计算芯片中运行算法模型，提取图片中的特征，对多摄像头图片进行特征融合，对融合好的特征进行多任务预测，得到环境信息，使用通信模块将环境信息分享给周边智能体并获取周边智能体分享的环境信息，计算芯片将通信获取的环境信息进行融合，完善自身环境信息。本发明专利技术增加了智能体感知范围，降低了智能体感知盲区，提高了智能体的决策精度。能体的决策精度。能体的决策精度。

【技术实现步骤摘要】
基于机器学习的多智能体感知融合系统及其实现方法


[0001]本专利技术涉及一种基于机器学习的多智能体感知融合系统及其实现方法，尤其涉及一种基于计算机视觉算法及空间特征与时间特征融合的多智能体感知融合系统，属于智能体自动控制


技术介绍

[0002]近年来，随着机器学习技术的逐步发展与成熟，基于深度学习的计算机视觉技术在一系列任务中取得了更好的性能，例如目标检测、图片分类任务等。计算视觉技术也逐渐应用在工业领域的各个方面，比如行人识别，指纹识别，人脸识别，自动驾驶等领域。
[0003]多智能体感知融合系统指通过采集多智能体的摄像头拍摄的照片，获取智能体周边环境信息的系统。
[0004]现有智能体感知系统一般包括以下几种方法，基于视觉感知、雷达感知与无线通信等。具体做法为：（1）视觉感知算法一般基于单智能体摄像头，通过处理摄像头采集的图片和视频数据，识别智能体周围环境中的移动目标、固定目标、可行驶区域等。但是单智能体视觉感知容易受到光线、天气等环境因素的干扰。（2）雷达感知算法通过雷达向周围发射射线，然后根据物体反射回来的射线到达自身的时刻来计算周围物体距离自身的距离。根据发射的射线不同，分为激光雷达(LiDAR)、毫米波雷达(RADAR)和超声波雷达，分别发射激光射线、毫米级别波长的射线和超声波。特点和用途也各不相同。激光雷达射线波长最短，可以发射的距离远，精度高，但是抗干扰能力差，毫米波雷达的射线波长较长，分辨率较低，抗干扰能力强，超声波雷达发射距离最近，主要用于探测智能体周围的近距离物体。雷达的原始数据为三维空间中的点，通过模型处理为智能体，行人等目标。可以补充视觉感知的不足。雷达感知算法的缺点为计算速度慢，对计算芯片性能要求高，单一雷达扫描范围受限制。（3）无线通信通过智能体与周边智能体、道路基础设施以及云端进行通信，获取信息，周边智能体可以互相告知自身意图以及其他道路信息，可以提前做到合理避让及换道，提高通行效率。无线通信模块需要与视觉感知和雷达感知结合使用才能发挥效果。现有技术没有融合多智能体摄像头感知系统。

技术实现思路

[0005]专利技术目的：针对现有技术存在的问题与不足，本专利技术提供一种基于机器学习的多智能体感知融合系统，本专利技术使用计算机视觉技术、深度学习技术、通信技术，通过摄像头采集照片，通过机器学习技术对照片进行特征提取与融合，通过通信技术对多智能体摄像头感知进行融合，计算自身周边环境信息，用于轨迹预测和规划控制等其他自动控制模块使用。
[0006]技术方案：一种基于机器学习的多智能体感知融合系统，包括：摄像头，用于采集道路环境图片数据；计算芯片，用于运行计算机视觉算法；
通信模块，用于发送自身感知信息和接收环境智能体通信模块发出的感知信息。
[0007]多智能体在行驶过程中通过摄像头采集道路环境图片，根据采集的道路环境图片制作训练数据集。使用训练数据集训练算法模型，并将算法模型部署在计算芯片上。使用过程：智能体在行驶过程中，通过摄像头采集道路环境图片，并发送给计算芯片，在计算芯片中运行算法模型，提取图片中的特征，对多摄像头图片进行空间特征融合，对时间序列图片特征进行时间特征融合，对融合好的特征进行多任务预测，得到模型输出结果，使用通信模块将模型预测结果分享给周边智能体，同时通过通信模块获取周边智能体的模型输出结果，计算芯片将通信获取的结果信息进行融合，完善环境信息。
[0008]一种基于机器学习的多智能体感知融合系统的实现方法，包括：S1，制作训练数据集多智能体同时在同一道路区域中行驶，参与正常交通行驶过程，每个智能体均安装多个摄像头同步采集道路环境图片，同时记录智能体在环境中的位置和朝向，以及环境中智能体、行人、交通标志等目标的位置和朝向等，然后在三维向量空间中对图片中目标进行标注，得到图片中不同目标的位置，保存摄像头参数，完成制作训练数据的过程；采集道路环境图片时，智能体需在不同道路、不同路况、不同天气、不同时间段下的行驶，保证训练集数据多样性。
[0009]S2，算法模型设计算法模型包括特征提取网络，单智能体特征融合网络，多头预测网络，以及多智能体感知融合网络。单智能体特征融合网络包括空间特征融合网络和时间特征融合网络；特征提取网络用于提取单摄像头采集的图片特征；单智能体特征融合网络用于对特征提取网络提取的特征进行时间融合和空间融合；多头预测网络用于进行目标检测，图像分割，以及图片分类预测任务；多智能体感知融合网络用于融合自身和其他智能体的环境信息，并更新自身环境信息。
[0010]201、模型输入模型的输入为训练集数据，训练集数据包括摄像头采集的道路环境图片，摄像头参数，以及训练集中的智能体位置、朝向。摄像头参数包括安装位置、安装角度、焦距和像素密度。
[0011]202、特征提取网络的实现特征提取网络包括主干网络和特征融合网络，使用基于计算机视觉算法的主干网络对训练数据集中单个摄像头采集的道路环境图片进行计算，保存不同尺度的特征，使用特征融合网络，对不同尺度的特征进行融合。
[0012]203、空间特征融合网络的实现结合摄像头外部参数，将202中融合后的特征，转换到一个统一的三维向量空间，并分割为网格，针对每个网格，根据摄像头参数，计算每个网格在单智能体多个摄像头中对应的投影位置，然后融合特征提取网络中单智能体多摄像头采集的道路环境图片对应位置的特征，作为向量空间中该网格的特征。空间特征融合的输出为单一时刻的整个向量空间的特征。
[0013]204、时间特征融合网络的实现行驶任务的决策需要历史时刻的信息，保留历史特征信息，可以得知被遮挡的目
标位置。时间特征融合网络的任务是把不同时间的空间特征融合网络输出的向量空间特征进行融合，通过维护一个时间间隔特征栈，也就是固定时间间隔的处理入栈和出栈。再维护一个空间间隔特征栈，也就是固定智能体行驶距离间隔控制进出栈。对时间间隔特征栈和空间间隔特征栈中的两部分时间序列特征，以及智能体的速度及加速度等动力学特征信息进行特征融合。本步骤输出的特征就是单智能体特征融合网络最终的输出，用于后续预测网络进行具体任务的预测。
[0014]205、多头预测网络的实现多头预测网络为多个预测网络的集合，包括目标检测网络、图像分割网络和图片分类网络。使用204步骤融合后的特征作为共享特征，通过不同功能的预测网络分别进行不同类别的预测任务；使用目标检测网络，对向量空间中的共享特征进行预测，输出智能体、行人、交通灯、交通标志牌等目标的大小，位置，数量，以及置信度等信息；使用图像分割网络，输出车道线、可行驶区域、道路边缘等区域的范围等信息；通过图片分类网络输出当前的天气、光照、道路路面湿滑雨雪等信息。本步骤输出的信息统称为自身感知系统输出的环境信息。
[0015]206、多智能体感知融合网络的实现通过通信模块，与周围智能体进行通信，共享205步骤输出的环境信息，同时将其他智能体发出的环境信息融合进自身感知系统输出的环境信息，可以互相弥补感知盲区，扩大感知范围。
[0016]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器学习的多智能体感知融合系统，其特征在于，包括：摄像头，用于采集道路环境图片数据；计算芯片，用于运行计算机视觉算法；通信模块，用于发送自身感知信息和接收环境智能体通信模块发出的感知信息；多个智能体在行驶过程中通过摄像头采集道路环境图片，根据采集的道路环境图片制作训练数据集；使用训练数据集训练算法模型，并将算法模型部署在计算芯片上；使用过程：智能体行驶过程中，通过摄像头采集道路环境图片，并发送给计算芯片，在计算芯片中运行算法模型，提取图片中的特征，对多摄像头图片进行空间特征融合，对时间序列图片特征进行时间特征融合，对融合好的特征进行多任务预测，得到模型输出结果，使用通信模块将模型预测结果分享给周边智能体，同时通过通信模块获取周边智能体的模型输出结果，计算芯片将通信获取的结果信息进行融合，完善环境信息。2.一种基于机器学习的多智能体感知融合系统的实现方法，其特征在于，包括：S1，制作训练数据集多个智能体同时在同一道路区域中行驶，每个智能体均安装多个摄像头同步采集道路环境图片，保存摄像头参数；S2，算法模型设计算法模型包括特征提取网络，单智能体特征融合网络，多头预测网络，以及多智能体感知融合网络；单智能体特征融合网络包括空间特征融合网络和时间特征融合网络；特征提取网络用于提取单摄像头采集的图片特征；单智能体特征融合网络用于对特征提取网络提取的特征进行时间融合和空间融合；多头预测网络用于进行目标检测，图像分割，以及图片分类预测任务；多智能体感知融合网络用于融合自身和其他智能体的环境信息，并更新自身环境信息；S3，算法模型训练将训练数据集输入S2中设计的算法模型，对算法模型进行训练，直到算法模型收敛达到最佳性能；算法模型保存为文件，用于算法模型部署；S4，算法模型部署将S3中训练好的算法模型文件部署在安装有摄像头，通信模块及计算芯片的智能体上；S5，系统应用部署有多智能体感知融合系统的智能体在道路中行驶时，摄像头采集道路环境图片，并发送给计算芯片，计算芯片中的算法模型提取图片中的特征并对单智能体多摄像头的图片特征进行时间特征融合和空间特征融合，然后对融合后的特征进行预测，得到单智能体算法模型输出的环境信息；然后通信模块将环境信息发送给环境智能体，并接受环境智能体发送的环境信息；最后计算芯片将收到的环境信息与自身环境信息进行融合，更新自身环境信息。3.根据权利要求2所述的基于机器学习的多智能体感知融合系统的实现方法，其特征在于，所述制作训练数据集中，多智能体同时在同一道路区域中行驶，每个智能体均安装多个摄像头同步采集道路环境图片，同时记录智能体在环境中的位置和朝向，以及环境中智能体、行人、交通标志的位置和朝向，然后在三维向量空间中对图片中目标进行标注，得到
图片中不同目标的位置，保存摄像头参数，完成制作训练数据的过程；采集道路环境图片时，智能体需在不同道路、不同路况、不同天气、不同时间段下的行驶，保证训练集数据多样性。4.根据权利要求2所述的基于机器学习的多智能体感知融合系统的实现方法，其特征在于，模型的输入为训练集数据，训练集数据包括摄像头采集的道路环境图片，摄像头参数，以及训练集中的智能体位置、朝向；摄像头参数包括安装位置、安装角度、焦距和像素密度。5.根据权利要求2所述的基于机器学习的多智能体感知融合系统的实现方法，其特征在于，所述特征提取网络包括主干网络和特征融...

【专利技术属性】
技术研发人员：俞扬，詹德川，周志华，仲伟渊，袁雷，
申请(专利权)人：南京大学，
类型：发明
国别省市：