基于多传感器的视野图处理方法、装置和设备制造方法及图纸

本申请实施例提供一种基于多传感器的视野图处理方法、装置和设备，其中，该方法包括：获取待分析车辆上的各传感器中每一传感器所采集的第一传感器数据；基于卷积神经网络模型对各传感器中每一传感器所采集的第一传感器数据进行信息融合处理，得到第一融合数据；根据卷积神经网络模型对第一融合数据和待分析车辆的位置信息进行处理，得到视野图的特征图；根据视野图的特征图，生成前视图、鸟瞰图、后视图。采用卷积神经网络模型，根据各传感器所采集的第一传感器数据生成特征图，基于特征图生成前视图、鸟瞰图、后视图；基于卷积神经网络模型的方式可以准确的得到视野图，对各传感器所采集的第一传感器数据进行综合分析，去得到多种视野图。到多种视野图。到多种视野图。

【技术实现步骤摘要】
基于多传感器的视野图处理方法、装置和设备


[0001]本申请实施例涉及车辆
，尤其涉及一种基于多传感器的视野图处理方法、装置和设备。

技术介绍

[0002]随着车辆技术的发展，车辆已经成为人们生活中的重要交通工具。并且，自动驾驶车辆也已经开始得到应用和发展。自动驾驶车辆可以基于采集到的地面数据，完成自动驾驶。
[0003]现有技术中，自动驾驶车辆上安装有多个摄像头，自动驾驶车辆可以基于摄像头采集的图像进行图像拼接，进而得到后视图。
[0004]在实现本申请过程中，专利技术人发现现有技术中至少存在如下问题：只能够得到后视图，并且仅通过图像拼接方式所得到的后视图并不准确。

技术实现思路

[0005]本申请实施例提供一种基于多传感器的视野图处理方法、装置和设备，用以解决只能够得到后视图，并且仅通过图像拼接方式所得到的后视图并不准确的问题。
[0006]第一方面，本申请实施例提供一种基于多传感器的视野图处理方法，所述方法包括：获取待分析车辆上的各传感器中每一传感器所采集的第一传感器数据；基于卷积神经网络模型对各传感器中每一传感器所采集的第一传感器数据，进行信息融合处理，得到第一融合数据；根据卷积神经网络模型对所述第一融合数据和所述待分析车辆的位置信息进行处理，得到视野图的特征图；根据所述视野图的特征图，生成视野图；其中，所述视野图包括前视图、鸟瞰图、后视图。
[0007]在可行的一种实施方式中，基于卷积神经网络模型对各传感器中每一传感器所采集的第一传感器数据，进行信息融合处理，得到第一融合数据，包括：依据各传感器中每一传感器所采集的第一传感器数据中每一目标的位置，基于卷积神经网络模型对各传感器中每一传感器所采集的第一传感器数据，进行融合处理，得到归属于各目标中每一目标的数据，以得到第一中间数据；对所述第一中间数据中的各数据进行归一化处理，得到所述第一融合数据。
[0008]在可行的一种实施方式中，根据卷积神经网络模型对所述第一融合数据和所述待分析车辆的位置信息进行处理，得到视野图的特征图，包括：获取与所述待分析车辆相邻的相邻车辆的各传感器中每一传感器所采集的第二传感器数据；依据各第二传感器数据中每一目标的位置，基于卷积神经网络模型对各第二传感
器数据，进行融合处理，得到归属于各目标中每一目标的数据，以得到第二中间数据；对所述第二中间数据中的各数据进行归一化处理，得到第二融合数据；基于卷积神经网络模型对所述第一融合数据、所述第二融合数据以及所述待分析车辆的位置信息，进行再次的信息融合数据，得到信息数据；基于卷积神经网络模型对信息数据进行处理，得到所述视野图的特征图。
[0009]在可行的一种实施方式中，基于卷积神经网络模型对信息数据进行处理，得到所述视野图的特征图，包括：基于卷积神经网络模型对所述信息数据进行处理，生成所述信息数据中每一目标的特征图，并基于卷积神经网络模型对所述信息数据中每一目标的特征图进行反卷积处理，得到所述信息数据中每一目标的处理后的特征图；依据所述信息数据中每一目标的位置，确定出第一数据特征图和第二数据特征图；其中，所述第一数据特征图为与前视图相关的处理后的特征图，所述第二数据特征图为与后视图相关的处理后的特征图；其中，所述视野图的特征图，包括：所述信息数据中每一目标的处理后的特征图、所述第一数据特征图和所述第二数据特征图。
[0010]在可行的一种实施方式中，根据所述视野图的特征图，生成视野图，包括：基于卷积神经网络模型对所述第一数据特征图进行反卷积处理和识别处理，生成前视图；并基于卷积神经网络模型对所述第二数据特征图进行反卷积处理和识别处理，生成后视图；对所述信息数据中每一目标的处理后的特征图进行投影处理，生成鸟瞰图。
[0011]在可行的一种实施方式中，基于卷积神经网络模型对所述第一融合数据、所述第二融合数据以及所述待分析车辆的位置信息，进行再次的信息融合数据，得到信息数据，包括：获取路网系统上所存储的地图信息，并获取所述相邻车辆的位置信息；基于卷积神经网络模型对所述第一融合数据、所述第二融合数据、所述地图信息、所述待分析车辆的位置信息、以及所述相邻车辆的位置信息，进行再次的信息融合数据，得到信息数据。
[0012]在可行的一种实施方式中，所述方法还包括：基于所述信息数据中每一目标的位置，依据卷积神经网络模型将所述视野图的特征图中每一目标对应的特征图、每一目标的信息进行融合处理，得到拼接特征图；其中，所述信息数据中还包括路网系统上所存储的交通灯信息、所述相邻车辆所处的预设地理范围内的目标物体的信息；根据所述拼接特征图，生成感知占位图，所述感知占位图用于表征所述信息数据中的每一目标；对所述感知占位图进行可视化处理，得到并显示可视化地图。
[0013]在可行的一种实施方式中，所述方法还包括：获取所述待分析车辆的当前轨迹和车辆运行状态；根据所述视野图、所述待分析车辆的当前轨迹和车辆运行状态，生成新的规划路径；或者，获取所述待分析车辆的当前轨迹和车辆运行状态；若根据所述视野图、所述
待分析车辆的当前轨迹和车辆运行状态，确定所述待分析车辆会发生碰撞，则发出警示信息，并重新生成新的规划路径。
[0014]第二方面，本申请实施例提供一种基于多传感器的视野图处理装置，所述装置包括：获取单元，用于获取待分析车辆上的各传感器中每一传感器所采集的第一传感器数据；第一处理单元，用于基于卷积神经网络模型对各传感器中每一传感器所采集的第一传感器数据，进行信息融合处理，得到第一融合数据；第二处理单元，用于根据卷积神经网络模型对所述第一融合数据和所述待分析车辆的位置信息进行处理，得到视野图的特征图；第一生成单元，用于根据所述视野图的特征图，生成视野图；其中，所述视野图包括前视图、鸟瞰图、后视图。
[0015]在可行的一种实施方式中，所述第一处理单元，包括：第一处理模块，用于依据各传感器中每一传感器所采集的第一传感器数据中每一目标的位置，基于卷积神经网络模型对各传感器中每一传感器所采集的第一传感器数据，进行融合处理，得到归属于各目标中每一目标的数据，以得到第一中间数据；第二处理模块，用于对所述第一中间数据中的各数据进行归一化处理，得到所述第一融合数据。
[0016]在可行的一种实施方式中，所述第二处理单元，包括：获取模块，用于获取与所述待分析车辆相邻的相邻车辆的各传感器中每一传感器所采集的第二传感器数据；第三处理模块，用于依据各第二传感器数据中每一目标的位置，基于卷积神经网络模型对各第二传感器数据，进行融合处理，得到归属于各目标中每一目标的数据，以得到第二中间数据；第四处理模块，用于对所述第二中间数据中的各数据进行归一化处理，得到第二融合数据；第五处理模块，用于基于卷积神经网络模型对所述第一融合数据、所述第二融合数据以及所述待分析车辆的位置信息，进行再次的信息融合数据，得到信息数据；第六处理模块，用于基于卷积神经网络模型对信息数据进行处理，得到所述视野图的特征图。
[0017]在可行的一种实施方式中，所述第六处理模块，具本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多传感器的视野图处理方法，其特征在于，所述方法包括：获取待分析车辆上的各传感器中每一传感器所采集的第一传感器数据；基于卷积神经网络模型对各传感器中每一传感器所采集的第一传感器数据，进行信息融合处理，得到第一融合数据；根据卷积神经网络模型对所述第一融合数据和所述待分析车辆的位置信息进行处理，得到视野图的特征图；根据所述视野图的特征图，生成视野图；其中，所述视野图包括前视图、鸟瞰图、后视图。2.根据权利要求1所述的方法，其特征在于，基于卷积神经网络模型对各传感器中每一传感器所采集的第一传感器数据，进行信息融合处理，得到第一融合数据，包括：依据各传感器中每一传感器所采集的第一传感器数据中每一目标的位置，基于卷积神经网络模型对各传感器中每一传感器所采集的第一传感器数据，进行融合处理，得到归属于各目标中每一目标的数据，以得到第一中间数据；对所述第一中间数据中的各数据进行归一化处理，得到所述第一融合数据。3.根据权利要求1所述的方法，其特征在于，根据卷积神经网络模型对所述第一融合数据和所述待分析车辆的位置信息进行处理，得到视野图的特征图，包括：获取与所述待分析车辆相邻的相邻车辆的各传感器中每一传感器所采集的第二传感器数据；依据各第二传感器数据中每一目标的位置，基于卷积神经网络模型对各第二传感器数据，进行融合处理，得到归属于各目标中每一目标的数据，以得到第二中间数据；对所述第二中间数据中的各数据进行归一化处理，得到第二融合数据；基于卷积神经网络模型对所述第一融合数据、所述第二融合数据以及所述待分析车辆的位置信息，进行再次的信息融合数据，得到信息数据；基于卷积神经网络模型对信息数据进行处理，得到所述视野图的特征图。4.根据权利要求3所述的方法，其特征在于，基于卷积神经网络模型对信息数据进行处理，得到所述视野图的特征图，包括：基于卷积神经网络模型对所述信息数据进行处理，生成所述信息数据中每一目标的特征图，并基于卷积神经网络模型对所述信息数据中每一目标的特征图进行反卷积处理，得到所述信息数据中每一目标的处理后的特征图；依据所述信息数据中每一目标的位置，确定出第一数据特征图和第二数据特征图；其中，所述第一数据特征图为与前视图相关的处理后的特征图，所述第二数据特征图为与后视图相关的处理后的特征图；其中，所述视野图的特征图，包括：所述信息数据中每一目标的处理后的特征图、所述第一数据特征图和所述第二数据特征图。5.根据权利要求4所述的方法，其特征在于，根据所述视野图的特征图，生成视野图，包括：基于卷积神经网络模型对所述第一数据特征图进行反卷积处理和识别处理，生成前视图；并基于卷积神经网络模型对所述第二数据特征图进行反卷积处理和识别处理，生成后视图；
对所述信息数据中每一目...

【专利技术属性】
技术研发人员：肖新华，於大维，
申请(专利权)人：国汽智控北京科技有限公司，
类型：发明
国别省市：