【技术实现步骤摘要】
本专利技术涉及无人驾驶领域，尤其涉及一种传感器语义信息的融合方法、设备、移动装置和存储介质。
技术介绍
1、随着机器人技术及人工智能技术的共同进步，为无人驾驶技术带来了快速的发展。无人驾驶车辆在无人仓库、公交运营、环卫清扫等各个行业受到越来越广泛地应用。要使无人驾驶车辆能够在各种环境中安全自主地行驶，可靠的环境感知能力起着至关重要的作用，尤其是能否正确区分车辆行进前方的可通行区域。
2、现有技术的可通行区域检测一般用到图像语义分割信息，包括rgb(red greenblue，红绿蓝)图像分割、3d激光雷达点云语义分割以及多传感器融合语义分割(融合rgb图像及雷达点云的语义分割)，多传感器融合语义分割方法多采用球面投影或透视投影的方式将点云投影到图像上，获取相关的图像语义分割信息，然后将相关的图像像素投影回点云空间，在点云空间上进行多传感器融合。
3、在实现本专利技术过程中，专利技术人发现相关技术中至少存在如下问题：
4、现有的图像语义分割方法中，单纯的rgb图像语义分割很容易受到光线的干扰，所采集到的数据经常存在噪声，对于自动驾驶等应用来说是非常危险的。单纯的激光雷达可以提供可靠的环境信息以及空间的几何信息，但激光雷达采集到的数据往往非常稀疏且缺乏颜色和纹理信息，这使得仅基于激光雷达数据进行细粒度语义分割较为困难。也有用球面投影或透视投影的方式将点云投影到图像上的多传感器融合语义分割方法，由于点云投影到图像中会使得图像纹理信息缺失严重而难以得到理想的效果。
技术实现
1、为了至少解决现有技术中单纯的rgb图像语义分割以及激光雷达的缺陷，球面投影或透视投影的多传感器融合语义分割会使得图像纹理信息缺失，无法准确区分道路中的可通行区域的问题。第一方面，本专利技术实施例提供一种传感器语义信息的融合方法，应用于移动装置，包括：
2、利用与激光雷达传感器采集的雷达点云数据时间同步的摄像头传感器采集的视频生成rgb图像；
3、从所述雷达点云数据中，选择落入以所述移动装置坐标系的原点为中心划分的感兴趣区域中的3d点云，生成地面的雷达鸟瞰图，其中，所述雷达鸟瞰图中每个通道的像素值由所述3d点云的高度值确定；
4、对所述rgb图像中的除地面外的部分图像进行语义分割，得到分割后的rgb图像；
5、对所述雷达鸟瞰图进行语义分割，得到分割后的雷达鸟瞰图；
6、将分割后的所述rgb图像与分割后的所述雷达鸟瞰图融合，得到用于感知所述移动装置周围的二维平面全景的语义信息。
7、第二方面，本专利技术实施例提供一种传感器语义信息的融合执行设备，包括：
8、图像生成模块，用于利用与激光雷达传感器采集的雷达点云数据时间同步的摄像头传感器采集的视频生成rgb图像；
9、鸟瞰图生成模块，用于从所述雷达点云数据中，选择落入以所述移动装置坐标系的原点为中心划分的感兴趣区域中的3d点云，生成地面的雷达鸟瞰图，其中，所述雷达鸟瞰图中每个通道的像素值由所述3d点云的高度值确定；
10、图像分割模块，用于对所述rgb图像中的除地面外的部分图像进行语义分割，得到分割后的rgb图像；
11、鸟瞰图分割模块，用于对所述雷达鸟瞰图进行语义分割，得到分割后的雷达鸟瞰图；
12、融合模块，用于将分割后的所述rgb图像与分割后的所述雷达鸟瞰图融合，得到用于感知所述移动装置周围的二维平面全景的语义信息。
13、第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例的传感器语义信息的融合方法的步骤。
14、第四方面，本专利技术实施例提供一种移动装置，包括本体和所述本体上安装的本专利技术任一实施例所述的电子设备。
15、第五方面，本专利技术实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本专利技术任一实施例的传感器语义信息的融合方法的步骤。
16、第六方面，本专利技术实施例还提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本专利技术实施例中任意一项所述的传感器语义信息的融合方法。
17、本专利技术实施例的有益效果在于：基于rgb图像语义分割以及雷达鸟瞰图语义分割的多传感器融合语义分割，由于rgb图像语义分割语义特征丰富，而通过激光点云生成的雷达鸟瞰图可感知车辆四周的二维平面全景信息，使得融合后的语义分割信息既具有丰富的语义特征又具有车辆周围二维平面全景信息，更精准地确定出道路中的可通行区域。
本文档来自技高网...【技术保护点】
1.一种传感器语义信息的融合方法，应用于移动装置，包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述雷达鸟瞰图进行语义分割，得到分割后的雷达鸟瞰图包括：
3.根据权利要求2所述的方法，其特征在于，所述将分割后的所述RGB图像与分割后的所述雷达鸟瞰图融合包括：
4.根据权利要求2所述的方法，其特征在于，所述将分割后的所述RGB图像与分割后的所述雷达鸟瞰图融合还包括：
5.根据权利要求1所述的方法，其特征在于，所述将分割后的所述RGB图像与分割后的所述雷达鸟瞰图融合包括：
6.根据权利要求1所述的方法，其特征在于，所述雷达鸟瞰图中每个通道的像素值由所述3D点云的高度值确定包括：
7.一种传感器语义信息的融合执行设备，包括：
8.一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述方法的步骤。
9.一种移动装置，
10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。
...【技术特征摘要】
1.一种传感器语义信息的融合方法，应用于移动装置，包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述雷达鸟瞰图进行语义分割，得到分割后的雷达鸟瞰图包括：
3.根据权利要求2所述的方法，其特征在于，所述将分割后的所述rgb图像与分割后的所述雷达鸟瞰图融合包括：
4.根据权利要求2所述的方法，其特征在于，所述将分割后的所述rgb图像与分割后的所述雷达鸟瞰图融合还包括：
5.根据权利要求1所述的方法，其特征在于，所述将分割后的所述rgb图像与分割后的所述雷达鸟瞰图融合包括：
6.根据权利要求1所述的方法，其特征在于，所述雷...
【专利技术属性】
技术研发人员：严旭，任巨龙，邵枭虎，管沁朴，张哲，赵凭，
申请(专利权)人：北京智行者科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。