一种构建占据栅格地图的方法及其装置、相关设备制造方法及图纸

本发明专利技术公开一种构建占据栅格地图的方法及其装置、相关设备，以提高占据栅格地图中栅格的分类的准确性。方法包括：根据车辆位置和前一次占据栅格地图，构建本次占据栅格地图；将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，得到各栅格对应的像素；对所述图像进行语义分割得到每个像素的语义信息；针对每个栅格，根据所述栅格对应的像素的语义信息确定所述栅格归属各占据类别的本次观测概率；根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率，确定所述栅格归属各占据类别的本次概率；根据各栅格归属各占据类别的本次概率更新本次占据栅格地图中相应占据栅格的占据类别。

【技术实现步骤摘要】
一种构建占据栅格地图的方法及其装置、相关设备
本专利技术涉及人工智能领域，特别涉及一种构建占据栅格地图的方法、一种构建占据栅格地图的装置、一种计算机服务器、一种处理设备。
技术介绍
占据栅格地图(Occupancygridmap)作为人工智能领域(例如自动驾驶车辆、机器人等)最常用的建图方法，将地图细化为一定精度的栅格，根据传感器回传的环境信息，估计占据栅格地图中的每个栅格被占据的概率，为路径规划提供依据。传统的占据栅格地图是一个二态的地图，即每个栅格只有两种状态：被占据(occupied)或者自由空间(freespace)。与本专利技术技术方案最为接近的现有技术为M.HimstedtandE.Maehle发表的论文“OnlinesemanticmappingoflogisticenvironmentsusingRGB-Dcameras”，在该论文中公开以下构建占据栅格地图的技术方案，如图1所示：首先，根据深度图像进行点云重建得到点云，采用RANSAC过滤掉点云中类型为地面的点，保留属于障碍物的点；然后，从保留的点云中提取障碍物的轮廓，并根据所述轮廓的长宽比等信息估计障碍物的类别，并确定障碍物在RGB图像中的区域(以下称为ROI(RegionOfInterest)区域)；再然后，用深度神经网络提取所述ROI区域的特征，并采用SVM(SupportVectorMachine，支持向量机)分类方法得到障碍物的精确类别；最后，将所述障碍物在ROI区域内的点云映射到极坐标栅格中，得到具有语义信息的占据栅格地图。前述占据栅格地图构建的方案对障碍物类别预估精准性依赖于该障碍物的长宽比是否固定、障碍物在图像中呈现的角度是否合适，若障碍物的长宽比固定且障碍物在该图像中的呈现角度较好，则该种方案可以精准的估计出障碍物的类别；但是，当障碍物的长宽比不固定、长宽比不显著或者障碍物在图像中呈现的形状不规则时(例如一堵墙、摞起来的集装箱、呈现侧面的岸桥等)很难精准的获取到ROI区域，因此根据不精准的ROI区域的特征对障碍物进行分类所得到的分类结果不准确，从而导致占据栅格地图中栅格的分类结果不精准。
技术实现思路
鉴于上述问题，本专利技术提供一种构建占据栅格地图的方法及其装置、计算机服务器，以提高对占据栅格地图中栅格进行分类的准确性。本专利技术实施例，第一方面，提供一种构建占据栅格地图的方法，在车辆上设置有至少一路车载摄像头，所述方法包括：根据车辆位置和前一次占据栅格地图，构建本次占据栅格地图；将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，得到各栅格对应的像素；对所述图像进行语义分割得到每个像素的语义信息；针对每个栅格，根据所述栅格对应的像素的语义信息确定所述栅格归属各占据类别的本次观测概率；根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率，确定所述栅格归属各占据类别的本次概率；根据各栅格归属各占据类别的本次概率更新本次占据栅格地图中相应占据栅格的占据类别。本专利技术实施例，第二方面，提供一种构建占据栅格地图的装置，所述装置与车辆上设置的至少一路车载摄像头通信连接，所述装置包括：地图构建单元，用于根据车辆位置和前一次占据栅格地图，构建本次占据栅格地图；映射单元，用于将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，得到各栅格对应的像素；语义分割单元，用于对所述图像进行语义分割得到每个像素的语义信息；地图更新单元，用于针对每个栅格，根据所述栅格对应的像素的语义信息确定所述栅格归属各占据类别的本次观测概率；根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率，确定所述栅格归属各占据类别的本次概率；以及，根据各栅格归属各占据类别的本次概率更新本次占据栅格地图中相应占据栅格的占据类别。本专利技术实施例，第三方面，提供一种计算机服务器，包括存储器，以及与所述存储器通信连接的一个或多个处理器；所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现如权利要求1～10中任一项所述的构建占据栅格地图的方法。本专利技术实施例，第四方面，提供一种处理设备，包括第一通信单元、第二通信单元和处理单元，所述第一通信单元与车辆上的定位设备通信连接，第二通信单元与至少一路车载摄像头通信连接，其中：第一通信单元，用于从定位设备接收车辆的位置，并将车辆的位置发送给处理单元；第二通信单元，用于在从车载摄像头接收到图像时，将所述图像发送给处理单元；处理单元，用于根据车辆位置和前一次占据栅格地图，构建本次占据栅格地图；将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，得到各栅格对应的像素；对所述图像进行语义分割得到每个像素的语义信息；针对每个栅格，根据所述栅格对应的像素的语义信息确定所述栅格归属各占据类别的本次观测概率；根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率，确定所述栅格归属各占据类别的本次概率；根据各栅格归属各占据类别的本次概率更新本次占据栅格地图中相应占据栅格的占据类别。本专利技术技术方案，根据最近一次从车载摄像头接收到的图像对本次占据栅格地图进行更新过程中，将占据栅格地图中的每个栅格与图像中的像素对应，对图像进行语义分割得到每个像素的语义信息，而对图像进行像素级的语义分割能够得到每个像素的精准分类信息，从而可以获知与该像素对应的栅格的精准语义信息，根据栅格的精准语义信息可以得到该栅格更为精准的占据类别，本领域技术人员可以根据实际需求灵活设置占据类别的细粒度，甚至可以将占据类别设置为与语义类别一致，解决了现有技术占据栅格地图语义信息不精准的问题；并且，语义分割可以适用于任何形状的障碍物，并不仅限于宽度、高度相对固定的障碍物并且也不需要障碍物必须在图像中以一个较好的角度呈现，适用范围更广。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。图1为现有技术构建占据栅格地图的示意图；图2为本专利技术实施例中构建占据栅格地图的方法流程图之一；图3为本专利技术实施例中构建占据栅格地图的方法流程图之二；图4为本专利技术实施例中在图3所示的方式下构建本次占据栅格地图的示意图；图5为本专利技术实施例中构建占据栅格地图的方法流程图之三；图6为本专利技术实施例中在图5所示的方式下构建本次占据栅格地图的示意图；图7为本专利技术实施例中构建占据栅格地图的方法流程图之四；图8本专利技术实施例中在图7所示的方式下构建本次占据栅格地图的示意图；图9为本专利技术实施例中构建的占据栅格地图的示意图之一；图10为本专利技术实施例中构建的占据栅格地图的示意图之二；图11为本专利技术实施例中构建占据栅格地图的装置的结构示意图；图12为本发本文档来自技高网...

【技术保护点】
1.一种构建占据栅格地图的方法，其特征在于，在车辆上设置有至少一路车载摄像头，所述方法包括：/n根据车辆位置和前一次占据栅格地图，构建本次占据栅格地图；/n将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，得到各栅格对应的像素；/n对所述图像进行语义分割得到每个像素的语义信息；/n针对每个栅格，根据所述栅格对应的像素的语义信息确定所述栅格归属各占据类别的本次观测概率；根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率，确定所述栅格归属各占据类别的本次概率；/n根据各栅格归属各占据类别的本次概率更新本次占据栅格地图中相应占据栅格的占据类别。/n

【技术特征摘要】
1.一种构建占据栅格地图的方法，其特征在于，在车辆上设置有至少一路车载摄像头，所述方法包括：
根据车辆位置和前一次占据栅格地图，构建本次占据栅格地图；
将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，得到各栅格对应的像素；
对所述图像进行语义分割得到每个像素的语义信息；
针对每个栅格，根据所述栅格对应的像素的语义信息确定所述栅格归属各占据类别的本次观测概率；根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率，确定所述栅格归属各占据类别的本次概率；
根据各栅格归属各占据类别的本次概率更新本次占据栅格地图中相应占据栅格的占据类别。


2.根据权利要求1所述的方法，其特征在于，所述根据车辆位置和前一次占据栅格地图，构建本次占据栅格地图，具体包括：
在每接收到车辆位置时，以车辆位置为基准构建初始占据栅格地图；
根据前一次占据栅格地图的各栅格的占据类别更新所述初始占据栅格地图中相应的栅格的占据类别，以得到本次占据栅格地图。


3.根据权利要求2所述的方法，其特征在于，在执行所述将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上的步骤之前还包括：
计算最近一次从车载摄像头接收图像的时刻与最近一次接收车辆位置的时刻之间的时间差；
判断所述时间差是否小于等于预置的时长阈值；
若是，则执行所述将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上的步骤；
若否，则忽略最近一次从车载摄像头接收到的图像。


4.根据权利要求1所述的方法，其特征在于，所述根据车辆位置和前一次占据栅格地图，构建本次占据栅格地图，具体包括：
在每从车载摄像头接收到图像时，确定最近一次接收到的车辆位置，以车辆位置为基准构建初始占据栅格地图；
根据前一次占据栅格地图的各栅格的占据类别更新所述初始占据栅格地图中相应的栅格的占据类别，以得到本次占据栅格地图。


5.根据权利要求2～4任一项所述的方法，其特征在于，以车辆位置为基准构建初始占据栅格地图，具体包括：在车体坐标系中以车辆位置为基准构建第一占据栅格地图；根据车体坐标系的原点与地面的高度对所述第一占据栅格地图中各栅格赋予初始高度值；根据预置的地形地图对所述第一占据栅格地图中各栅格的初始高度值进行修正，以得到所述初始占据栅格地图；
将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，具体包括：根据预置车体坐标系与所述车载摄像头的相机坐标系之间的外参，将本次占据栅格地图转换到相机坐标系中；根据所述车载摄像头内参，将相机坐标系中的本次占据栅格地图映射到所述图像上，以得到每个栅格对应的像素。


6.根据权利要求2～4任一项所述的方法，其特征在于，以车辆位置为基准构建初始占据栅格地图，具体包括：
在地形地图中，以车辆位置为基准构建初始占据栅格地图；
将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，具体包括：确定地形地图坐标系与所述车载摄像头的相机坐标系之间的外参；根据所述外参将所述初始占据栅格地图转换到所述车载摄像头的相机坐标系中；根据所述车载摄像头内参，将相机坐标系中的本次占据栅格地图映射到所述图像上，以得到每个栅格对应的像素。


7.根据权利要求1～4任一项所述的方法，其特征在于，所述语义信息为像素归属各语义类别的表征特性值；根据所述栅格对应的像素的语义信息确定所述栅格归属各占据类别的本次观测概率，具体包括：
根据所述栅格对应的像素归属各语义类别的表征特性值，确定所述像素归属各语义类别的概率；
针对每个占据类别，根据预置的语义类别与占据类别的对应关系，确定与所述占据类别对应的目标语义类别；将所述像素归属各目标语义类别的概率的和值，作为所述栅格归属所述占据类别的本次观测概率。


8.根据权利要求7所述的方法，其特征在于，根据所述栅格对应的像素归属各语义类别的表征特性值，确定所述像素归属各语义类别的概率，具体包括：
根据以下公式得到所述像素归属各语义类别的概率：



P(y＝i)为像素归属第i个语义类别的概率，Zi为所述像素归属第i个语义类别的表征特性值，T为所述像素对应的栅格与所述车载摄像头的距离d的函数且正比于所述d。


9.根据权利要求1～4任一项所述的方法，其特征在于，根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率，确定所述栅格归属各占据类别的本次概率，具体包括：
根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率、当前占据栅格地图前一次观测和本次观测的时间间隔，确定所述栅格归属各占据类别的前次概率的权重和所述栅格归属各占据类别的本次观测概率的权重；
针对每个占据类别，将所述栅格归属所述占据类别的前次概率、所述栅格归属所述占据类别的本次观测概率进行加权求和，得到所述栅格归属所述占据类别的本次概率。


10.根据权利要求1～4任一项所述的方法，其特征在于，所述占据类别包括静态物体类别、动态物体类别和路面；所述根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率，确定所述栅格归属各占据类别的本次概率，具体包括：
根据栅格分别归属静态物体类别、动态物体类别的本次观测概率，得到栅格的本次观测被占据概率；
根据栅格的本次观测被占据概率和前次被占据概率，确定栅格的本次被占据概率；
根据栅格归属静态物体类别的本次观测概率和当前观测概率，以及栅格的本次观测被占据概率、前次被占据概率和本次被占据概率，计算得到栅格归属各占据类别的本次概率。


11.一种构建占据栅格地图的装置，其特征在于，所述装置与车辆上设置的至少一路车载摄像头通信连接，所述装置包括：
地图构建单元，用于根据车辆位置和前一次占据栅格地图，构建本次占据栅格地图；
映射单元，用于将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上，得到各栅格对应的像素；
语义分割单元，用于对所述图像进行语义分割得到每个像素的语义信息；
地图更新单元，用于针对每个栅格，根据所述栅格对应的像素的语义信息确定所述栅格归属各占据类别的本次观测概率；根据所述栅格归属各占据类别的前次概率、归属各占据类别的本次观测概率，确定所述栅格归属各占据类别的本次概率；以及，根据各栅格归属各占据类别的本次概率更新本次占据栅格地图中相应占据栅格的占据类别。


12.根据权利要求11所述的装置，其特征在于，所述地图构建单元具体用于：
在每接收到车辆位置时，以车辆位置为基准构建初始占据栅格地图；
根据前一次占据栅格地图的各栅格的占据类别更新所述初始占据栅格地图中相应的栅格的占据类别，以得到本次占据栅格地图。


13.根据权利要求12所述的装置，其特征在于，所述地图构建单元具体用于：在每从车载摄像头接收到图像时，确定最近一次接收到的车辆位置，以车辆位置为基准构建初始占据栅格地图；
根据前一次占据栅格地图的各栅格的占据类别更新所述初始占据栅格地图中相应的栅格的占据类别，以得到本次占据栅格地图。


14.根据权利要求13所述的装置，其特征在于，所述映射单元在执行所述将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上的步骤之前，还进一步用于：
计算最近一次从车载摄像头接收图像的时刻与最近一次接收车辆位置的时刻之间的时间差；判断所述时间差是否小于等于预置的时长阈值；
若是，则执行所述将本次占据栅格地图的各栅格映射到最近一次从车载摄像头接收到的图像上的步骤；
若否，则忽略最近一次从车载摄像头接收到的图像。


15.根据权利要求12～14任一项所述的装置，其特征在于，地图构建单元以车辆位置为基准构建初始占据栅格地图，具体包括：在车体坐标系中以车辆位置为基准构建第一占据栅格地图；根据车体坐标系的原点与地面的高度对所述第一占据栅格地图中各栅格赋予初始高度值；根据预置的地形地图对所述第一占据栅格地图中各栅格的初始高度值进行修正，以得到所述初始占据栅格地图；
将本次占据栅格地图的各栅格映射到最近一次从车载摄像头...

【专利技术属性】
技术研发人员：林轩，王乃岩，
申请(专利权)人：北京图森智途科技有限公司，
类型：发明
国别省市：北京;11