【技术实现步骤摘要】
本专利技术属于机器人信息化处理，尤其涉及一种基于多模融合的四足机器人复杂场景感知方法及系统。
技术介绍
1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
2、近年来，随着机器人和人工智能技术的快速发展，行业对智能机器人的需求提高，提升机器人智能化水平是急需解决的问题。相比于轮式机器人，腿足式机器人具有在崎岖地形中机动的能力，具有更高的灵活性。腿足式机器人的高敏捷性使其能够在崎岖的室外环境中运行。在这些场景下，关于地形的几何知识是实现安全移动的立足点规划的关键。
3、目前，四足机器人通常通过配备多线激光雷达和深度相机等外感传感器感知3d环境结构，并且将感知结果存储在2d栅格占用地图、2.5d高程图或3d体素图中，其中高程图由于平衡了感知精度和算力得到了更广泛的应用。
4、但是基于激光雷达和深度相机等深度传感器的感知方案只能在支撑面可见的地形下有着比较准确的感知，上述传感器原理为发射激光并接收返回信号，根据时间差计算距离，在可穿透或者高度柔软的地形(如草地)上，传感器会受到草的遮挡，无法穿透草看到真实的地面即可支撑面，进而影响对四足机器人的运动控制。
5、具体的，传统的2.5d高程图只依赖激光雷达、深度相机等外部传感器而忽略了四足机器人自身力传感器感知，在穿越草丛、雪地等非刚性地面时无法获取真实的可支撑地面高度，进而影响四足机器人的运动规划。
技术实现思路
1、为克服上述现有技术的不足，本专利技术提供了一种
2、为实现上述目的，本专利技术的一个或多个实施例提供了如下技术方案：
3、第一方面，公开了一种基于多模融合的四足机器人复杂场景感知方法，包括：
4、获取多模态传感器数据；
5、基于获取的数据，通过深度神经网络编码-解码对前方地形进行重构，去除3d传感器的环境噪声，得到更利于机器人运动规划的地形实际支撑面信息；
6、通过对rgb图像聚类获取超像素图像，结合重构的实际支撑面信息经多层感知器网络处理生成图像坐标系下的可通行区域，进而生成代价地图。
7、作为进一步的技术方案，获取多模态传感器数据，包括：
8、将采集的深度相机点云生成以机器人为中心的的高程图；
9、将采集的深度相机rgb图像的rgb像素投影到bev视角下并与高程图对齐，得到高程图、颜色图层；
10、将采集的四足机器人落脚点位置，通过高斯过程回归估计支撑平面。
11、作为进一步的技术方案，得到高程图颜色图层的具体过程为：
12、将深度相机设置为深度对齐模式，实现rgb像素与深度点云的一一对应，而后将深度相机生成的深度点云由相机坐标系经坐标变换变换到地图坐标系下；
13、将点云在地图坐标系下的坐标投影到地图坐标系x-y平面得到bev视图，进一步将点云按照高程图分辨率进行栅格化处理；
14、对投影到相同单元格的多个像素rgb通道取均值作为该单元格的颜色信息，最终得到颜色高程图层。
15、作为进一步的技术方案，将采集的四足机器人落脚点位置，通过高斯过程回归估计支撑平面，具体为：
16、实时采集四足机器人足端力传感器数据，当受力达到阈值时认为该足处于触地支撑状态，获取该足端在地图坐标系下的三维坐标，送入缓存队列；
17、取出缓存队列中所有落脚点坐标，以落脚点x,y作为输入，z作为输出，训练高斯过程回归超参数；
18、生成以机器人为中心的位置采样，将所有采样位置通过坐标变换变换至地图坐标系下，并经高斯过程回归处理得到所有采样点的z坐标，即为预测的支撑面。
19、作为进一步的技术方案，高斯过程回归中核函数的选择，该核函数由3个具有不同特征的核函数组合而成：
20、核函数共包括三项：
21、第一项rbf核函数用于捕捉输入间的平滑关系，保证拟合平面的平滑性；
22、第二项指数核函数捕捉输入的指数衰减，弥补rbf核函数在不连续处的过分平滑；
23、第三项核函数捕捉输入间的线性关系，捕捉地形起伏较大的情况，更好地适用于楼梯、台阶场景的平面拟合。
24、作为进一步的技术方案，还包括：
25、结合高程图与颜色图层计算不同颜色的方差，方差大小代表该颜色下的地形起伏信息；
26、将高程图形状、生成的高程图颜色图层形状的通道合并为特征向量，而后执行dbscan聚类方法，将4通道特征向量聚类为n类；
27、对每一类聚类结果的rgb三通道的m个像素分别进行均值滤波得到每一类的颜色信息：
28、计算每一类的高程通道方差作为该类的方差，最终得到n个颜色对应的方差；
29、将每个类别对应的方差映射回高程图，得到颜色方差层用于表示不同颜色下的地形起伏信息，辅助地形编码。
30、作为进一步的技术方案，通过深度神经网络编码-解码对前方地形进行重构，包括：
31、将高程图、拟合支撑面、颜色方差送入深度神经网络，用于融合三通道感知信息，生成可靠的地形编码；
32、深度神经网络包含三个模块：特征提取模块、特征融合模块、地形编码模块；
33、特征提取模块由卷积神经网络和自注意力模块构成，用于提取各个模态输入自身特征；
34、特征融合模块由交叉注意力模块构成，分别提取颜色方差层与高程图层、高程图层与拟合支撑面层的共同特征；
35、地形编码模块采用编码器-解码器网络架构，该模块对多模提取特征做地形编码最终去除3d传感器的环境噪声，得到更利于机器人运动规划的地形实际支撑面信息。
36、作为进一步的技术方案，生成代价地图的具体步骤为：
37、将rgb图像分割为k个超像素块，对每个像素块做均值滤波作为该超像素块的颜色信息：
38、将各超像素块赋值回rgb图像得到超像素图像，将超像素图像与获取的地形重构后的实际支撑面输入卷积神经网络提取特征后，输入多层感知器，得到k个超像素的可通行性；
39、将每个像素对应的可通行性信息投影到地图坐标系下得到可通行区域，进而可生成栅格化代价地图，用于后续导航模块做路径规划与躲避障碍物。
40、第二方面，公开了一种基于多模融合的四足机器人复杂场景感知系统，包括：
41、地形编码模块，被配置为：获取多模态传感器数据，包括高程图、rgb图像以及足迹拟合平面；
42、基于获取的数据，通过深度神经网络编码-解码对前方地形进行重构，去除3d传感器的环境噪声，得到更利于机器人运动规划的地形实际支撑面信息；
43、可通行区域分割与导航模块，被配置为：通过对rgb图本文档来自技高网...
【技术保护点】
1.一种基于多模融合的四足机器人复杂场景感知方法，其特征是，包括：
2.如权利要求1所述的一种基于多模融合的四足机器人复杂场景感知方法，其特征是，获取多模态传感器数据，包括：
3.如权利要求1所述的一种基于多模融合的四足机器人复杂场景感知方法，其特征是，得到颜色图层的具体过程为：
4.如权利要求1所述的一种基于多模融合的四足机器人复杂场景感知方法，其特征是，将采集的四足机器人落脚点位置，通过高斯过程回归估计支撑平面，具体为：
5.如权利要求1所述的一种基于多模融合的四足机器人复杂场景感知方法，其特征是，高斯过程回归中核函数的选择，该核函数由3个具有不同特征的核函数组合而成：
6.如权利要求1所述的一种基于多模融合的四足机器人复杂场景感知方法，其特征是，还包括：
7.如权利要求1所述的一种基于多模融合的四足机器人复杂场景感知方法，其特征是，通过深度神经网络编码-解码对前方地形进行重构，包括：
8.一种基于多模融合的四足机器人复杂场景感知系统，其特征是，包括：
9.一种计算机装置,包括存储
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时执行上述权利要求1-7任一所述方法的步骤。
...【技术特征摘要】
1.一种基于多模融合的四足机器人复杂场景感知方法，其特征是，包括：
2.如权利要求1所述的一种基于多模融合的四足机器人复杂场景感知方法，其特征是，获取多模态传感器数据，包括：
3.如权利要求1所述的一种基于多模融合的四足机器人复杂场景感知方法，其特征是，得到颜色图层的具体过程为：
4.如权利要求1所述的一种基于多模融合的四足机器人复杂场景感知方法，其特征是，将采集的四足机器人落脚点位置，通过高斯过程回归估计支撑平面，具体为：
5.如权利要求1所述的一种基于多模融合的四足机器人复杂场景感知方法，其特征是，高斯过程回归中核函数的选择，该核函数由3个具有不同特征的核函数组合而成：
...【专利技术属性】
技术研发人员：李传鹏，宋然，方兴，张伟，李宇，曹睿，张生刚，
申请(专利权)人：山东大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。