一种足式机器人地形语义分割方法技术

本发明专利技术公开一种足式机器人地形语义分割方法。首先使用足式机器人拍摄不同天气、不同时段的地形和行人的图片，使用卡尔曼滤波去除由于足式机器人行进过程中抖动造成的图片模糊不清，在图片中标注不同地形作为训练集；其次，构建卷积语义分割网络，根据分类损失、定位损失以及分割损失设计损失函数，在高性能服务器上使用地形的训练集训练语义分割网络；最后，通过TensorRT推理引擎在足式机器人上构建与高性能服务器上结构相同的神经网络，将训练好的权重导入神经网络，使四足机器人快速准确的分割地形。本发明专利技术解决由于足式机器人行进时抖动严重，导致采集的图像模糊不清；足式机器人上处理器性能较低，语义分割速度不佳导致难以满足实时性要求等问题。以满足实时性要求等问题。

【技术实现步骤摘要】
一种足式机器人地形语义分割方法


[0001]本专利技术涉及环境感知领域，具体是指一种足式机器人地形语义分割方法。

技术介绍

[0002]随着机器人技术的迅速发展，机器人已经开始广泛的应用在人们的生产生活中。足式机器人运动灵活，具备良好的地形适应能力，能够在广阔环境、多种地形中行走，具有广阔的应用场景，被认为是科学探测、紧急搜救、物资运输、侦察巡逻等作业的最佳移动平台。
[0003]环境感知是足式机器人定位导航、路径规划、运动控制基础，环境理解能力是实现足式机器人自主作业的关键因素。为了支撑足式机器人在动态环境下自主作业，需要准确分割环境中的不同地形。
[0004]对环境中地形的语义理解将有力支撑足式机器人的路径规划与步态设计，因此须快速、准确地划分平地、斜坡、台阶等不同类型的地形，实现对环境中不同地形的快速、高精度语义分割。
[0005]Papandreou等人提出一种基于编码
‑
解码结构的语义分割网络，采用深度卷积神经网络编码，条件随机场解码，引入含深度可分离卷积的空间金字塔模块，提升语义分割算法的运本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种足式机器人地形语义分割方法，其特征在于，包括：步骤1：采集不同地形数据，对数据进行标注，针对数据中的模糊图像进行去模糊处理，构建训练数据集；步骤2：在服务器上使用数据集训练卷积语义分割网络，通过制定损失函数评价网络的语义分割效果，使用“端到端”的训练方法，得到训练好的神经网络参数；在服务器上实现对不同地形的语义分割；在步骤2中，具体包含以下步骤：步骤2.1：设计卷积语义分割神经网络的损失函数f，综合考虑分类损失，定位损失以及掩码损失，以加权和的方式组成损失函数f以提高训练效果，训练所使用的超参数种类，批处理尺寸为2，训练代数为100，迭代次数为1600，梯度优化方法为自适应矩估计；步骤2.2：使用步骤1中建立的训练数据集训练卷积语义分割网络，具体步骤如下：使用YOLACT网络模型，使用ResNet101为骨干网络，共有101个卷积层，包括3*3卷积核的卷积层、1*1卷积核的卷积层和3*3的最大池化层，最后连接为1000维输出的全连接层并使用柔性最大值传输函数进行分类；通过YOLACT网络提取不同地形的特定语义信息，获取全地形多尺度特征，计算所有种类地形的可能性，选择可能性最高的地形种类作为识别到的地形种类，实现不同地形的语义分割；步骤3：将步骤2中得到的网络迁移至足式机器人上，以足式机器人上深度相机采集到的图像数据为神经网络输入，实时进行不同地形的语义分割和动态行人的识别；在步骤3中，具体包含以下步骤：步骤3.1：安装TensorRT推理引擎；步骤3.2：将步骤2中训练好的神经网络权重文件转换为TensorRT可以使用的权重文件，具体步骤如下：在足式机器人内处理器上，将步骤2中训练好的神经网络权重文件按照不同网络层的顺序建立一维数组，每一层网络中每个节点的参数按原网络中的顺序储存在该数组内，不同层的网络建立不同数组，以十六进制的形式写在文件内；步骤3.3：使用...

【专利技术属性】
技术研发人员：曹政才，邵士博，张东，牟洪民，杜国锋，李俊年，
申请(专利权)人：北京化工大学，
类型：发明
国别省市：