基于移动机器人与地面交互声音的地形识别方法及装置制造方法及图纸

本申请公开了一种基于移动机器人与地面交互声音的地形识别方法及装置，包括：在已选择的各地形中，采集移动机器人与各地面交互的音频数据，并对所述音频数据进行处理，构建得到用于模型训练的地形数据库；基于所述地形数据库，构建基于注意力机制的地形分类网络模型；在待识别地形中，采集移动机器人与待识别地形地面交互的音频数据，通过所述地形分类网络模型识别该地形。利用移动机器人与地面的交互声音的方法充分地排除了光照变化等环境对系统探测的影响，不仅可以仅凭声音独立识别地形，也可以与基于视觉的地形识别方案互为补充，进一步提升系统的鲁棒性。进一步提升系统的鲁棒性。进一步提升系统的鲁棒性。

【技术实现步骤摘要】
基于移动机器人与地面交互声音的地形识别方法及装置


[0001]本专利技术涉及机器人环境感知
，尤其涉及一种基于移动机器人与地面交互声音的地形识别方法及装置。

技术介绍

[0002]目前大部分地形分类方法都基于视觉，但基于视觉的方法容易受到外观变化和光照变化等影响，导致系统不稳定。移动机器人与不同类型地面进行交互产生的声音具有各自独特的音频特征，可利用此特征进行地形分类，且不受光照、抖动等影响。已有的少量声学识别方法多为主动式声波而非接触式声响，且识别对象多为具体目标而非场景地形，对功耗、使用环境也都有一定限制。

技术实现思路

[0003]本专利技术实施例的目的是提出一种基于移动机器人与地面交互声音的地形识别方法及装置，以解决相关技术对地形语义感知能力不足的问题。
[0004]根据本专利技术实施例的第一方面，提供一种基于移动机器人与地面交互声音的地形识别方法，包括：在已选择的各地形中，采集移动机器人与各地面交互的音频数据，并对所述音频数据进行处理，构建得到用于模型训练的地形数据库；基于所述地形数据库，构建基于注意力机制的地形分类网络模型；在待识别地形中，采集移动机器人与待识别地形地面交互的音频数据，通过所述地形分类网络模型识别该地形。
[0005]进一步地，所述各地形包括基岩地、土壤地、沙地、碎石地。
[0006]进一步地，在已选择的各地形中，采集移动机器人与各地面交互的音频数据，并对所述音频数据进行处理，构建得到用于模型训练的地形数据库，包括：控制移动机器人以不同的速度在已选择的各地形上移动，通过麦克风采集各地形下移动机器人与地面交互的音频数据；对所述音频数据进行预处理，提取得到声谱图；将所述声谱图进行数据处理，整合构建成地形数据库。
[0007]进一步地，基于所述地形数据库，构建基于注意力机制的地形分类网络模型，包括：将所述声谱图进行水平切片，得到不同频段的子谱图，利用深度学习方法获取不同子谱图的图像特征；通过注意力机制层确定不同子谱图特征对全局声谱图的注意力权重系数，利用确定的注意力权重系数对深度学习模型输出的特征进行加权线性组合，得到强化后的特征；将所述强化后的特征通过全连接层和分类器处理，得到基于注意力机制的学习网络；使用所述地形数据库对所述学习网络进行训练，得到最终的基于注意力机制的地形分
类网络模型。
[0008]针对声谱图的识别与分类，本专利技术通过水平切片，将声谱图分成不同频段的子谱图，并利用注意力机制确定不同子谱图特征对全局声谱图的注意力权重系数，对深度学习模型输出的特征进行加权线性组合，得到最终特征，可以大大提升模型对地形识别的准确性。
[0009]根据本专利技术实施例的第二方面，提供一种基于移动机器人与地面交互声音的地形识别装置，包括：数据库构建模块，用于在已选择的各地形中，采集移动机器人与各地面交互的音频数据，并对所述音频数据进行处理，构建得到用于模型训练的地形数据库；模型构建模块，用于基于所述地形数据库，构建基于注意力机制的地形分类网络模型；识别模块，用于在待识别地形中，采集移动机器人与待识别地形地面交互的音频数据，通过所述地形分类网络模型识别该地形。
[0010]进一步地，数据库构建模块，包括：采集子模块，用于控制移动机器人以不同的速度在已选择的各地形上移动，通过麦克风采集各地形下移动机器人与地面交互的音频数据；预处理子模块，用于对所述音频数据进行预处理，提取得到声谱图；构建子模块，用于将所述声谱图进行数据处理，整合构建成地形数据库。
[0011]进一步地，模型构建模块，包括：切片子模块，用于将所述声谱图进行水平切片，得到不同频段的子谱图，利用深度学习方法获取不同子谱图的图像特征；强化子模块，用于通过注意力机制层确定不同子谱图特征对全局声谱图的注意力权重系数，利用确定的注意力权重系数对深度学习模型输出的特征进行加权线性组合，得到强化后的特征；处理子模块，用于将所述强化后的特征通过全连接层和分类器处理，得到基于注意力机制的学习网络；训练子模块，用于使用所述地形数据库对所述学习网络进行训练，得到最终的基于注意力机制的地形分类网络模型。
[0012]根据本专利技术实施例的第三方面，提供一种电子设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。
[0013]根据本专利技术实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如第一方面所述的方法。
[0014]根据以上技术方案，本专利技术实施例的有益效果是：利用移动机器人与地面的交互声音的方法充分地排除了光照变化等环境对系统探测的影响，不仅可以仅凭声音独立识别地形，也可以与基于视觉的地形识别方案互为补充，进一步提升系统的鲁棒性。
[0015]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0016]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0017]图1为根据一示例性实施例示出的一种基于移动机器人与地面交互声音的地形识别方法的流程图。
[0018]图2为根据一示例性实施例示出的步骤S101的流程图。
[0019]图3为根据一示例性实施例示出的步骤S103的流程图。
[0020]图4为根据一示例性实施例示出的基于注意力机制的地形分类网络架构图。
[0021]图5为根据一示例性实施例示出的一种基于移动机器人与地面交互声音的地形识别装置的框图。
[0022]图6为根据一示例性实施例示出的数据库构建模块10的框图。
[0023]图7为根据一示例性实施例示出的模型构建模块30的框图。
具体实施方式
[0024]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0025]在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0026]为了更好地理解本专利技术，以下详细阐述一个基于移动机器人与地面交互声音的地形识别方法的应用实例。
[0027]图1为根据一示例性实施例示出的一种基于移动机器人与地面交互声音的地形识别方法的流程图。如图1所示，该方法可包括以下步骤：步骤S101，在已选择的各地形中，采集移动机器人与各地面交互的音频数据，并本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于移动机器人与地面交互声音的地形识别方法，其特征在于，包括：在已选择的各地形中，采集移动机器人与各地面交互的音频数据，并对所述音频数据进行处理，构建得到用于模型训练的地形数据库；基于所述地形数据库，构建基于注意力机制的地形分类网络模型；在待识别地形中，采集移动机器人与待识别地形地面交互的音频数据，通过所述地形分类网络模型识别该地形。2.根据权利要求1所述的一种基于移动机器人与地面交互声音的地形识别方法，其特征在于，所述各地形包括基岩地、土壤地、沙地、碎石地。3.根据权利要求1所述的一种基于移动机器人与地面交互声音的地形识别方法，其特征在于，在已选择的各地形中，采集移动机器人与各地面交互的音频数据，并对所述音频数据进行处理，构建得到用于模型训练的地形数据库，包括：控制移动机器人以不同的速度在已选择的各地形上移动，通过麦克风采集各地形下移动机器人与地面交互的音频数据；对所述音频数据进行预处理，提取得到声谱图；将所述声谱图进行数据处理，整合构建成地形数据库。4.根据权利要求3所述的一种基于移动机器人与地面交互声音的地形识别方法，其特征在于，基于所述地形数据库，构建基于注意力机制的地形分类网络模型，包括：将所述声谱图进行水平切片，得到不同频段的子谱图，利用深度学习方法获取不同子谱图的图像特征；通过注意力机制层确定不同子谱图特征对全局声谱图的注意力权重系数，利用确定的注意力权重系数对深度学习模型输出的特征进行加权线性组合，得到强化后的特征；将所述强化后的特征通过全连接层和分类器处理，得到基于注意力机制的学习网络；使用所述地形数据库对所述学习网络进行训练，得到最终的基于注意力机制的地形分类网络模型。5.一种基于移动机器人与地面交互声音的地形识别装置，其特征在于，包括：数据库构建模块，用于在已选择的各地形中，采集移动机器人与各地面交互的音频数据，并对所述音频数据进行处理，构建...

【专利技术属性】
技术研发人员：李小倩，李月华，朱世强，谢天，何伟，陈烨恒，
申请(专利权)人：之江实验室，
类型：发明
国别省市：