基于跨模态清洁机器人清洁道路分割与识别方法技术

本发明专利技术涉及数据处理技术领域，具体涉及一种基于跨模态清洁机器人清洁道路分割与识别方法，包括通过触觉传感器采集环境信息，得到采集数据；通过视觉传感器采集环境信息，得到待预测数据；对全卷积神经网络进行改进，得到完整全卷积神经网络；使用训练集对完整全卷积神经网络进行训练，得到分割模型；将待预测数据输入分割模型进行训练，得到分割结果；对ResNet50网络进行改进，得到分类模型；将分割结果输入分类模型进行特征信息提取，得到分割分类结果；基于采集数据和分割分类结果对清洁机器人的工作参数进行调整，解决了通过改善后的全卷积神经网络基于道路的图片进行道路分类来调整清洁模式不适用于复杂多变的道路环境的问题。境的问题。境的问题。

【技术实现步骤摘要】
基于跨模态清洁机器人清洁道路分割与识别方法


[0001]本专利技术涉及数据处理
，尤其涉及一种基于跨模态清洁机器人清洁道路分割与识别方法。

技术介绍

[0002]基于深度学习的图像分割由于采用了卷积神经网络，它的分割精度大大超过了传统的分割方法。两者的不同之处：传统的图像分割需要由领域的专家来提取图像的特征表达，而基于深度学习的图像分割则是利用模型来实现对图像的特征的自动学习提取。
[0003]全卷积神经网络(FCN)与CNN网络非常类似，它是利用VGG模型，将该网络的最后三个全连接层改为三个卷积层，再利用上取样和crop操作，将卷积后较小特征图转化为与输入图像同样大小的特征图像，这就是全卷积神经网络。FCN在采用全卷积运算时，由于没有了全连接层中的神经元数目的限制，因此，卷积层的输入可以接受不同尺寸的图像，也就不必要求训练图像与试验图像的大小一致。
[0004]FCN缺点:得到的结果还是不够精细，上采样的结果比较模糊和平滑，对图像中的细节不敏感。对各个像素进行分类，没有充分考虑像素与像素之间的关系。忽略了在通常的基于像素分类的分割方法中使用的空间规整步骤，缺乏空间一致性。为了得到较高的分割精度，因此改善了现有的FCN网络算法。为了进一步提高道路分类效果，因此改善了现有的ResNet50网络算法。
[0005]扫地机器人清理地面的模式需要人工进行设置，相对比较繁琐。仅通过改善后的全卷积神经网络基于道路的图片进行道路分类来调整清洁模式，这种方法过于简单，不适用于复杂多变的道路环境。
>
技术实现思路

[0006]本专利技术的目的在于提供一种基于跨模态清洁机器人清洁道路分割与识别方法，旨在解决通过改善后的全卷积神经网络基于道路的图片进行道路分类来调整清洁模式不适用于复杂多变的道路环境的问题。
[0007]为实现上述目的，本专利技术提供了一种基于跨模态清洁机器人清洁道路分割与识别方法，包括以下步骤：
[0008]通过触觉传感器采集环境信息，得到采集数据，通过视觉传感器采集环境信息，得到待预测数据；
[0009]对全卷积神经网络进行改进，得到完整全卷积神经网络；
[0010]使用训练集对所述完整全卷积神经网络进行训练，得到分割模型；
[0011]将所述待预测数据输入所述分割模型进行训练，得到分割结果；
[0012]对ResNet50网络进行改进，得到分类模型；
[0013]将所述分割结果输入所述分类模型进行特征信息提取，得到分割分类结果；
[0014]基于所述采集数据和所述分割分类结果对清洁机器人的工作参数进行调整。
[0015]其中，所述对全卷积神经网络进行改进，得到完整全卷积神经网络的具体方式为：
[0016]将VGG模型的最后三个全连接层换为三个卷积层，并将编码区换为ResNet50，将先验概率层添加到所述VGG模型的末尾，得到完整全卷积神经网络。
[0017]其中，所述使用训练集对所述完整全卷积神经网络进行训练，得到分割模型的具体方式为：
[0018]获取数据集；
[0019]对所述数据集进行预处理，得到训练集。
[0020]其中，所述对ResNet50网络进行改进，得到分类模型的具体方式为：
[0021]利用CBAM注意力模块来替换ResNet50网络的最后三个3
×
3的卷积层，得到分类模型。
[0022]其中，所述采集数据包括温度和湿度；
[0023]所述待预测数据包括道路信息、行人信息和障碍物信息。
[0024]其中，所述基于所述采集数据和所述分割分类结果对清洁机器人的工作参数进行调整的具体方式为：
[0025]基于所述温度和所述湿度对清洁机器人的出水量参数进行调整；
[0026]基于所述分割分类结果对所述清洁机器人的前进速度参数和刷头转速参数进行调整。
[0027]其中，所述将所述分割结果输入所述分类模型进行特征信息提取，得到分割分类结果的具体方式为：
[0028]将所述分割结果输入所述分类模型的CBAM注意力模块，所述将所述分割结果使用乘法机制让通道注意值沿着空间维度进行传导，得到输出值；
[0029]通过所述分类模型的通道子模块使用最大池化和平均池化对所述输出值进行聚合后累加，得到分割分类结果。
[0030]本专利技术的一种基于跨模态清洁机器人清洁道路分割与识别方法，通过触觉传感器采集环境信息，得到采集数据；通过视觉传感器采集环境信息，得到待预测数据；对全卷积神经网络进行改进，得到完整全卷积神经网络；使用训练集对所述完整全卷积神经网络进行训练，得到分割模型；将所述待预测数据输入所述分割模型进行训练，得到分割结果；对ResNet50网络进行改进，得到分类模型；将所述分割结果输入所述分类模型进行特征信息提取，得到分割分类结果；基于所述采集数据和所述分割分类结果对清洁机器人的工作参数进行调整，本专利技术通过两个模型对数据进行分割和分类后实现对清洁机器人在复杂多变的道路环境下的工作参数的调整，解决了通过改善后的全卷积神经网络基于道路的图片进行道路分类来调整清洁模式不适用于复杂多变的道路环境的问题。
附图说明
[0031]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0032]图1是改进的FCN原理图。
[0033]图2是转换后的数据集标签示意图。
[0034]图3是概率层概念图。
[0035]图4是原概率层示意图。
[0036]图5是原概率层示意图。
[0037]图6是概率层后处理过程示意图。
[0038]图7是ResNet 50网络的残差块结构。
[0039]图8是引入CBAM注意力机制的ResNet 50网络的残差块结构。
[0040]图9是CBAM通道注意力机制示意图。
[0041]图10是CBAM空间注意力机制示意图。
[0042]图11是本专利技术提供的一种基于跨模态清洁机器人清洁道路分割与识别方法的流程图。
具体实施方式
[0043]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0044]请参阅图1至图11，本专利技术提供一种基于跨模态清洁机器人清洁道路分割与识别方法，包括以下步骤：
[0045]S1通过触觉传感器采集环境信息，得到采集数据，通过视觉传感器采集环境信息，得到待预测数据；
[0046]具体的，所述采集数据包括温度和湿度。触觉传感器是机器人感知外部环境的重要媒介，它对机器人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于跨模态清洁机器人清洁道路分割与识别方法，其特征在于，包括以下步骤：通过触觉传感器采集环境信息，得到采集数据，通过视觉传感器采集环境信息，得到待预测数据；对全卷积神经网络进行改进，得到完整全卷积神经网络；使用训练集对所述完整全卷积神经网络进行训练，得到分割模型；将所述待预测数据输入所述分割模型进行训练，得到分割结果；对ResNet50网络进行改进，得到分类模型；将所述分割结果输入所述分类模型进行特征信息提取，得到分割分类结果；基于所述采集数据和所述分割分类结果对清洁机器人的工作参数进行调整。2.如权利要求1所述的基于跨模态清洁机器人清洁道路分割与识别方法，其特征在于，所述对全卷积神经网络进行改进，得到完整全卷积神经网络的具体方式为：将VGG模型的最后三个全连接层换为三个卷积层，并将编码区换为ResNet50，将先验概率层添加到所述VGG模型的末尾，得到完整全卷积神经网络。3.如权利要求2所述的基于跨模态清洁机器人清洁道路分割与识别方法，其特征在于，所述使用训练集对所述完整全卷积神经网络进行训练，得到分割模型的具体方式为：获取数据集；对所述数据集进行预处理，得到训练集。4.如权利要求3所述的基于跨模态清洁机器人清洁道路分割...

【专利技术属性】
技术研发人员：施海波，丑小康，陈佳，
申请(专利权)人：南京特沃斯高科技有限公司，
类型：发明
国别省市：