机器人系统中的细粒度物体识别技术方案

公开了一种用于机器人系统中的细粒度物体识别的方法，所述方法包括：从成像装置获取物体的图像；基于所述图像，使用深度类别级检测神经网络检测预定义的物体类别；为所述深度类别级检测神经网络检测到的每个预定义物体类别生成特征映射；基于所述特征映射，使用与所述物体的预定义类别对应的深度实例级检测神经网络生成嵌入特征，其中物体的每个预定义类别包括对应的不同实例级检测神经网络；基于所述嵌入特征的分类确定所述物体的实例级。

【技术实现步骤摘要】
【国外来华专利技术】机器人系统中的细粒度物体识别相关申请案交叉申请本申请要求于2017年3月3日递交的专利技术名称为“机器人系统中的细粒度物体识别”的第15/449,541号美国非临时专利申请案的在先申请优先权，该在先申请的内容以引入的方式并入本文。
技术实现思路
本专利技术涉及机器人系统，尤其涉及用于家庭服务机器人的深度检测嵌入网络中的细粒度物体识别。
技术介绍
家庭服务机器人的一个重要功能是能够识别小型室内物体，例如杯子、盘子、控制器、手机、钥匙和瓶子。然而，由于某些物体的个性化以及由此产生的细粒度识别问题，导致对小物体很难识别。在特定家庭中需要家庭服务机器人识别的物体可能被用户个性化，所述物体具有独特的特性。独特的物体更难以检测和识别。例如，家庭服务机器人不仅需要识别电视控制器类别、杯子类别或鞋子类别，还需要区分这些类别内的不同实例。也就是说，机器人需要能够区分不同控制器、不同型号手机、不同形状、尺寸和颜色的杯子或不同尺寸、款式、纹理和颜色的鞋子。
技术实现思路
现描述各种示例从而以简化的形式引入概念的选择，这些概念将在以下具体实施方式中进行进一步的描述。本
技术实现思路
的目的不在于识别权利要求书保护的主题的关键或必要特征，也不在于限制权利要求书保护的主题的范围。示例1是一种用于机器人系统中的实例级物体识别的方法，所述方法包括：从成像设备获取物体的图像；基于所述物体的图像以及存储在所述机器人系统中的预定义类别级物体图像，通过类别级深度检测神经网络确定所述物体的预定义类别以及多个预定义物体类别；生成由所述类别级深度检测神经网络确定的物体的预定义类别的特征映射；使用与所述物体的预定义类别对应的实例级深度检测神经网络，基于所述特征图生成嵌入特征，其中所述多个预定义物体类别中的每个预定义类别包括对应的不同实例级深度检测神经网络；基于所述嵌入特征的分类识别所述物体的实例级；并且由所述机器人系统基于所述物体的实例级识别情况执行机器人操作。在示例2中，示例1的主题可选地包括：其中，获取所述物体的图像包括获取所述物体的多个图像，每个图像从不同的透视和/或照明条件获取。在示例3中，示例2的主题可选地包括使用深度检测神经网络为所述多个图像的每个图像生成热图，所述热图强调所述一个或多个图像中的类别级物体。在示例4中，示例3的主题可选地包括：其中，生成所述热图包括为所述一个或多个图像的每个像素生成关注值，其中关注值越高对应于所述像素是感兴趣前景物体的可能性越高。在示例5中，示例4的主题可选地包括基于所述热图生成二值物体掩模图像，其中关注值高于阈值的像素被标记为第一逻辑状态，而所有其他像素被标记为与所述第一个逻辑状态相反的第二逻辑状态。在示例6中，示例5的主题可选地包括基于标记为所述第一逻辑状态的像素从所述掩模图像中提取所述预定义的物体类别。在示例7中，示例6的主题可选地包括训练所述深度检测神经网络以识别所述类别级物体的实例级物体包括基于所述提取的类别级物体以及从包含所述提取类别级物体的最小矩形框生成的增强训练数据来识别所述物体的实例级。在示例8中，示例7的主题可选地包括：其中，生成所述增强型训练数据包括：从所述掩模图像中去除与所述提取的类别级物体相对应的图像像素；并且将所述去除的图像像素嵌入到一组背景场景图像中以生成设置的背景场景图像，而不将所述物体用作增强训练图像。在示例9中，示例8的主题可选地包括通过所述机器人系统部署环境常见的预定义物体类别来训练所述预定义物体类别上的深度检测神经网络。在示例10中，示例9的主题可选地包括：其中，训练所述深度检测神经网络还包括为每个类别级物体生成前向计算的特征映射。在示例11中，示例10的主题可选地包括：其中，训练所述深度检测神经网络以识别实例级物体包括：基于所述前向计算的特征映射生成所述嵌入的特征；并调整所述类别级物体检测以基于所述嵌入的特征确定所述实例级物体的识别情况。示例12是一种机器人系统，包括：成像装置、存储器和一个或多个处理器，所述成像装置耦合到所述机器人并且定位成获取所述成像装置视场内物体的图像；所述存储器包括指令和预定义物体图像类别；所述一个或多个处理器耦合到所述成像设备和所述存储器并与所述成像设备和所述存储器通信，其中所述一个或多个处理器执行以下指令：从所述成像设备获取物体的图像；基于所述物体的图像以及存储在存储器中的预定义类别级物体图像，通过类别级深度检测神经网络确定所述物体的预定义类别以及所述多个预定义物体类别；生成由所述类别级深度检测神经网络确定的物体的预定义类别的特征映射；使用与所述物体的预定义类别对应的实例级深度检测神经网络，基于所述特征图生成嵌入特征，其中所述多个预定义物体类别中的每个预定义类别包括对应的不同实例级深度检测神经网络；基于所述嵌入特征的分类识别所述物体的实例级。在示例13中，示例12的主题可选地包括，其中，所述一个或多个处理器还执行所述指令，以在部署到所述环境之前使用公共可用的图像或预定义物体预训练所述深度检测神经网络。在示例14中，示例13的主题可选地包括，其中，所述一个或多个处理器还执行所述指令，以基于自动在所述环境处获得的新训练数据来检测所述特定环境中的预定义物体。在示例15中，示例14的主题可选地包括，其中，所述一个或多个处理器还执行以下指令：获取所述机器人系统部署环境中的实例级物体的图像；将所述图像传送到远离所述机器人系统部署环境的服务器来微调所述深度检测神经网络以识别所述类别级物体的实例级物体。在示例16中，示例15的主题可选地包括，其中，所述一个或多个处理器还执行以下指令：生成不包括所述类别级物体的一组背景场景图像；将分割的前景图像嵌入到背景场景图像集中。在示例17中，示例16的主题可选地包括，其中，所述一个或多个处理器还执行所述指令，以在所述机器人系统部署环境中的不同时间和位置处随机采样所述背景场景图像。示例18是一种非瞬时性计算机可读介质，用于存储用于机器人系统中的细粒度物体识别的计算机指令，当由一个或多个处理器执行所述指令时，使所述一个或多个处理器执行以下步骤：从成像设备获取物体的图像；基于所述物体的图像以及存储在所述机器人系统中的预定义类别级物体图像，通过类别级深度检测神经网络确定所述物体的预定义类别以及多个预定义物体类别；生成由所述类别级深度检测神经网络确定的物体的预定义类别的特征映射；使用与所述物体的预定义类别对应的实例级深度检测神经网络，基于所述特征图生成嵌入特征，其中所述多个预定义物体类别中的每个预定义类别包括对应的不同实例级深度检测神经网络；基于所述嵌入特征的分类识别所述物体的实例级。在示例19中，示例18的主题可选地包括，其中，所述执行的指令使所述一个或多个处理器通过确定界限关联图像中的类别级物体的最小框来执行限界框标注。在示例20中，示例19的主题可选地包括，其中，所述执行的指令还使所述一个或多个处理器将所述图像中位于最小框之外的像素视为硬背景像素。附图说明图1是示出了根据各种实施例的用于机器人系统中的细粒度物体识别的方法训练阶段的流程图；图2是示出了根据各种实施例的用于机器人系统中的细粒度物体识别的方法测试阶段的流程图；图3是根据各种实施例的机器人系统图；图4是示出了根据示例性实施例的用于执行方法的机器人系统的电路框图。具体实施方式所述方本文档来自技高网...

【技术保护点】
1.一种用于机器人系统中的实例级物体识别的方法，其特征在于，所述方法包括：从成像设备获取物体的图像；基于所述物体的图像以及存储在所述机器人系统中的预定义类别级物体图像，通过类别级深度检测神经网络确定所述物体的预定义类别以及多个预定义物体类别；生成由所述类别级深度检测神经网络确定的物体的预定义类别的特征映射；使用与所述物体的预定义类别对应的实例级深度检测神经网络，基于所述特征图生成嵌入特征，其中所述多个预定义物体类别中的每个预定义类别包括对应的不同实例级深度检测神经网络；基于所述嵌入特征的分类识别所述物体的实例级；由所述机器人系统基于所述物体的实例级识别情况执行机器人操作。

【技术特征摘要】
【国外来华专利技术】2017.03.03 US 15/449,5411.一种用于机器人系统中的实例级物体识别的方法，其特征在于，所述方法包括：从成像设备获取物体的图像；基于所述物体的图像以及存储在所述机器人系统中的预定义类别级物体图像，通过类别级深度检测神经网络确定所述物体的预定义类别以及多个预定义物体类别；生成由所述类别级深度检测神经网络确定的物体的预定义类别的特征映射；使用与所述物体的预定义类别对应的实例级深度检测神经网络，基于所述特征图生成嵌入特征，其中所述多个预定义物体类别中的每个预定义类别包括对应的不同实例级深度检测神经网络；基于所述嵌入特征的分类识别所述物体的实例级；由所述机器人系统基于所述物体的实例级识别情况执行机器人操作。2.根据权利要求1所述的方法，其特征在于，获取所述物体的图像包括获取所述物体的多个图像，每个图像从不同的透视和/或照明条件获取。3.根据权利要求1-2中任一项所述的方法，其特征在于，还包括使用深度检测神经网络为所述多个图像的每个图像生成热图，所述热图强调所述一个或多个图像中的类别级物体。4.根据权利要求1-3所述的方法，其特征在于，生成所述热图包括为所述一个或多个图像的每个像素生成关注值，其中关注值越高对应于所述像素是感兴趣前景物体的可能性越高。5.根据权利要求1-4中任一项所述的方法，其特征在于，还包括基于所述热图生成二值物体掩模图像，其中关注值高于阈值的像素被标记为第一逻辑状态，而所有其他像素被标记为与所述第一个逻辑状态相反的第二逻辑状态。6.根据权利要求1-5中任一项所述的方法，其特征在于，还包括基于标记为所述第一逻辑状态的像素从所述掩模图像中提取所述预定义的物体类别。7.根据权利要求1-6中任一项所述的方法，其特征在于，还包括训练所述深度检测神经网络以识别所述类别级物体的实例级物体包括基于所述提取的类别级物体以及从包含所述提取类别级物体的最小矩形框生成的增强训练数据来识别所述物体的实例级。8.根据权利要求1-7中任一项所述的方法，其特征在于，生成所述增强训练数据包括：从所述掩模图像中去除与所述提取的类别级物体相对应的图像像素；将所述去除的图像像素嵌入到一组背景场景图像中以生成设置的背景场景图像，而不将所述物体用作增强性训练图像。9.根据权利要求1-8中任一项所述的方法，其特征在于，还包括通过所述机器人系统部署环境常见的预定义物体类别来训练所述预定义物体类别上的深度检测神经网络。10.根据权利要求1-9中任一项所述的方法，其特征在于，训练所述深度检测神经网络还包括为每个类别级物体生成前向计算的特征映射。11.根据权利要求1至10中任一项所述的方法，其特征在于，训练所述深度检测神经网络以识别实例级物体包括：基于所述前向计算的特征映射生成所述嵌入的特征；调整所述类别级物体检测以基于所述嵌入的特征确定所述实例级物体的识别情况。12.一种机器人系统，其特征在于，包括：成像装置，耦合到所述机器人并且定位成获取所...

【专利技术属性】
技术研发人员：蒋伟，王炜，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44