一种机器人物体识别方法、装置及存储介质制造方法及图纸

本发明专利技术涉及一种机器人物体识别方法、装置及存储介质，所述方法包括以下步骤：获取机器人视野范围内的环境感知图像，该环境感知图像包含图像信息和深度信息；基于所述图像信息和深度信息对所述环境感知图像进行图像分割处理，将环境感知图像分割为多个物体，形成图像输入信息；从预先构建的物体类型库中选择可能的物体语义标签，接收设计的prompt模板，将所述prompt模板与所述物体语义标签结合为语言输入信息；将所述图像输入信息和语言输入信息作为一经训练的视觉语言预训练模型的输入，获得相似性矩阵，该相似性矩阵表示图像与文本之间的相似度；基于所述相似性矩阵实现物体识别。与现有技术相比，本发明专利技术具有方便、识别可靠性高等优点。性高等优点。性高等优点。

【技术实现步骤摘要】
一种机器人物体识别方法、装置及存储介质


[0001]本专利技术涉及机器人视觉感知领域，尤其是涉及一种机器人物体识别方法、装置及存储介质。

技术介绍

[0002]随着计算机视觉技术和人工智能技术的高速发展，机器人的智能化也逐渐进入科研和应用的范围，例如自动驾驶、仓储机器人、柔性抓取机器人等。其中，视觉识别是机器人智能化的关键环节，是机器人与环境进行直接交互感知的基础。为此，研究视觉识别技术非常重要。
[0003]目前，机器人主要通过构建深度学习模型进行物体识别。首先，利用人工采集并标注样本数据构建数据集，然后基于数据集进行学习训练模型。目前，这一类方法在某些方面的能力已经超过了人类，并且得益于其简单易用的特点这一类方法已经得到了广泛应用，尤其是在自动驾驶、人脸识别等领域。然而，随着研究的不断深入，这一类视觉识别方法的缺点也逐渐显性，该视觉识别方法仅能识别数据集中已知的物体，一旦出现未知物体则会出现无法识别的情况。然而，家居场景具有明显非结构化特征，机器人作业中必然会遇到未知物体，导致现有的识别方法无法适用的情况，需要重新构建数据集进行训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器人物体识别方法，其特征在于，包括以下步骤：获取机器人视野范围内的环境感知图像，该环境感知图像包含图像信息和深度信息；基于所述图像信息和深度信息对所述环境感知图像进行图像分割处理，将环境感知图像分割为多个物体，形成图像输入信息；从预先构建的物体类型库中选择当前场景可能出现的物体语义标签，接收设计的prompt模板，将所述prompt模板与所述物体语义标签结合为语言输入信息；将所述图像输入信息和语言输入信息作为经训练的视觉语言预训练模型的输入，获得相似性矩阵，该相似性矩阵表示图像与文本之间的相似度；基于所述相似性矩阵实现物体识别。2.根据权利要求1所述的机器人物体识别方法，其特征在于，对所述环境感知图像进行图像分割处理前，对环境感知图像进行预处理。3.根据权利要求2所述的机器人物体识别方法，其特征在于，所述预处理包括图像压缩和图像变换。4.根据权利要求1所述的机器人物体识别方法，其特征在于，通过分割模型对所述环境感知图像进行图像分割处理。5.根据权利要求1所述的机器人物体识别方法，其特征在于，所述物体类别库包含图像可能的类别、名称和属性。6.根据权利要求1所述的机器人物体识别方法，其特征在于，所述物体类别库为动态更新的数据库。7.根据权利要求1所述的机器人物体识别方法，其特征在于，所述prompt模板为若干个用自然语言描述的提示输入。8.根据权利要求1所述的机器人物体识别方法，其特征在于，所述视觉语言预训练模型包括CLIP模型。9.根据权利要求1所述的机器人物体识别方法，其特征在于，所述相似性矩阵为余弦相似性矩阵。10.根...

【专利技术属性】
技术研发人员：廖建峰，朱世强，宋伟，孟启炜，顾建军，孙铁楠，
申请(专利权)人：之江实验室，
类型：发明
国别省市：