用于基于形状的物品检索的系统和方法技术方案

一种对物品进行分类的方法，包括：通过处理器控制一个或多个深度摄像头，以捕获查询物品的多个深度图像；通过所述处理器控制一个或多个彩色摄像头捕获所述查询物品的多个彩色图像；通过所述处理器利用深度图像计算所述查询物品的三维(3D)模型；通过所述处理器将彩色图像与3D模型相结合；通过所述处理器从3D模型和彩色图像计算描述符，所述描述符包括：所述查询物品的3D形状的多维形状描述符空间表示；所述查询物品的纹理的多维颜色描述符空间表示；以及所述查询物品尺寸的一维尺寸描述符空间表示；通过所述处理器将描述符提供给分类器以计算所述查询物品的分类；以及输出所述查询物品的分类。

【技术实现步骤摘要】
【国外来华专利技术】用于基于形状的物品检索的系统和方法有关申请的互相参照
本专利技术的实施例的各方面涉及计算机视觉领域，尤其涉及基于形状的物品的检索或识别。在一些实施例中，使用一个或多个范围(range)(或深度(depth))摄像头和一个或多个彩色(例如，红绿蓝或RGB)摄像头对物品进行扫描。
技术介绍
在许多情况下，将物品自动识别或分类为特定种类或类型的物品实例是有用的。这种自动化系统可用于自动化分类活动，否则这些活动需要人工手动查看被分类的物品并操纵物品以执行分类过程(例如，通过触摸物品或通过控制机械将物品引导到特定位置)。应用的一个例子是在具有例如输送带的输送系统的工厂中，用于使物品移动通过制造过程的各个阶段，包括组装，分配和输送过程。在工厂的任何阶段，可能有许多不同类型的物品到达，这些物品可能来自不同的生产线，因此可能是相似产品的不同模型，完全不同的产品，物品的不完整部分或模块等。物品可能具有不同的特征，例如尺寸和颜色。在许多情况下，物品可以是未分类的，其中一种类型(或分类)的物品之后可以紧跟着不同类型(或不同分类)的物品。当物品到达时，可能需要正确地识别和表征每个物品以用于后续处理。例如，物本文档来自技高网...

【技术保护点】
1.一种对物品进行分类的方法，包括：通过处理器控制一个或多个深度摄像头，以捕获查询物品的多个深度图像；通过所述处理器控制一个或多个彩色摄像头捕获所述查询物品的多个彩色图像；通过所述处理器利用所述深度图像计算所述查询物品的三维(3D)模型；通过所述处理器将所述彩色图像与所述3D模型相结合；通过所述处理器从所述3D模型和所述彩色图像计算描述符；所述描述符包括：所述查询物品的3D形状的多维形状描述符空间表示；所述查询物品的纹理的多维颜色描述符空间表示；以及所述查询物品的尺寸的一维尺寸描述符空间表示；通过所述处理器将所述描述符提供给分类器以计算所述查询物品的分类；以及输出所述查询物品的分类。

【技术特征摘要】
【国外来华专利技术】2017.01.04 US 62/442,2231.一种对物品进行分类的方法，包括：通过处理器控制一个或多个深度摄像头，以捕获查询物品的多个深度图像；通过所述处理器控制一个或多个彩色摄像头捕获所述查询物品的多个彩色图像；通过所述处理器利用所述深度图像计算所述查询物品的三维(3D)模型；通过所述处理器将所述彩色图像与所述3D模型相结合；通过所述处理器从所述3D模型和所述彩色图像计算描述符；所述描述符包括：所述查询物品的3D形状的多维形状描述符空间表示；所述查询物品的纹理的多维颜色描述符空间表示；以及所述查询物品的尺寸的一维尺寸描述符空间表示；通过所述处理器将所述描述符提供给分类器以计算所述查询物品的分类；以及输出所述查询物品的分类。2.根据权利要求1所述的方法，还包括根据所述查询物品的分类，控制被配置为传送所述查询物品的传送器系统来重新定向所述查询物品。3.根据权利要求1所述的方法，还包括在显示装置上显示所述查询物品的分类。4.根据权利要求1所述的方法，其中所述分类器是神经网络。5.根据权利要求4所述的方法，其中所述神经网络基于物品存货清单来训练。6.根据权利要求5所述的方法，其中基于所述描述符计算所述查询物品的分类，是通过从所述形状描述符空间、所述颜色描述符空间和所述尺寸描述符空间中与所述查询物品的描述符具有最近距离的所述物品存货清单中识别结果物品来执行。7.根据权利要求1所述的方法，其中，所述3D模型包括从所述深度图像计算的3D网格模型。8.根据权利要求7所述的方法，还包括：渲染所述3D网格模型的多个二维(2D)视图；以及通过将所述2D视图提供给神经网络的卷积级来计算所述描述符。9.一种用于对物品进行分类的系统，包括：处理器；以及存储指令的存储器，当所述处理器执行所述指令时，所述指令使得所述处理器...

【专利技术属性】
技术研发人员：卡洛·戴穆托，艾尔维斯·梅莫，
申请(专利权)人：艾奎菲股份有限公司，
类型：发明
国别省市：美国,US