物体自动识别方法以及系统、购物设备和存储介质技术方案

一种物体自动识别方法、物体自动识别系统、购物设备和计算机可读存储介质。该物体自动识别方法包括：获取第一图像和第二图像，所述第一图像和所述第二图像均包含物体，所述第二图像为深度图像；基于所述第一图像，提取所述物体的特征点；基于来自所述第一图像的所述特征点和所述第二图像的深度信息，以得到联合特征；基于所述联合特征，识别所述物体。

Automatic object recognition method, system, shopping equipment and storage medium

The invention relates to an automatic object recognition method, an automatic object recognition system, a shopping device and a computer readable storage medium. The automatic object recognition method includes: acquiring the first image and the second image including the object, the second image being a depth image; extracting the feature points of the object based on the first image; and based on the feature points and the second image from the first image. Depth information is used to obtain joint features, and the object is identified based on the joint features.

【技术实现步骤摘要】
物体自动识别方法以及系统、购物设备和存储介质
本公开的实施例涉及一种物体自动识别方法、物体自动识别系统、购物设备和计算机可读存储介质。
技术介绍
随着人工智能的发展，计算机视觉逐渐应用于人们的日常生活中。计算机视觉是通过对采集得到的图片和/或视频进行处理，以识别图片和/或视频中的各种物体。计算机视觉可以用于物体自动识别(例如，商品识别等)等场景。目前，物体自动识别的方法通常仅基于物体的二维图像(例如，灰度或彩色图像)，对物体做出识别。由于二维图像易受到光照、视角、噪声等因素的影响，物体自动识别的可靠性在复杂场景下不能得到保证。
技术实现思路
本公开至少一实施例提供一种物体自动识别方法，其包括：获取第一图像和第二图像，所述第一图像和所述第二图像均包含物体，所述第二图像为深度图像；基于所述第一图像，提取所述物体的特征点；基于来自所述第一图像的所述特征点和所述第二图像的深度信息，以得到联合特征；以及基于所述联合特征，识别所述物体。例如，在本公开一些实施例提供的物体自动识别方法中，基于所述第一图像，提取所述物体的特征点，包括：获取所述第一图像的目标区域，在所述目标区域内包括所述物体；以及提取所述目标区域内的所述物体的特征点。例如，在本公开一些实施例提供的物体自动识别方法中，获取所述第一图像的目标区域，包括：对所述第一图像进行图像分割处理，以得到所述第一图像的目标区域；或者对所述第二图像进行图像分割处理，以得到所述第二图像的深度目标区域；对所述第一图像和所述第二图像进行配准操作，以得到所述第一图像和所述第二图像之间的配准信息；以及基于所述配准信息和所述深度目标区域，得到所述第一图像的目标区域。例如，在本公开一些实施例提供的物体自动识别方法中，基于来自所述第一图像的所述特征点和所述第二图像的深度信息，以得到所述联合特征，包括：基于所述特征点和所述第二图像的深度信息，计算所述物体的三维特征；以及融合所述三维特征和所述特征点，以得到所述联合特征。例如，在本公开一些实施例提供的物体自动识别方法中，基于所述特征点和所述第二图像的深度信息，计算所述物体的三维特征，包括：基于所述特征点和所述第二图像的深度信息，建立所述特征点的三维坐标系；以及根据所述特征点的三维坐标系，计算与所述特征点对应的三维特征。例如，在本公开一些实施例提供的物体自动识别方法中，基于所述特征点和所述第二图像的深度信息，建立所述特征点的三维坐标系，包括：对所述第一图像和所述第二图像进行配准操作，以得到所述第一图像和所述第二图像之间的配准信息；根据所述特征点，确定所述物体的特征表面；基于所述特征点和所述配准信息，计算所述特征表面的特征描述点的三维信息；以及基于所述特征描述点的三维信息和所述特征点，建立所述特征点的三维坐标系。例如，在本公开一些实施例提供的物体自动识别方法中，基于所述特征描述点的三维信息和所述特征点，建立所述特征点的三维坐标系，包括：根据所述特征描述点的三维信息，计算在所述特征点处的法向量，所述法向量的方向作为所述三维坐标系的第一轴方向；以及根据所述法向量，得到在所述特征点处的切平面以及在所述切平面上的所述特征点的两个主曲率的主方向，所述两个主曲率的主方向相互垂直，且所述两个主曲率的主方向分别作为所述三维坐标系的第二轴方向和第三轴方向。例如，在本公开一些实施例提供的物体自动识别方法中，根据所述特征点的三维坐标系，计算与所述特征点对应的三维特征，包括：计算所述特征表面的特征描述点在所述三维坐标系中的坐标；以及根据所述特征点在所述三维坐标系中的坐标和所述多个特征描述点在所述三维坐标系中的坐标，计算与所述特征点对应的三维特征。例如，在本公开一些实施例提供的物体自动识别方法中，融合所述三维特征和所述特征点，以得到所述联合特征，包括：将所述三维特征的维度和所述特征点的维度进行融合处理，以得到所述联合特征。例如，在本公开一些实施例提供的物体自动识别方法中，基于所述联合特征，识别所述物体，包括：基于所述联合特征，利用分类器计算所述物体为不同类别时的多个得分数；以及根据所述多个得分数，确定所述物体的识别结果。例如，本公开一些实施例提供的物体自动识别方法还包括：输出所述物体的识别结果。例如，在本公开一些实施例提供的物体自动识别方法中，所述第一图像为彩色图像。本公开至少一实施例还提供一种物体自动识别系统，其包括：图像采集装置，被配置为获取第一图像和第二图像，所述第一图像和所述第二图像均包含物体，所述第二图像为深度图像；存储器，被配置为存储非暂时性计算机可读指令；以及处理器，被配置为运行所述非暂时性计算机可读指令，其中，所述非暂时性计算机可读指令被所述处理器运行时执行上述任一实施例所述的物体自动识别方法。例如，在本公开一些实施例提供的物体自动识别系统中，所述图像采集装置包括深度摄像头。本公开至少一实施例还提供一种购物设备，包括载物区和上述任一实施例所述的物体自动识别系统。所述物体自动识别系统设置在所述载物区上。本公开至少一实施例还提供一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时执行上述任一实施例所述的物体自动识别方法。附图说明为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。图1A为本公开一实施例提供的一种物体自动识别方法的示意性流程图；图1B为本公开一实施例提供的一种物体自动识别方法的具体流程图；图2为一种摄像机标定模型的坐标系示意图；图3为本公开一实施例提供的一种物体上特征点处的三维坐标系的示意图；图4为本公开一实施例提供的一种获取联合特征的方法的示意性流程图；图5为本公开一实施例提供的一种物体自动识别系统的示意性框图；图6为本公开一实施例提供的一种购物设备的示意图；图7为本公开一实施例提供的一种计算机可读存储介质的示意图。具体实施方式为了使得本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。为了保持本公开实施例的以下说明清楚且简明，本公开省略了已知功能和已知部件的详细说明。一种基于物体的图像对该物体进行识别的方法可以包括：获取物体的彩色图像；对物体的彩色图像进行图像分割，以获得分割区本文档来自技高网...

【技术保护点】
1.一种物体自动识别方法，包括：获取第一图像和第二图像，所述第一图像和所述第二图像均包含物体，所述第二图像为深度图像；基于所述第一图像，提取所述物体的特征点；基于来自所述第一图像的所述特征点和所述第二图像的深度信息，以得到联合特征；以及基于所述联合特征，识别所述物体。

【技术特征摘要】
1.一种物体自动识别方法，包括：获取第一图像和第二图像，所述第一图像和所述第二图像均包含物体，所述第二图像为深度图像；基于所述第一图像，提取所述物体的特征点；基于来自所述第一图像的所述特征点和所述第二图像的深度信息，以得到联合特征；以及基于所述联合特征，识别所述物体。2.根据权利要求1所述的物体自动识别方法，其中，基于所述第一图像，提取所述物体的特征点，包括：获取所述第一图像的目标区域，在所述目标区域内包括所述物体；以及提取所述目标区域内的所述物体的特征点。3.根据权利要求2所述的物体自动识别方法，其中，获取所述第一图像的目标区域，包括：对所述第一图像进行图像分割处理，以得到所述第一图像的目标区域；或者对所述第二图像进行图像分割处理，以得到所述第二图像的深度目标区域；对所述第一图像和所述第二图像进行配准操作，以得到所述第一图像和所述第二图像之间的配准信息；以及基于所述配准信息和所述深度目标区域，得到所述第一图像的目标区域。4.根据权利要求1所述的物体自动识别方法，其中，基于来自所述第一图像的所述特征点和所述第二图像的深度信息，以得到所述联合特征，包括：基于所述特征点和所述第二图像的深度信息，计算所述物体的三维特征；以及融合所述三维特征和所述特征点，以得到所述联合特征。5.根据权利要求4所述的物体自动识别方法，其中，基于所述特征点和所述第二图像的深度信息，计算所述物体的三维特征，包括：基于所述特征点和所述第二图像的深度信息，建立所述特征点的三维坐标系；以及根据所述特征点的三维坐标系，计算与所述特征点对应的三维特征。6.根据权利要求5所述的物体自动识别方法，其中，基于所述特征点和所述第二图像的深度信息，建立所述特征点的三维坐标系，包括：对所述第一图像和所述第二图像进行配准操作，以得到所述第一图像和所述第二图像之间的配准信息；根据所述特征点，确定所述物体的特征表面；基于所述特征点和所述配准信息，计算所述特征表面的特征描述点的三维信息；以及基于所述特征描述点的三维信息和所述特征点，建立所述特征点的三维坐标系。7.根据权利要求6所述的物体自动识别方法，其中，基于所述特征描述点的三维信息和所述特征点，建立所述特征点的三维坐...

【专利技术属性】
技术研发人员：刘童，刘向阳，唐小军，张治国，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京,11