物体识别定位方法、装置及终端设备制造方法及图纸

本发明专利技术适用于机器视觉技术领域，提供了物体识别定位方法、装置及终端设备，包括：获取待测区域的二维图像及点云数据；通过预训练的深度学习模型对所述二维图像进行检测，识别出所述二维图像中目标物体对应的二维目标区域及几何形状类型；将所述二维目标区域映射到所述点云数据，根据映射结果确定所述目标物体的第一三维区域；根据所述几何形状类型及所述第一三维区域，确定所述目标物体的第二三维区域并定位所述目标物体。本发明专利技术实施例能够提高3D物体识别定位的效率及准确性。

Object recognition and location method, device and terminal equipment

【技术实现步骤摘要】
物体识别定位方法、装置及终端设备
本专利技术属于机器视觉
，尤其涉及一种物体识别定位方法、装置及终端设备。
技术介绍
在工业生产或者机器人应用过程中，常常需要通过机器视觉实现对物体的识别定位，以便后续的抓取或者其它的处理步骤的进行。对于现有的三维(3Dimensions,3D)物体，通常采用3D模型匹配算法，即根据预先构建的目标物体的3D模型，对待测物体进行模型匹配，从中识别出目标物体。然而，现有的3D模型匹配算法对遮挡、嘈杂背景的鲁棒性较差，容易产生误匹配，导致三维物体识别效率低。
技术实现思路
有鉴于此，本专利技术实施例提供了物体识别定位方法、装置及终端设备，以解决现有技术中如何提高3D物体识别定位的效率及准确性的问题。本专利技术实施例的第一方面提供了一种物体识别定位方法，包括：获取待测区域的二维图像及点云数据；通过预训练的深度学习模型对所述二维图像进行检测，识别出所述二维图像中目标物体对应的二维目标区域及几何形状类型；将所述二维目标区域映射到所述点云数据，根据映射结果确定所述目标物体的第一三维区域；根据所述几何形状类型及所述第一三维区域，确定所述目标物体的第二三维区域并定位所述目标物体。本专利技术实施例的第二方面提供了一种物体识别定位装置，包括：第一获取单元，用于获取待测区域的二维图像及点云数据；识别单元，用于通过预训练的深度学习模型对所述二维图像进行检测，识别出所述二维图像中目标物体对应的二维目标区域及几何形状类型；粗分割单元，用于将所述二维目标区域映射到所述点云数据，根据映射结果确定所述目标物体的第一三维区域；定位单元，用于根据所述几何形状类型及所述第一三维区域，确定所述目标物体的第二三维区域并定位所述目标物体。本专利技术实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如所述物体识别定位方法的步骤。本专利技术实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如所述物体识别定位方法的步骤。本专利技术实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行如第一方面中所述的物体识别定位方法。本专利技术实施例与现有技术相比存在的有益效果是：本专利技术实施例中，由于通过二维图像识别出目标物体相较于3D模型匹配识别目标物体的方法鲁棒性更好，因此先通过二维图像识别出目标物体的二维目标区域，再将其映射到三维的点云空间确定目标物体的第一三维区域能够初步地识别目标物体并确定目标物体对应的几何形状类型，相对于直接进行鲁棒性较差的3D模型匹配的物体识别方法，能够提高物体识别的效率及物体被准确识别到的概率；并且，在通过确定第一三维区域初步识别目标物体后，还能够根据目标物体的几何形状类型和第一三维区域，进一步准确地确定目标物体的第二三维区域，完成目标物体的定位，从而进一步提高物体识别定位的准确性。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的第一种物体识别定位方法的实现流程示意图；图2是本专利技术实施例提供的第二种物体识别定位方法的实现流程示意图；图3是本专利技术实施例提供的物体识别定位装置的示意图；图4是本专利技术实施例提供的终端设备的示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。另外，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。实施例一：图1示出了本申请实施例提供的第一种物体识别定位方法的流程示意图，详述如下：在S101中，获取待测区域的二维图像及点云数据。待测区域为包含若干待识别的物体的区域，该区域可以同时存在多种待识别的物体。为了便于描述，以下将待识别的物体称为目标物体。待测区域的二维图像可以通过可采集二维图像的深度相机(例如RGBD相机)采集获取，也可以通过普通的相机采集获取，该二维图像包含了待测区域内物体的二维形状信息。待测区域的点云数据可以由深度相机直接采集获取，也可以根据深度相机采集到的深度图转化为对应的点云空间获取。该点云数据包括了待测区域的三维信息，待测区域里各物体的三维信息(例如三维坐标信息、三维方向信息)都可由该点云数据反映。优选地，待测区域的二维图像为彩色图像，因为彩色图像除了包含目标物体的二维形状信息还包括目标物体的色彩信息，能够更好地对识别出目标物体。可选地，二维图像及点云数据用一个可用于采集彩色图和深度图的深度相机(例如RGBD相机)同时采集获取，也可以分别通过彩色相机和深度相机分别采集获取。可选地，所述获取待测区域的二维图像及点云数据，包括：获取待测区域的彩色图及深度图，其中所述彩色图即为待测区域的二维图像；根据所述彩色图及深度图，生成所述待测区域的点云数据。通过RGBD深度相机采集待测区域的RGBD图，包括一副彩色图(RGBmap)和一副深度图(Depthmap)，彩色图和深度图的分辨率大小相同，经过对准操作后，彩图上的点和深度图上的点一一对应，深度本文档来自技高网...

【技术保护点】
1.一种物体识别定位方法，其特征在于，包括：/n获取待测区域的二维图像及点云数据；/n通过预训练的深度学习模型对所述二维图像进行检测，识别出所述二维图像中目标物体对应的二维目标区域及几何形状类型；/n将所述二维目标区域映射到所述点云数据，根据映射结果确定所述目标物体的第一三维区域；/n根据所述几何形状类型及所述第一三维区域，确定所述目标物体的第二三维区域并定位所述目标物体。/n

【技术特征摘要】
1.一种物体识别定位方法，其特征在于，包括：
获取待测区域的二维图像及点云数据；
通过预训练的深度学习模型对所述二维图像进行检测，识别出所述二维图像中目标物体对应的二维目标区域及几何形状类型；
将所述二维目标区域映射到所述点云数据，根据映射结果确定所述目标物体的第一三维区域；
根据所述几何形状类型及所述第一三维区域，确定所述目标物体的第二三维区域并定位所述目标物体。


2.如权利要求1所述的物体识别定位方法，其特征在于，在所述通过预训练的深度学习模型对所述二维图像进行检测，识别出所述二维图像中目标物体对应的二维目标区域及几何形状类型之前，还包括：
获取二维样本图像，其中所述二维样本图像包含预定数量的目标物体的二维图像信息；
在所述二维样本图像中框选出目标物体对应的二维目标区域，并标识对应的几何形状类型标签；
以所述二维样本图像为训练样本，通过目标检测算法训练得到所述预训练的深度学习模型。


3.如权利要求1所述的物体识别定位方法，其特征在于，所述根据所述几何形状类型及所述第一三维区域，确定所述目标物体的第二三维区域并定位所述目标物体，包括：
若所述几何形状类型为规则几何形状，则通过拟合算法从所述第一三维区域中确定所述目标物体的第二三维区域并定位所述目标物体；
若所述几何形状类型为不规则几何形状，则通过3D模型匹配法从所述第一三维区域中确定所述目标物体的第二三维区域并定位所述目标物体。


4.如权利要求3所述的物体识别定位方法，其特征在于，在所述根据所述几何形状类型及所述第一三维区域，确定所述目标物体的第二三维区域并定位所述目标物体之后，还包括：
根据所述几何形状类型及所述目标物体的位置，抓取所述目标物体。


5.如权利要求4所述的物体识别定位方法，其特征在于，所述根据所述几何形状类...

【专利技术属性】
技术研发人员：刘培超，徐培，郎需林，刘主福，
申请(专利权)人：深圳市越疆科技有限公司，
类型：发明
国别省市：广东;44