一种基于点云的物体追踪检测方法及系统技术方案

本申请实施例涉及自主物流领域，本申请实施例提供一种基于点云的物体追踪检测方法及系统，包括获取被放置到工作区域的新增物体的ID及其姿态数据；获取所述新增物体被放置之前，工作区域内的全部物体的原始集合，所述原始集合包括工作区域内物体的ID及其姿态数据；获取所述新增物体被放置之后的工作区域内的框体集合，所述框体集合包括所述工作区域内检测到的框体ID及其姿态数据；将所述新增物体及原始集合通过预设模型关联至所述框体集合，从而对所述工作区域内物体进行追踪。本申请利用预设模型解决了扩展对象的数据关联，进而实现了对物体在工作区域发生实质性变化或连续观测时间存在明显时间差等情况下的追踪。

An Object Tracking Detection Method and System Based on Point Cloud

The embodiment of this application relates to the field of autonomous logistics. The embodiment of this application provides an object tracking detection method and system based on point cloud, including acquiring ID and attitude data of newly added objects placed in the working area, acquiring the original set of all objects in the working area before the newly added objects are placed, and the original set includes the ID and attitude data of the objects in the working area. Attitude data; acquisition of the frame set in the working area after the new object is placed, which includes the frame ID detected in the working area and its attitude data; Association of the new object and the original set to the frame set through the preset model, so as to track the object in the working area. This application solves the data association of the extended object by using the preset model, and then realizes the tracking of the object in the case of substantial changes in the working area or obvious time difference of continuous observation time.

【技术实现步骤摘要】
一种基于点云的物体追踪检测方法及系统
本申请涉及自主物流领域，尤其涉及一种基于点云的物体追踪检测方法及系统。
技术介绍
现代物流企业通常采用自主物流系统，物体一般由机器人操作管理。在某些场景中，机器人可能需要将一组物体加载至给定的工作空间中。但每当一个物体被放置到工作空间中，它将影响现有的结构，并且可能导致一些现有的箱子移动。由一个运动引起的空间变化可以从一个微小的变化，如位置转移到一个实质性的变化，如结构倾倒。因此，机器人在空间变化前后对物体进行检测并追踪是至关重要的。通常来说，机器人使用其深度传感器来感知环境，这些传感器生成传感器可见的环境点云。这种做法往往不够精确和不完整。由于现场限制，将传感器安装在所需位置以获得工作空间的完整观察通常也是不可行的。环境噪音或硬件的限制也会造成传感器数据的不精确性。现有技术通过假设保留一些结构特性如稳定性来从点云重建三维结构。但是，从这些方法获得的结构并不一定反映现实。而关于负荷情景下的物体追踪方法，更是少之又少，特别是当存在实质性的空间变化并且两次连续观测之间存在显着的时间差时。此外，如果物体具有相同的尺寸和相似的外观，也就是感知上难以区分的对象，随着时间的推移，物体变得更加难以跟踪。
技术实现思路
有鉴于此，本申请提出一种基于点云的物体追踪检测方法及系统，实现了对物体在工作空间发生实质性变化或连续观测时间存在明显时间差等情况下的追踪；并通过唯一标识符实现了对感知上难以区分的物体的识别，进一步增强自主物流系统中物体检测和追踪的效率。基于上述目的，本申请提出了一种基于点云的物体追踪检测方法，包括：步骤一，获取被放置到工作区域的新增物体的ID及其姿态数据；步骤二，获取所述新增物体被放置之前，工作区域内的全部物体的原始集合，所述原始集合包括工作区域内物体的ID及其姿态数据；步骤三，获取所述新增物体被放置之后的工作区域内的框体集合，所述框体集合包括所述工作区域内检测到的框体ID及其姿态数据；步骤四，将所述新增物体及所述原始集合通过预设模型关联至所述框体集合，从而对所述工作区域内物体进行追踪。在一些实施例中，将所述新增物体及原始集合通过预设模型关联至所述框体集合，包括：通过预设模型确定新增物体及原始集合中的每个物体与所述框体集合中每个框体的对应关系。在一些实施例中，所述预设模型如下：所述新增物体表示为bp，所述原始集合表示为Bexisting，设集合Bbefore＝Bexisting∪{bp}，bi∈Bbefore，其中集合元素bi是由每个物体的ID及其姿态数据组成的多元数组；所述框体集合为Bafter，bj∈Bafter，其中集合元素bj是由每个框体的ID及其姿态数据组成的多元数组；则所述新增物体及原始集合至所述框体集合的关联表示为A：Bbefore→Bafter设n＝|Bbefore|，则所述关联A可表示为其中，mi指的是第i个关联中一个物体的质量，P、D、S代表能够引起所述工作区域发生实质性空间变化的物理量，设ci是bi的几何中心，cj是bj的几何中心，物体的位移则：Pi＝gΔhDi＝aΔd其中，g、a、k是三个实数常量，Δh是指的垂直分量的大小，Δd是非垂直分量的大小，Δsj是指物体从与另一个物体的交点移开的最小平移向量的大小；当所述关联A使所述最小化时，获得Bbefore中的物体bi与Bafter中框体bj的对应关系，进而实现追踪。在一些实施例中，所述步骤三中，当所述新增物体被放置所述工作区域后，采集当前工作区域的点云数据，通过预设算法处理所述点云数据，从而形成所述框体集合。在一些实施例中，所述预设算法包括首先使用区域生长方法来分割所述点云数据，再通过RANSAC算法从分割中获取曲面，在获取所述曲面的列表后，将所述曲面组合起来以形成框体。在一些实施例中，所述姿态数据为代表物体位置和方向的六元组。本申请还提供了一种基于点云的物体追踪检测系统，包括：新增物体特征获取模块，用于获取被放置到工作区域的新增物体的ID及其姿态数据；原始集合特征获取模块，用于获取所述新增物体被放置之前，工作区域内的全部物体的原始集合，所述原始集合包括工作区域内物体的ID及其姿态数据；框体特征获取模块，用于获取新增物体被放置之后的工作区域内物体的框体集合，所述框体集合包括所述工作区域内物体的ID及其姿态数据；关联追踪模块，用于将所述新增物体及所述原始集合通过预设模型关联至所述框体集合，从而对所述工作区域内物体进行追踪。在一些实施例中，所述预设模型如下：所述新增物体表示为bp，所述原始集合表示为Bexisting，设集合Bbefore＝Bexisting∪{bp}，bi∈Bbefore，其中集合元素bi是由每个物体的ID及其姿态数据组成的多元数组；所述框体集合为Bafter，bj∈Bafter，其中集合元素bj是由每个框体的ID及其姿态数据组成的多元数组：则所述新增物体及原始集合至所述框体集合的关联表示为A：Bbefore→Bafter设n＝|Bbefore|，则所述关联A可表示为其中，mi指的是第i个关联中一个物体的质量，P、D、S代表能够引起所述工作区域发生实质性空间变化的物理量，设ci是bi的几何中心，cj是bj的几何中心，物体的位移则：Pi＝gΔhDi＝aΔd其中，g、a、k是三个实数常量，Δh是指的垂直分量的大小，Δd是非垂直分量的大小，Δsj是指物体从与另一个物体的交点移开的最小平移向量的大小；当所述关联A使所述最小化时，获得Bbefore中的物体bi与Bafter中框体bj的对应关系，进而实现追踪。在一些实施例中，所述框体特征获取模块中，当所述新增物体被放置所述工作区域后，采集当前工作区域的点云数据，通过预设算法处理所述点云数据，从而形成所述框体集合。在一些实施例中，所述预设算法包括首先使用区域生长方法来分割所述点云数据，再通过RANSAC算法从分割中获取曲面，在获取所述曲面的列表后，将所述曲面组合起来以形成框体。本申请实施例提供了一种基于点云的物体追踪检测方法，获取被放置到工作区域的新增物体的ID及其姿态数据，将所述ID和所述姿态数据设为bp；获取所述新增物体被放置之前，工作区域内的全部物体的原始集合，将所述原始集合设定为Bexisting，其中所述原始集合包括工作区域内物体的ID及其姿态数据；获取所述新增物体被放置之后的工作区域内物体的框体集合，将所述框体集合设为Bafter，其中所述框体集合包括所述工作区域内物体的ID及其姿态数据；假设Bbefore＝Bexisting∪{bp}，通过预设模型解决了Bbefore与Bafter之间的数据关联，获得物体的对应关系，进而实现了对工作区域中物体在空间变化前后的追踪。本申请实施例的基于点云的物体追踪检测方法，通过采集预设时间点的工作区域的点云来获取物体的姿态数据，其中包括首先使用区域生长法将所述点云数据进行分割，再使用RANSAC算法从分割中获取曲面，然后将曲面组合起来以形成框体，基于框体输出工作区域内物体的姿态数据和ID。若分别采集两个时间点的工作区域的点云，经数据处理后，将这两个时间点的姿态数据和ID通过预设模型来确定每个框体的对应关系，就能够观察物体在这两个时间点的位置和方向的变化，进而实现对物体的追踪检测。附图说明本文档来自技高网...

【技术保护点】
1.一种基于点云的物体追踪检测方法，其特征在于，包括：步骤一，获取被放置到工作区域的新增物体的ID及其姿态数据；步骤二，获取所述新增物体被放置之前，工作区域内全部物体的原始集合，所述原始集合包括工作区域内物体的ID及其姿态数据；步骤三，获取所述新增物体被放置之后工作区域内的框体集合，所述框体集合包括所述工作区域内检测到的框体ID及其姿态数据；步骤四，将所述新增物体及所述原始集合通过预设模型关联至所述框体集合，从而对所述工作区域内物体进行追踪。

【技术特征摘要】
1.一种基于点云的物体追踪检测方法，其特征在于，包括：步骤一，获取被放置到工作区域的新增物体的ID及其姿态数据；步骤二，获取所述新增物体被放置之前，工作区域内全部物体的原始集合，所述原始集合包括工作区域内物体的ID及其姿态数据；步骤三，获取所述新增物体被放置之后工作区域内的框体集合，所述框体集合包括所述工作区域内检测到的框体ID及其姿态数据；步骤四，将所述新增物体及所述原始集合通过预设模型关联至所述框体集合，从而对所述工作区域内物体进行追踪。2.根据权利要求1所述的一种基于点云的物体追踪检测方法，其特征在于，将所述新增物体及原始集合通过预设模型关联至所述框体集合，包括：通过预设模型确定新增物体及原始集合中的每个物体与所述框体集合中每个框体的对应关系。3.根据权利要求2所述的一种基于点云的物体追踪检测方法，其特征在于，所述预设模型如下：所述新增物体表示为bp，所述原始集合表示为Bexisting，设集合Bbefore＝Bexisting∪{bp}，bi∈Bbefore，其中集合元素bi是由每个物体的ID及其姿态数据组成的多元数组；所述框体集合为Bafter，bj∈Bafter，其中集合元素bj是由每个框体的ID及其姿态数据组成的多元数组；则所述新增物体及原始集合至所述框体集合的关联表示为A：Bbefore→Baftr设n＝|Bbefore|，则所述关联A为：其中，mi指的是第i个关联中一个物体的质量，P、D、S代表能够引起所述工作区域发生实质性空间变化的物理量，设ci是bi的几何中心，cj是bj的几何中心，物体的位移则：Pi＝gΔhDi＝aΔd其中，g、a、k是三个实数常量，Δh是指的垂直分量的大小，Δd是非垂直分量的大小，Δsj是指物体从与另一个物体的交点移开的最小平移向量的大小；当所述关联A使所述最小化时，获得Bbefore中的物体bi与Bafter中框体bj的对应关系，进而实现追踪。4.根据权利要求3所述的一种基于点云的物体追踪检测方法，其特征在于，所述步骤三中，当所述新增物体被放置所述工作区域后，采集当前工作区域的点云数据，通过预设算法处理所述点云数据，从而形成所述框体集合。5.根据权利要求4所述的一种基于点云的物体追踪检测方法，其特征在于，所述预设算法包括首先使用区域生长方法来分割所述点云数据，再通过RANSAC算法从分割中获取曲面，在获取所述曲面的列表后，将所述曲面组合...

【专利技术属性】
技术研发人员：葛笑雨，阿底提耶阿迪亚，杨键烽，
申请(专利权)人：深圳蓝胖子机器人有限公司，
类型：发明
国别省市：广东,44