一种复杂场景下行为关联的对象特征提取方法技术

一种复杂场景下行为关联的对象特征提取方法，对箱子的定位及箱内未知物体行为关联的状态检测，包括以下步骤：(1)利用RGB

【技术实现步骤摘要】
一种复杂场景下行为关联的对象特征提取方法


[0001]本专利技术涉及一种复杂场景下行为关联的对象特征提取方法，属于机器人智能装箱应用领域。

技术介绍

[0002]目前，世界各航天强国都在积极发展地外探测技术，积极占领外太空高地。美国、俄罗斯等航天大国都已经进行了太阳系内其他行星或卫星的探测活动，并同时将火星探测作为后续重要的发展方向。中国也向火星发射了“天问一号”火星探测器，对火星环绕、着陆、巡航探测等关键技术方面开展突破，迈出了中国自主开展行星探测的一大步。
[0003]在地外探测领域中，行星表面土壤、矿物的采集是一项重要任务，可以为行星表面形貌、物质成分、土壤特性等的研究提供原始材料。此任务常由行星地表探测器上的机械臂来完成，基于传感器对周围环境的感知，控制机械臂实现矿物等的抓取、存放、装箱工作。在此闭环中，自动化和准确性始终是重要指标和优化方向。随着人工智能和机器人技术水平的快速发展，如何让机器人通过自主决策采用最优的方式在复杂场景、先验知识欠缺条件下对未知对象进行探索，成为了机器人学领域和自动控制领域的热门话题，而对未知对象进行关键特征挖掘又是其中重要一环，决定着整个系统的稳定性与可靠性。因此针对复杂场景、先验知识欠缺条件下对目标对象进行特征挖掘技术将在地表探测、土壤采集等任务中有广阔的应用前景。
[0004]到目前为止，利用特征挖掘技术解决智能装箱问题在航天或航空工业上已经有了广泛的应用，但目前已有的对象特征检测方法往往基于已知或者可控的条件下的，在现有方法中，首先需要对对象箱子进行标定，机器人或机械臂装箱操作过程中，机器人或者机械臂的运动需要预先设计固定的运动轨迹，这也就要求目标箱子要保持运动状态不变，但在地外行星探索中，在探索机器人的运动中，箱子的运动状态往往会因地形颠簸或与造成运动状态不确定，在无人的情况下难以获得被干扰后的箱子位置，使得装箱系统失效。其次，在已有的工业装箱环境中，生产的工业品，往往有固定的规格和尺寸，但在脱离可控环境后，有时受限于环境和硬件设备，装箱时难以预知下一个物体的形态大小，使得装箱时产生不确定性。最后，当箱子所处环境发生剧烈变化，箱子内的物体会发生剧烈变化，使得传统对象特征提取方法失效，面对特殊场景下的装箱问题，如何应对多种不确定性是难点所在。

技术实现思路

[0005]本专利技术解决的技术问题是：针对目前现有技术中，传统目标箱体所处环境发生变化时，难以应对不同环境的不确定性的问题，提出了一种复杂场景下行为关联的对象特征提取方法。
[0006]本专利技术解决上述技术问题是通过如下技术方案予以实现的：
[0007]一种复杂场景下行为关联的对象特征提取方法，步骤如下：
[0008](1)利用RGB
‑
D深度相机获取场景RGB彩色图像、深度图像，检测场景中圆形标志；
其中，圆形标志贴附于目标箱体边缘四角位置；
[0009](2)根据步骤(1)筛选的圆形标志结算目标箱体空间位置及姿态；
[0010](3)根据步骤(2)所得目标箱体，对箱内物体进行轮廓检测，并进行长方形拟合及姿态位置估计；
[0011](4)对箱内各独立物体的位置与姿态进行统计，确定箱内空置区域。
[0012]所述步骤(1)中，利用RGB
‑
D深度相机获取场景深度图像、彩色图像并检测场景中圆形标志得具体步骤如下：
[0013](1
‑
1)对RGB
‑
D深度相机所获取的RGB彩色图像根据深度图进行阈值筛选，所述阈值为深度阈值，根据相机至目标箱体高度确定；
[0014](1
‑
2)根据目标箱体边缘四角位置的圆形标志颜色特征，对目标箱体的RGB彩色图像进行滤波，将亮度低于亮度阈值的像素点置0，对滤波后的RGB彩色图像进行霍夫圆检测，通过亮度阈值进行检测，判断是否检测到圆，若检测到，则进入步骤(2)，若未检测到，调整RGB
‑
D深度相机位置重新获取场景深度图像和RGB彩色图像；
[0015]所述亮度阈值根据RGB彩色图像确定。
[0016]所述步骤(2)中，根据圆形标志解算目标箱体空间位置、姿态的具体方法为：
[0017](2
‑
1)根据步骤(1
‑
2)中检测出的所有圆，根据圆的像素半径进行筛选，设置半径高阈值、半径低阈值，将半径大于半径高阈值或小于半径低阈值的圆剔除，根据筛选所得圆的数量判断是否完成箱体检测，若筛选到四个圆且四个圆的圆心位置大于十倍半径高阈值，则判断检测到箱体，进入步骤(2)，否则判断未检测到箱体，则移动相机位置，返回步骤(1)重新检测，直至检测到箱体；
[0018](2
‑
2)根据四个圆形标志的像素中心位置，计算在深度图中的对应位置，确定圆形标志的圆心深度，获取目标箱体四个顶点于相机坐标系中的坐标，将四个顶点坐标作为目标箱体的空间位置表示。
[0019]所述步骤(3)中，对目标箱体箱内物体进行轮廓检测并进行长方形拟合的具体步骤如下：
[0020](3
‑
1)根据步骤(2
‑
2)所得四个圆形标志的像素中心位置，将四个圆心所围成的平行四边形作为新的感兴趣区域，同时根据盒体实际尺寸进行透视变换转换为标准矩形；
[0021](3
‑
2)根据步骤(1)中所得到的四个圆心标志物的像素中心位置Q
00
、Q
01
、Q
10
、Q
11
及箱体真实尺寸所对应的四个顶点坐标R
00
、R
01
、R
10
、R
11
，利用透视变换函数将以四个圆心标志物为顶点的四边形区域内的像素点投影到新的标准矩形区域内；
[0022](3
‑
3)将新的标准矩形作为图像的感兴趣区域，通过Canny边缘检测对盒体内物体进行边缘提取，使用5*5高斯滤波器降低图像噪声，对图像进行平滑处理，对处理后的图像使用Sobel算子计算水平方向和竖直方向的图像梯度，对图像梯度进行非极大值抑制，去除非边界点，进一步进行双阈值筛选，确定矩形物体边缘；
[0023](3
‑
4)根据所得矩形物体边缘使用矩形进行拟合，计算水平方向、竖直方向的最大像素值、最小像素值，获取初始矩形的四个顶点，对矩形拟合结果进行逆时针旋转，以1
°
为单位将一周划分为360个离散角度，于各角度下，计算该角度下的初始矩形的对角线长度，将对角线长度最小的角度返回，作为箱内物体与目标箱体的夹角θ表示，将该角度下的水平方向和竖直方向上的最大像素点、最小像素点差值作为所拟合矩形的长l
p
、宽w
p
，将拟合矩
形的中心像素点位置作为该物体的中心像素点位置，对拟合矩形区域内所有闭合边缘进行矩形拟合，获取箱体内各物体的像素尺寸、姿态估本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种复杂场景下行为关联的对象特征提取方法，其特征在于步骤如下：(1)利用RGB
‑
D深度相机获取场景RGB彩色图像、深度图像，检测场景中圆形标志；其中，圆形标志贴附于目标箱体边缘四角位置；(2)根据步骤(1)筛选的圆形标志结算目标箱体空间位置及姿态；(3)根据步骤(2)所得目标箱体，对箱内物体进行轮廓检测，并进行长方形拟合及姿态位置估计；(4)对箱内各独立物体的位置与姿态进行统计，确定箱内空置区域。2.根据权利要求1所述的一种复杂场景下行为关联的对象特征提取方法，其特征在于：所述步骤(1)中，利用RGB
‑
D深度相机获取场景深度图像、彩色图像并检测场景中圆形标志得具体步骤如下：(1
‑
1)对RGB
‑
D深度相机所获取的RGB彩色图像根据深度图进行阈值筛选，所述阈值为深度阈值，根据相机至目标箱体高度确定；(1
‑
2)根据目标箱体边缘四角位置的圆形标志颜色特征，对目标箱体的RGB彩色图像进行滤波，将亮度低于亮度阈值的像素点置0，对滤波后的RGB彩色图像进行霍夫圆检测，通过亮度阈值进行检测，判断是否检测到圆，若检测到，则进入步骤(2)，若未检测到，调整RGB
‑
D深度相机位置重新获取场景深度图像和RGB彩色图像；所述亮度阈值根据RGB彩色图像确定。3.根据权利要求2所述的一种复杂场景下行为关联的对象特征提取方法，其特征在于：所述步骤(2)中，根据圆形标志解算目标箱体空间位置、姿态的具体方法为：(2
‑
1)根据步骤(1
‑
2)中检测出的所有圆，根据圆的像素半径进行筛选，设置半径高阈值、半径低阈值，将半径大于半径高阈值或小于半径低阈值的圆剔除，根据筛选所得圆的数量判断是否完成箱体检测，若筛选到四个圆且四个圆的圆心位置大于十倍半径高阈值，则判断检测到箱体，进入步骤(2)，否则判断未检测到箱体，则移动相机位置，返回步骤(1)重新检测，直至检测到箱体；(2
‑
2)根据四个圆形标志的像素中心位置，计算在深度图中的对应位置，确定圆形标志的圆心深度，获取目标箱体四个顶点于相机坐标系中的坐标，将四个顶点坐标作为目标箱体的空间位置表示。4.根据权利要求3所述的一种复杂场景下行为关联的对象特征提取方法，其特征在于：所述步骤(3)中，对目标箱体箱内物体进行轮廓检测并进行长方形拟合的具体步骤如下：(3
‑
1)根据步骤(2
‑
2)所得四个圆形标志的像素中心位置，将四个圆心所围成的平行四边形作为新的感兴趣区域，同时根...

【专利技术属性】
技术研发人员：谢心如，刘乃龙，高锡珍，刘昊，郭政航，黄煌，汤亮，
申请(专利权)人：北京控制工程研究所，
类型：发明
国别省市：