基于旋转框目标和6D位姿检测的流水线扫码复核方法技术

本发明专利技术公开了一种基于旋转框目标和6D位姿检测的流水线扫码复核方法，属于计算机视觉处理领域；本发明专利技术基于目标检测和6D位姿检测网络配合工作的基础上引进了旋转框检测机制，尽可能减少了背景及其他类似物体对于待测物体在6D姿态识别中的影响。并提出了一种确定未知大小物体上条形码位置的方法，从而使得可以通过扫码来确定物体。过扫码来确定物体。过扫码来确定物体。

【技术实现步骤摘要】
基于旋转框目标和6D位姿检测的流水线扫码复核方法


[0001]本专利技术涉及计算机视觉处理
，具体涉及一种基于旋转框目标和6D位姿检测的流水线扫码复核方法。

技术介绍

[0002]目标检测是计算机视觉中的基本任务之一，也是大多数6D位姿检测的前置要求，目前已经提出了许多高性能的通用目标检测器。目前流行的检测方法一般可分为两种类型：两阶段目标探测器如RCNN及其的各种改进版本和单阶段目标探测器如YOLO系列。通常来说两阶段方法在各种基准测试上都取得了良好的结果，而单阶段方法保持了更快的检测速度。但这些都属于水平目标检测器，当面对大量重复且摆放混乱的物体时，往往会将另一个同样的物体圈入框内，导致在后续的6D位姿检测时对网络的识别造成较大干扰。
[0003]在三维中识别物体和估计它们的姿态在机器人任务中有广泛的应用。例如，识别物体的三维位置和方向对于机器人的抓取操作很重要。目前常见的6D姿态估计方法有三种，首先是在已知物体三维模型的前提下通过模型与图像之间的特征点匹配来完成的方法，这种方法由于要求事先已知物体精确的3D模型导致应用上受到很大限制；其次是通过多个同一物体不同旋转角度的模板进行模板匹配进行的方法，此方法在物体受到遮挡时会受到很大的干扰；还有一种就是投票的方法，而这种方法会受到背景中相似物体的较大干扰。
[0004]相对于通过视觉识别，通过条形码扫码读取物体信息是绝对准确的，但出于复核的目的，默认物体的种类与大小均是未知的，并且由于条形码通常只在物体的一个面上，所以在寻找前需要机械臂先将物体拿起并展示，而由于物体本身大小位置，所以通过目标检测找到条形码后，如何确定条形码在机械臂坐标下的位置也较为困难，导致目前这一工作往往由人工完成。

技术实现思路

[0005]针对上述技术中存在的问题，本专利技术的目的在于提供一种基于旋转框目标和6D位姿检测的流水线扫码复核方法，该方法通过引入旋转目标检测减少背景信息对6D位姿识别网络的干扰，并提出一种确定未知大小物体上条形码相对机械臂位置的方法。
[0006]为了实现上述目的，本专利技术采用的技术方案如下：
[0007]一种基于旋转框目标和6D位姿检测的流水线扫码复核方法，其特征在于，包括以下步骤：
[0008]1)接收相机图像作为输入图像并进行缩放处理使其符合旋转目标检测网络的输入要求；
[0009]2)通过在yolox目标检测网络的数据加载层中添加角度通道，并在Mosaic数据增强中关闭旋转与形变仿射的增强方式以防止这两项增强方式对输入的图片的角度造成影响，然后在预测层中的解耦的回归头里添加角度通道，具体可见附图2，并将回归部分的损
失函数改为一种近似的SkewIoU损失函数：
[0010][0011]其中L
reg
(v',v)＝L
smooth
‑
l1
(v'
θ
,v
θ
)
‑
IoU(v'
{x,y,w,h}
,v
{x,y,w,h}
)
[0012]式中N表示回归框的数量；objn表示物体为前景(取1)还是背景(取0)；v
’
表示预测的向量；v表示实际的向量；α是权重超参量，取1；|f(SkewIoU)|获取损失大小的标量，无需其可导；L
smooth
‑
l1
表示光滑l1损失；IOU表示两个区域交集与并集的比值；v'
θ
表示预测的角度；v
θ
表示实际的角度；v'
{x,y,w,h}
表示预测的向量中的中心坐标，长度，宽度；v
{x,y,w,h}
表示实际的向量中的中心坐标，长度，宽度；
[0013]最终获得一个输出旋转的检测框的检测网络，每个目标的输出包含五个参数，分别是物体中心坐标(x,y)，长度，宽度以及较长边与水平的夹角；
[0014]3)通过步骤2)获得检测结果截取出目标物体，以旋转框的四个顶点(通过上述获取的中心坐标、长、宽计算得出)为基准将图片补充为方形以并转化为所需的大小输入6D位姿检测网络中；
[0015]4)通过6D位姿网络获得物体相对相机的旋转矩阵和偏移向量；
[0016]5)将旋转矩阵和偏离向量转换到机器人坐标系下，同时对步骤三中获得的图片进行条形码检测，若无则选择物体上表面中心作为吸取点，并对物体用吸盘进行吸取；若存在则选取物体上表面除去条形码部分的中心作为吸取点并直接跳到步骤7)；
[0017]6)通过机器人将物体移动到条形码检测位置，通过此处的相机获取图像并再次调用目标检测网络对物体上条形码进行检测；
[0018]7)将二维码检测结果转换到机器人坐标下，通过机器人将条形码移动至扫码器处扫码，读取物体信息；
[0019]8)将读取到的物品种类与订单中信息进行对比，若订单中有此物品则将物品放至核验完成区，并判断订单是否核验完毕，如果完成则进入下一订单，如果没有则回到步骤1)，若订单中无此物体，则将物体放至错配区并输出报错信息。
[0020]进一步的，所述步骤6)中，通过目标检测网络分别检测物体和条形码，获得条形码中心和物体中心相对于相机的位置，同时由于步骤5)中吸取物体时选择的时物体上表面的中心点，在此处配合深度相机读取到相机距离物体中心的距离，再加上已知的检测位置下机器人吸盘距离相机的距离，就能换算出物体检测面中心在机器人坐标系下坐标，从而可以获得条形码中心在机器人坐标下的位置。
[0021]进一步的，所述步骤8)中，在读取到物体的条形码编号并与数据库中的订单比对时，若订单中存在该物体，还会将此物体的所需数量减一，并检测是否订单所有物体的所需数量均为零，若是则触发复核完成，若否则返回步骤1)继续复核。
[0022]本专利技术有益效果是：
[0023]1)提出了用旋转目标检测作为6D位姿检测的前置步骤，尽可能减少了在混乱堆放下同类物体对网络的干扰。
[0024]2)针对未知大小物体上二维码位置的问题，通过二维码与物体抓取位置之间的相对位置差和相机检测物体的距离与机械臂固定的检测位置间差值确定了二维码在机械臂
坐标下的位置。
附图说明
[0025]图1是本专利技术实施例的方法实现流程图；
[0026]图2是本专利技术对YOLOX检测层的结构图。
具体实施方式
[0027]下面结合具体实施例，对本专利技术作进一步的详细说明。
[0028]本专利技术的目的在于提供一种基于旋转框目标和6D位姿检测的流水线扫码复核方法，在6D姿态检测的前置检测中引入旋转检测机制，并提供一种确定大小未知的物体上的二维码位置的方法。
[0029]在本实施例中，选取药盒作为流水线上检测的物体，并制作药盒的旋转平面检测集和6D位姿数据集对网络进行训练。同时再准备一个二维码的数据集训练一个平面检测网络。
[0030]一种基于旋转框目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于旋转框目标和6D位姿检测的流水线扫码复核方法，其特征在于，包括以下步骤：1)接收相机图像作为输入图像并进行缩放处理使其符合旋转目标检测网络的输入要求；2)通过在yolox目标检测网络的数据加载层中添加角度通道，并在Mosaic数据增强中关闭旋转与形变仿射的增强方式，然后在预测层中的解耦的回归头里添加角度通道，并将回归部分的损失函数改为：N表示回归框的数量；obj
n
表示物体为前景还是背景，前景取1，背景取0；v
’
表示预测的向量；v表示实际的向量；α是权重超参量，取1；|f(SkewIoU)|表示获取损失大小的标量；其中L
reg
(v',v)＝L
smooth
‑
l1
(v'
θ
,v
θ
)
‑
IoU(v'
{x,y,w,h}
,v
{x,y,w,h}
)L
smooth
‑
l1
表示光滑l1损失；IOU表示两个区域交集与并集的比值；v'
θ
表示预测的角度；v
θ
表示实际的角度；v'
{x,y,w,h}
表示预测的向量中的中心坐标，长度，宽度；v
{x,y,w,h}
表示实际的向量中的中心坐标，长度，宽度；最终获得一个输出旋转的检测框的检测网络，每个目标的输出包含五个参数，分别是物体中心坐标(x,y)、长度、...

【专利技术属性】
技术研发人员：刘安东，虞潇峰，朱华中，滕游，仇翔，张文安，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：