【技术实现步骤摘要】
本申请涉及一种用于机器人拾取的地面羽毛球位姿检测方法，属于图像处理与计算机应用领域。
技术介绍
1、羽毛球作为一项历史悠久的体育运动，已有大量的羽毛球爱好者和专业运动员参与其中。随着机器人和人工智能技术的不断发展，自动发球机已应用于羽毛球训练过程，这就需要在羽毛球场反复的拾取羽毛球。已公开的专利cn 113041578 a，名称为一种基于形态特征和单目测量的机器人自主捡球方法，其技术方案是通过扫入式设备拾取羽毛球。这种方式拾取的羽毛球是无序摆放的，无法同发球机衔接；羽毛球在被扫入时毛片容易受到挤压而损伤。通过机器人准确的夹取羽毛球较坚硬的球头部，可以在不损伤羽毛球的基础上将其精确、有序的放在发球机指定的位置，为发球机持续的补充羽毛球，从而实现发球机发球、训练人员回接球、智能机器人捡球、发球机再发球的循环，提高训练效率。
2、通过机器视觉和图像处理技术计算地面羽毛球位姿是机器人捡球的前提条件。已公开的专利cn110648362a，名称为一种双目立体视觉的羽毛球定位识别与姿态计算方法，其技术方案主要是利用faster-rcnn深度神经网络识别羽毛球在图像中的位置；再利用双目立体视觉对识别出的羽毛球进行三维重建，确定羽毛球的空间位置；最后提取羽毛球清晰的边缘，计算羽毛球实时姿态角。该方案一方面仅针对平躺于球场上的羽毛球进行位置和姿态的计算，并未考虑竖立的羽毛球；另一方面，仅计算出羽毛球整体空间位置，并没有进一步计算用于机器人拾取的关键点坐标。另外，为了提高效率，发球机持续发球时机器人不会等所有球都发完才去捡球，而是边发球边
3、有鉴于此，特提出本专利申请。
技术实现思路
1、为解决上述问题，本专利技术提出的用于机器人拾取的地面羽毛球位姿检测方法，其目的在于运用图像分析技术识别与处理运动羽毛球的基础上，区分并测算静止于地面的平躺和竖立羽毛球的位姿，通过球头胶条区域关键点坐标的计算确定机器人拾取中心点的位置，为机器人精确、无损伤的拾取羽毛球提供重要的数据支撑，也为与发球机对接，形成用于羽毛球训练的发、捡球智能循环系统奠定基础。
2、另一设计目的是，将所计算的拾取中心点定位于较为坚硬的球头贴有胶条的区域，既方便图像识别和计算，又能够保证羽毛球拾取过程中不会受到损伤。
3、设计目的还在于，可同时检测静止于地面的多个羽毛球的位姿。
4、为实现上述设计目的，所述用于机器人拾取的地面羽毛球位姿检测方法，在获取rgb-d相机采集的二维彩色图像和深度图像的基础上，通过三帧差分算法分析并去除二维图像中被识别为运动羽毛球的区域；再采用基于深度学习的目标检测算法识别出包含平躺和竖立羽毛球的目标图像矩形框；分别对图像矩形框内的深度信息进行分析，计算得出用于机器人拾取的羽毛球姿态和关键点位置坐标。具体地，该方法包括以下步骤：
5、步骤1、通过rgb-d相机获得二维彩色图像和深度图像，建立相机三维坐标系oxyz以及二维图像坐标和相机三维坐标之间的对应关系；
6、步骤2、通过三帧差分算法分析并去除二维图像中被识别为运动羽毛球的区域；
7、步骤3、对于已去除运动羽毛球的图像，采用基于深度学习的目标检测算法，识别出包含平躺和竖立羽毛球的目标图像矩形框；
8、步骤4、通过计算与羽毛球中心线重合、且从球头指向毛片方向的单位姿态矢量在相机三维坐标轴x、y、z上的投影，表征羽毛球的姿态；
9、步骤5、计算用于机器人拾取的中心点位置坐标。
10、进一步地，所述的步骤1，将rgb-d相机realsense置于羽毛球场地的垂直上方，构建相机三维空间坐标系oxyz，其中z轴指向球场地面并与之垂直，x轴与球网平面平行，y轴与球网平面垂直；获取rgb-d相机realsense二维彩色图像和深度图像配准后的相关参数，建立二维图像坐标与相机三维空间坐标之间的对应关系；相应计算公式如下，，，；上式中，x、y、z为相机三维坐标系oxyz下的坐标，uc、vc 为二维图像中的坐标；fx、fy、cx、cy为相机内部参数，fx、fy为深度相机焦距，cx、cy分别代表图像中心与图像坐标原点在x、y两个方向的距离；为深度图像中像素点对应的深度值，为该深度值和实际深度值之间的比例。
11、进一步地，所述的步骤2，连续采集三帧图像，运用三帧差分算法得到包含运动羽毛球的二值化图像；将二值化图像取反后作为掩膜与原始第二帧图像相乘，得到去除运动羽毛球的二维图像。
12、进一步地，所述的步骤3，应用基于pytorch的yolo v5目标检测算法，采集球场上不同位置、姿态的平躺羽毛球和竖立羽毛球图像作为数据集，将其中一部分用于yolo算法模型的训练，另一部分用于模型的验证，得到平躺羽毛球和竖立羽毛球的识别模型；运用上述识别模型对步骤2中已去除运动羽毛球的二维图像进行检测，分别得到平躺羽毛球、竖立羽毛球的目标图像矩形框；记录上述所有目标矩形框在被测图像中的位置坐标(xl, yl)和尺寸大小（w*h），(xl, yl)表示目标矩形框的左上角在被测图像中的坐标，w和h分别表示目标矩形框的宽和高。
13、进一步地，所述的步骤4，对于地面平躺的羽毛球，包括以下步骤，
14、s401、对于地面平躺的羽毛球，通过分析羽毛球目标矩形框图像，计算出以x轴正向作为参考方向、矢量在xoy平面上的投影沿逆时针方向形成的方位角θ；
15、采用otsu算法对羽毛球目标矩形框图像进行二值化分割；
16、对于二值化分割后的图像，采用轮廓检测算法，运用opencv开源库中的findcontours函数取得所有白色区域的外轮廓点集；
17、运用contourarea函数计算各外轮廓面积，其中面积最大的为羽毛球毛片，面积第二大的为球头；
18、运用minarearect函数获取毛片和球头外轮廓的最小外接矩形及相应的中心点c1和c2在图像中的位置坐标(c1x, c1y)、(c2x, c2y)，直线c2c1为图像中白色羽毛球区域的中心线；
19、根据步骤1建立的二维图像坐标和相机三维坐标之间的对应关系，得到点c1和c2在坐标系oxyz中的三维坐标(c1_3dx, c1_3dy, c1_3dz)、(c2_3dx, c2_3dy, c2_3dz)，上述两个三维点在xoy平面上的投影c1’、c2’坐标分别为(c1_3dx, c1_3dy, 0)、(c2_3dx, c2_3dy, 0)，直线c2’c1’为羽毛球中心线在xoy平面上的投影；
20、由于矢量与羽毛球单位姿态矢量在xoy平面上的投影同向，上述方位角θ的计算公式如下：
21、 ，
22、s402、依据国家标准gb/t 11881-2006，羽毛球形状尺寸为标准值，地面平躺羽毛球的单位姿态矢量与本文档来自技高网...
【技术保护点】
1.一种用于机器人拾取的地面羽毛球位姿检测方法，其特征在于：在获取RGB-D相机采集的二维彩色图像和深度图像的基础上，通过三帧差分算法分析并去除二维图像中被识别为运动羽毛球的区域；再采用基于深度学习的目标检测算法识别出包含平躺和竖立羽毛球的目标图像矩形框；分别对图像矩形框内的深度信息进行分析，计算得出用于机器人拾取的羽毛球姿态和关键点位置坐标；
2.根据权利要求1所述的用于机器人拾取的地面羽毛球位姿检测方法，其特征在于：所述的步骤1，将RGB-D相机RealSense置于羽毛球场地的垂直上方，以构建相机三维空间坐标系OXYZ，其中Z轴指向球场地面并与之垂直，X轴与球网平面平行，Y轴与球网平面垂直；
3.根据权利要求1所述的用于机器人拾取的地面羽毛球位姿检测方法，其特征在于：所述的步骤2，连续采集三帧图像，运用三帧差分算法得到包含运动羽毛球的二值化图像；
4.根据权利要求1所述的用于机器人拾取的地面羽毛球位姿检测方法，其特征在于：所述的步骤3，应用基于PyTorch的YOLO V5目标检测算法，采集球场上不同位置、姿态的平躺羽毛球和竖立羽毛球图像
5.根据权利要求1所述的用于机器人拾取的地面羽毛球位姿检测方法，其特征在于：对于地面平躺的羽毛球，所述的步骤4包括以下步骤，
6.根据权利要求1所述的用于机器人拾取的地面羽毛球位姿检测方法，其特征在于：所述的步骤4，对于竖立于地面的羽毛球，单位姿态矢量和Z轴正向同向，γ=0，
7.根据权利要求1所述的用于机器人拾取的地面羽毛球位姿检测方法，其特征在于：所述的步骤5，对于地面平躺羽毛球目标矩形框图像，计算得到球头胶带边界关键点P1，将该点在羽毛球中心线上的投影P2点作为机器人拾取的中心点；包括以下步骤，
8.根据权利要求7所述的用于机器人拾取的地面羽毛球位姿检测方法，其特征在于：所述的步骤S502包括下述P1点坐标变换过程，
9.根据权利要求1所述的用于机器人拾取的地面羽毛球位姿检测方法，其特征在于：所述的步骤5，对于竖立的羽毛球目标矩形框图像，计算得到羽毛球相对于地面最高点M，以该点为参考，计算得到机器人拾取中心点P2的位置；
...【技术特征摘要】
1.一种用于机器人拾取的地面羽毛球位姿检测方法，其特征在于：在获取rgb-d相机采集的二维彩色图像和深度图像的基础上，通过三帧差分算法分析并去除二维图像中被识别为运动羽毛球的区域；再采用基于深度学习的目标检测算法识别出包含平躺和竖立羽毛球的目标图像矩形框；分别对图像矩形框内的深度信息进行分析，计算得出用于机器人拾取的羽毛球姿态和关键点位置坐标；
2.根据权利要求1所述的用于机器人拾取的地面羽毛球位姿检测方法，其特征在于：所述的步骤1，将rgb-d相机realsense置于羽毛球场地的垂直上方，以构建相机三维空间坐标系oxyz，其中z轴指向球场地面并与之垂直，x轴与球网平面平行，y轴与球网平面垂直；
3.根据权利要求1所述的用于机器人拾取的地面羽毛球位姿检测方法，其特征在于：所述的步骤2，连续采集三帧图像，运用三帧差分算法得到包含运动羽毛球的二值化图像；
4.根据权利要求1所述的用于机器人拾取的地面羽毛球位姿检测方法，其特征在于：所述的步骤3，应用基于pytorch的yolo v5目标检测算法，采集球场上不同位置、姿态的平躺羽毛球和竖立羽毛球图像作为数据集...
【专利技术属性】
技术研发人员：王晓波，刘祖琦，孙彦璋，谷永振，
申请(专利权)人：青岛科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。