基于双目视觉和蚁群算法的捡乒乓球机器人运行方法及设备技术

本发明专利技术公开了一种基于双目视觉和蚁群算法的捡乒乓球机器人运行方法及设备，方法包括：获取双目摄像机拍摄的RGB图像，从RGB图像中检测出乒乓球并获得各乒乓球的坐标位置；获取双目摄像机的深度数据，得到各乒乓球距离摄像机的距离；计算得到在全局坐标系下乒乓球的坐标点集；对坐标点集使用蚁群算法进行最短遍历路径规划，得到初步的捡球路径；从初步的捡球路径去除多次经过的乒乓球，得到没有冗余路线的路径。本发明专利技术使用双目摄像机同时实现了乒乓球的检测和定位，方便高效，同时保证了精度，使得捡球过程更加智能化；对蚁群算法规划出的路径进行冗余路线优化，进一步减少了机器人的行走路径，节约了时间。

Operation method and equipment of table tennis robot based on binocular vision and ant colony algorithm

The invention discloses a table tennis robot operation method and equipment based on binocular vision and ant colony algorithm, the method includes: obtaining RGB image shot by binocular camera, detecting table tennis from RGB image and obtaining coordinate position of each table tennis ball; obtaining depth data of binocular camera, obtaining distance between each table tennis ball and camera; calculating the distance between each table tennis ball and camera in global coordinate system Next, the coordinate point set of table tennis; using ant colony algorithm to plan the shortest traversal path of the coordinate point set to get the preliminary ball picking path; from the preliminary ball picking path to remove the table tennis that passes many times, to get the path without redundant path. The invention uses binocular camera to realize the detection and positioning of table tennis at the same time, which is convenient and efficient, and ensures the accuracy, so that the ball picking process is more intelligent; redundant route optimization is carried out for the path planned by ant colony algorithm, further reducing the walking path of robot and saving time.

【技术实现步骤摘要】
基于双目视觉和蚁群算法的捡乒乓球机器人运行方法及设备
本专利技术涉及机器人
，具体涉及一种基于双目视觉和蚁群算法的捡乒乓球机器人运行方法及设备。
技术介绍
随着人工智能技术以及我国社会经济的发展，服务型机器人逐渐走进大众的家庭。乒乓球作为国球，深受人民群众的喜爱。但是随之而来的大量的捡球工作却让人很烦恼，目前乒乓球俱乐部中有专人负责捡球，人力成本较高。而市面上没有一款可以普及的捡乒乓球机器人，仅有的研究也偏重于学术研究，实际的工程应用很少，且大都只有零散的方法。现有的检测和定位技术复杂繁琐，利用普通的RGB摄像头很难完成对乒乓球的定位任务，因此大多数捡球机器人无法对球进行定位，因而无法实现对所有球的全局遍历路径规划，导航方法很低效。蚁群算法是一种仿生学算法，主要用于TSP问题，它可在很短时间内求得一个接近最优的解。但是它实际应用在捡球机器人上时，受到机器人宽度的限制，需要进行进一步优化。
技术实现思路
本专利技术的目的在于克服现有技术中的不足，提出了一种基于双目视觉和蚁群算法的捡乒乓球机器人运行方法及设备，实现了乒乓球的检测和定位，并对规划出的路径进行冗余路线优化，进一步减少了机器人的行走路径，节约了时间。为解决上述技术问题，本专利技术提供了一种基于双目视觉和蚁群算法的捡乒乓球机器人运行方法，其特征是，包括以下过程：建立乒乓球训练场地的全局坐标系；获取双目摄像机拍摄的场地中地面乒乓球散落情况的RGB图像，从RGB图像中检测出乒乓球并获得各乒乓球的坐标位置；获取双目摄像机的深度数据，得到各乒乓球距离摄像机的距离；根据各乒乓球的坐标位置和距离摄像机的距离，计算得到在全局坐标系下乒乓球的坐标点集；对坐标点集使用蚁群算法进行最短遍历路径规划，得到初步的捡球路径；从初步的捡球路径去除多次经过的乒乓球，得到没有冗余路线的路径。进一步的，从RGB图像中检测出乒乓球并获得各乒乓球的坐标位置的具体过程包括：将RGB图像转换为HSV图像；将HSV图像转成灰度图，进行高斯模糊；使用canny算子进行轮廓检测，获得图中所有物体的轮廓；使用霍夫圆变换检测图中的圆，即可检测出场地中的乒乓球，并计算得到所有乒乓球在图中的坐标位置。进一步的，根据各乒乓球的坐标位置和距离摄像机的距离计算得到在全局坐标系下乒乓球的坐标点集包括以下过程：将各乒乓球的坐标位置和距离摄像机的距离，转换到相机三维坐标系下，得到在相机三围坐标系下乒乓球的坐标点集；再将乒乓球在相机三维坐标系下的坐标转换到机器人坐标系下；最后将乒乓球在机器人坐标系下的坐标转换到全局坐标系下，得到在全局坐标系下乒乓球的坐标点集。进一步的，将各乒乓球的坐标位置和距离摄像机的距离转换到相机三维坐标系下的过程包括：建立相机三维坐标系XYZ、图像平面坐标系xy；相机三围坐标系中点P(X，Y，Z)和图像平面坐标系中点p(x，y)两者的映射关系为：其中，f为相机焦距，Z为从深度数据中获取的乒乓球的深度，x表示图像平面坐标系的x轴坐标，X表示相机三维坐标系中的X轴坐标；y表示图像平面坐标系中的y轴坐标，Y表示相机三维坐标系中的Y轴坐标；cx为主点在x轴上的坐标，cy为主点在y轴上的坐标，fx为f在x轴上的像素量纲，fy为f在y轴上的像素量纲；各乒乓球的坐标位置为图像平面坐标系中坐标，距离摄像机的距离为相机坐标系中Z轴数值，根据上述公式计算得到乒乓球在相机坐标系中的三维坐标P(X，Y，Z)。进一步的，将乒乓球在机器人坐标系下的坐标转换到全局坐标系下的过程为：起始时机器人坐标系在全局坐标系的原点，坐标为(x0，y0，th0)＝(0，0，0)，设机器人移动速度V＝(Vx，Vy，Vth)，Vx指沿x轴方向的速度，Vy指沿着y轴方向的速度，Vth指机器人旋转速度；则经过dt时间后，机器人坐标系相对于全局坐标原点的坐标为：(x1，y1，th1)＝(x0+(Vx*cos(th0)-Vy*sin(th0))*dt，y0+(Vx*sin(th0)+Vy*cos(th0))*dt，th0+Vth*dt)(5)根据公式(5)得到的机器人坐标系的坐标转换关系，可以进行坐标转换，在机器人坐标系下的目标乒乓球坐标(X′，Y′)转换到全局坐标系下的坐标(X″，Y″)为：(X″，Y″)＝(x1+(X′*cos(th1)-Y′*sin(th1))，y1+(X′*sin(th1)+Y′*cos(th1)))完成所有乒乓球的坐标转换，得到在全局坐标系下乒乓球的坐标点集。进一步的，从初步的捡球路径中去除多次经过的乒乓球，得到没有冗余路线的路径包括以下过程：根据初步的捡球路径，假设机器人移动从出发点移动到第1个目标乒乓球，画出直线b1、b2与d1、d2，b1、b2平行于出发点点和目标乒乓球两点的连线，并且与机器人在出发点的最小外接圆相切；直线d1与两点连线方向垂直并与机器人在出发点的最小外接圆的尾部相切；直线d2与两点连线方向垂直并与机器人在目标点的最小外接圆的头部相切；这四条线构成的矩形表示机器人从出发点到目标点扫过的区域，计算取得在四条线构成的矩形中的所有乒乓球坐标点，将这些点从坐标点集中删去，然后将此目标点作为起始点，从初步的捡球路径中选取下一个目标点，进行上述同样的操作；以此类推，直到捡球路径上所有的点全部处理完毕，最终得到一条没有冗余路线的路径。相应的，本专利技术还提供了一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行上述方法。相应的，本专利技术还提供了一种计算设备，包括，一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述方法的指令。与现有技术相比，本专利技术所达到的有益效果是：本专利技术使用双目摄像机同时实现了乒乓球的检测和定位，方便高效，同时保证了精度，使得捡球过程更加智能化；对蚁群算法规划出的路径进行冗余路线优化，进一步减少了机器人的行走路径，节约了时间。附图说明图1是本专利技术的方法的流程示意图；图2是乒乓球检测和定位的流程示意图；图3是相机小孔成像模型示意图；图4是base_link和map坐标系转换图；图5是蚁群算法用于遍历路径规划的流程示意图；图6是冗余点示意图。具体实施方式下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。本专利技术的一种基于双目视觉和蚁群算法的捡乒乓球机器人运行方法，参见图1所示，包括以下步骤：步骤1，获取乒乓球训练场地的地图，建立全局坐标系。首先使用激光雷达以及ROS(机器人操作系统)平台下的gmapping建图程序获得乒乓球训练场地的静态地图，然后对地图进行去噪和修饰，得到可用的全局静态栅格地图，机器人根据这个地图来进行导航避障。作为全局坐标系map，此坐标系以矩形训练场地的某个角点作为原点，沿着训练场地的长宽方向分别作为横纵坐标轴。后面检测到的乒乓球将会转换到这个坐标系下显示。步骤2，获取双目摄像机的RGB图像，从RGB图像中检测出乒乓球并获取其在图中的坐标点。双目摄像机使用kinect，它有一个RGB彩色摄像头和一个深度摄像头。双目摄像机安装在机器人前部正中位置，视角平视本文档来自技高网...

【技术保护点】
1.一种基于双目视觉和蚁群算法的捡乒乓球机器人运行方法，其特征是，包括以下过程：建立乒乓球训练场地的全局坐标系；获取双目摄像机拍摄的场地中地面乒乓球散落情况的RGB图像，从RGB图像中检测出乒乓球并获得各乒乓球的坐标位置；获取双目摄像机的深度数据，得到各乒乓球距离摄像机的距离；根据各乒乓球的坐标位置和距离摄像机的距离，计算得到在全局坐标系下乒乓球的坐标点集；对坐标点集使用蚁群算法进行最短遍历路径规划，得到初步的捡球路径；从初步的捡球路径去除多次经过的乒乓球，得到没有冗余路线的路径。

【技术特征摘要】
1.一种基于双目视觉和蚁群算法的捡乒乓球机器人运行方法，其特征是，包括以下过程：建立乒乓球训练场地的全局坐标系；获取双目摄像机拍摄的场地中地面乒乓球散落情况的RGB图像，从RGB图像中检测出乒乓球并获得各乒乓球的坐标位置；获取双目摄像机的深度数据，得到各乒乓球距离摄像机的距离；根据各乒乓球的坐标位置和距离摄像机的距离，计算得到在全局坐标系下乒乓球的坐标点集；对坐标点集使用蚁群算法进行最短遍历路径规划，得到初步的捡球路径；从初步的捡球路径去除多次经过的乒乓球，得到没有冗余路线的路径。2.根据权利要求1所述的一种基于双目视觉和蚁群算法的捡乒乓球机器人运行方法，其特征是，从RGB图像中检测出乒乓球并获得各乒乓球的坐标位置的具体过程包括：将RGB图像转换为HSV图像；将HSV图像转成灰度图，进行高斯模糊；使用canny算子进行轮廓检测，获得图中所有物体的轮廓；使用霍夫圆变换检测图中的圆，即可检测出场地中的乒乓球，并计算得到所有乒乓球在图中的坐标位置。3.根据权利要求1所述的一种基于双目视觉和蚁群算法的捡乒乓球机器人运行方法，其特征是，根据各乒乓球的坐标位置和距离摄像机的距离计算得到在全局坐标系下乒乓球的坐标点集包括以下过程：将各乒乓球的坐标位置和距离摄像机的距离，转换到相机三维坐标系下，得到在相机三围坐标系下乒乓球的坐标点集；再将乒乓球在相机三维坐标系下的坐标转换到机器人坐标系下；最后将乒乓球在机器人坐标系下的坐标转换到全局坐标系下，得到在全局坐标系下乒乓球的坐标点集。4.根据权利要求3所述的一种基于双目视觉和蚁群算法的捡乒乓球机器人运行方法，其特征是，将各乒乓球的坐标位置和距离摄像机的距离转换到相机三维坐标系下的过程包括：建立相机三维坐标系XYZ、图像平面坐标系xy；相机三围坐标系中点P(X，Y，Z)和图像平面坐标系中点p(x，y)两者的映射关系为：其中，f为相机焦距，Z为从深度数据中获取的乒乓球的深度，x表示图像平面坐标系的x轴坐标，X表示相机三维坐标系中的X轴坐标；y表示图像平面坐标系中的y轴坐标，Y表示相机三维坐标系中的Y轴坐标；cx为主点在x轴上的坐标，cy为主点在y轴上的坐标，fx为f在x轴上的像素量纲，fy为f在y轴上的像素量纲；各乒乓球的坐标位置为图像平面坐标系中坐标，距离摄像机的距离为相机坐标系中Z轴数值，根据上述公式计算得到乒乓球在相机坐标系中的三维坐标P(X，Y，Z)。5.根据权利要求3所述的一种基于双目视觉和蚁群算法的捡乒乓球机器人运行方...

【专利技术属性】
技术研发人员：李晓飞，任云青，郭苗苗，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32