一种利用单目视觉和机载传感器旋翼无人机自主抓取方法技术

本发明专利技术涉及旋翼无人机的技术领域，更具体地，涉及一种利用单目视觉和机载传感器旋翼无人机自主抓取方法。该方法包括：被抓取目标的检测及跟踪，目标和飞行器的相对位置估计，飞行器的飞行控制，目标抓取点检测，抓取策略及机械臂的控制。由于本发明专利技术的实施实例将非机器学习方法和机器学习方法融合并应用于目标检测，跟踪，抓取点检测中，提高了飞行器自主检测的鲁棒性，同时使用策略的方式将视觉，位置估计，控制等方法进行集成，也提高了飞行器自主抓取物体的成功率。所提出的方法计算量小，实时性高，可在机载嵌入式系统TK1实现。 1

An autonomous grasp method for UAV Based on monocular vision and airborne sensors

The invention relates to the technical field of a rotor UAV, and more specifically to an autonomous grasping method for UAV using monocular vision and airborne sensors. The method includes the detection and tracking of the captured target, the estimation of the relative position of the target and the aircraft, the flight control of the aircraft, the detection of the target grabbing point, the grasping strategy and the control of the manipulator. Because the implementation example of this invention combines the non machine learning method and the machine learning method and applies it to the target detection, tracking, and grabbing point detection, it improves the robustness of the autonomous detection of the aircraft, and uses the strategy to integrate the methods of vision, position estimation and control, and also improves the autonomous grasp of the aircraft. The success rate of taking objects. The proposed method is small in computation and high in real-time, and can be implemented in airborne embedded system TK1. One

【技术实现步骤摘要】
一种利用单目视觉和机载传感器旋翼无人机自主抓取方法
本专利技术涉及旋翼无人机的
，更具体地，涉及一种利用单目视觉和机载传感器旋翼无人机自主抓取方法。
技术介绍
旋翼飞行器由于其相对固定翼飞行器具有可垂直起落、低空悬停、机动转向快速的优点，目前已经广泛应用在军事、农业、航空拍摄等领域，而旋翼飞行器对一般物体进行自主抓取等一系列和物理世界实现自主交互的技术近年来已成为研究的热点，这类技术在利用旋翼飞行器进行高空作业，物品配送等方面具有广阔的应用前景。旋翼飞行器自主抓取系统主要通过设计飞行器的视觉检测算法，定位算法，飞行器和机载机械臂控制算法以及相应的抓取策略来实现，根据视觉算法和定位算法检测得到目标物体相对于飞行器的位置，结合抓取策略，调整云台摄像机的角度以及飞行器的飞行方向和速度，机械臂各个关节的转动角度进而使飞行器能有效的实现自主抓取一般物体。国内外众多研究院所，高校也同样在旋翼飞行器自主抓取方面做了大量的探索。目前的技术方案主要集中于人工远程遥控抓取和基于特定物体的视觉伺服的自主抓取。前者需要通过人工调整来改变飞行器及机械臂的状态，主要研究的是飞行器与负载结合的动力学模型，力求在任务执行的过程中保持飞行器的稳定，继而实现整个抓取过程，这种技术方案相对容易实现，但在实际操作中仍需要经验丰富的操作人员。后者主要是将视觉检测，视觉定位和控制算法结合起来，能够在带有标识的特定物体和特定环境的情况下的实现快速、高效地抓取，但是该方案实现的前提条件比较严格，在现实中场景中难以灵活运用。
技术实现思路
本专利技术为克服上述现有技术所述的至少一种缺陷，提供一种利用单目视觉和机载传感器旋翼无人机自主抓取方法，其将机器学习方法引入到系统的视觉模块，降低视觉伺服方案中对特定物体，特定环境的依赖程度的方法。同时提供了将检测，定位和控制集于一体的决策策略，从而提高旋翼飞行器实现完全自主的物体抓取任务的成功率。本专利技术的技术方案是：一种利用单目视觉和机载传感器旋翼无人机自主抓取方法，其中，包括以下步骤：S1.飞行器起飞，通过云台摄像机回传的图像，飞行器在预设高度检测视野范围内检测被抓取目标在图像中的位置；S2.若飞行器检测到目标，飞行器进入抵近阶段；飞行器终止目标检测模块，启用视觉跟踪模块持续跟踪目标，同时根据机载惯性测量单元，超声波，气压计等传感器回传的信息，实时计算飞行器和目标之间的相对位置，控制飞行器向目标所在位置运动；S3.当飞行器抵近目标，飞行器进入抓取阶段；飞行器维持悬停状态，同时启用抓取点检测模块，实时检测被抓取目标合适的抓取位置，计算抓取位置和飞行器之间的相对距离，控制机械臂实施抓取任务；S4.飞行器完成抓取任务，终止视觉跟踪模块和抓取点检测模块，飞行器上升至安全高度，完成自主抓取任务。所述的目标检测和跟踪分别采用EdgeBoxes和KCF算法。与现有技术相比，有益效果是：本专利技术所提出的方法计算量小，实时性高，可在机载嵌入式系统TK1实现。通过云台摄像头采集图像，使用EdgeBoxes算法从图像中检测识别出目标并使用KCF算法对目标进行持续跟踪。结合机载传感器和图像坐标计算得到目标的位置，根据位置信息将无人机自主抓取问题分成抵近阶段和抓取阶段，并设计相应的无人机飞行控制方案。在抓取阶段，设计了一种利用预训练的模板检测目标合适的抓取点的方法，同时设计相应的机械臂控制方案。(1)结合机载传感器和图像坐标计算得到目标的位置，根据位置信息将无人机自主抓取问题分成抵近阶段和抓取阶段，并设计相应的无人机飞行控制方案。当无人机离目标较远时进入抵近阶段，并为抵近阶段设计了相应的非线性上层控制算法，使无人机朝向目标移动。(2)在抓取阶段，使用机器学习的方法设计了一种基于物体边缘和根模板匹配的抓取点检测方法，并利用该方法在抓取阶段检测目标合适的抓取位置，同时设计了相应的机械臂控制方案控制机械臂到达抓取位置，从而提高抓取的成功率。附图说明图1为本专利技术实施例中的一种基于单目视觉的旋翼无人机自主抓取方法的系统流程示意图。图2为本专利技术实施例中的系统模块结构示意图。图3为本专利技术实施例中的飞行器外观结构示意图。图4为本专利技术实施例中的系统抓取策略示意图。图5为本专利技术实施例中的飞行器与被抓取目标之间的相对位置关系示意图。图6为本专利技术实施例中的飞行器所挂载的机械臂结构示意图。具体实施方式附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。1、被抓取目标的检测及跟踪。目标检测和跟踪分别采用EdgeBoxes和KCF算法。首先，飞行搭载的云台摄像机首先获取到实时图像，EdgeBoxes算法是典型非机器学习图像处理算法，用于将图像中可能存在物体的前景区域框选出来，在实际应用中可保留最高得分的备选框作为目标在当前图像中的位置。KCF算法则是基于机器学习的视觉跟踪算法，用于将EdgeBoxes算法框选出的区域进行跟踪，从而得到目标在连续多帧图像中的位置(u,v)。当飞行器成功检测并跟踪到目标物体后，根据图4的抓取策略示意图，飞行器根据目标的相对位置分别进入抵近阶段和抓取阶段。2、抵近阶段的飞行器的控制和目标和飞行器的相对位置估计在抵近阶段，基于抓取目标在机体坐标系下高度不变的假设，目标和飞行器之间的相对位置可简化到二维平面，目标和飞行器之间的位置关系如图5所示。其中，飞行器和机载云台摄像机在世界坐标系下的偏航角，滚转角和俯仰角可通过其搭载的IMU传感器得到。由于需要得到的是机体坐标系下目标和飞行器之间的相对位置，因而需要做以下的坐标变换，用Rgp表示从云台坐标系到机体坐标系的转换矩阵，使用K表示云台摄像头的内参矩阵，A＝[uv1]表示抓取目标在二维图像中的位置，则抓取目标在机体坐标系下的位置T＝[xbybzb]可表示为：其中P为如下置换矩阵：飞行器的实际高度h可由飞行器搭载的超声波传感器得到，则抓取目标与飞行器之间的实际距离为：z＝0在得到计算抓取目标和飞行器之间的距离之后，飞行器在抵近目标时可以利用已知的各项信息：飞行器与抓取目标的直线距离εd，飞行器当前速度和期望速度的误差εv，飞行器当前偏航角和期望偏航角的误差εσ，飞行器的当前速度vxc和vyc，得到飞行器x，y方向的期望速度vpx和vpy，飞行器的期望角速度ωp：ωp＝k2εσ其中k1和k2为小于0的常数，该计算公式根据不断获取得到的相对位置和速度信息计算飞行器在某个时刻的期望飞行速度，并将该期望速度传输给飞行控制系统，使飞行器响应该期望速度。飞行器采用以上控制方法可以满足李雅普诺夫稳定判据，系统是渐进稳定的。由于引入了速度误差，距离误差，飞行器对期望速度的响应将更加准确。3、抓取阶段的目标抓取点检测和机械臂的控制当飞行器抵近抓取目标时，飞行器进入抓取阶段。为提高抓取成功率，而不是让飞行器盲目抓取物体，本专利技术从仿生视角出发，提出了一种基于物体边缘和根模板匹配的抓取点检测方法。人类在拾取一般物体的时候，通常都是先观察物体的轮廓，边缘的特征，根据这些信息以及基于生活常识的先验知识判断抓取位置本文档来自技高网...

【技术保护点】
1.一种利用单目视觉和机载传感器旋翼无人机自主抓取方法，其特征在于，包括以下

【技术特征摘要】
1.一种利用单目视觉和机载传感器旋翼无人机自主抓取方法，其特征在于，包括以下步骤：S1.飞行器起飞，通过云台摄像机回传的图像，飞行器在预设高度检测视野范围内检测被抓取目标在图像中的位置；S2.若飞行器检测到目标，飞行器进入抵近阶段；飞行器终止目标检测模块，启用视觉跟踪模块持续跟踪目标，同时根据机载惯性测量单元，超声波，气压计等传感器回传的信息，实时计算飞行器和目标之间的相对位置，控制飞行器向目标所在位置运动；S3.当...

【专利技术属性】
技术研发人员：林立山，成慧，许天野，黄晓，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44