一种旋翼飞行双机械臂目标定位抓取系统及方法技术方案

本发明专利技术属于无人机技术领域，公开了一种旋翼飞行双机械臂目标定位抓取系统及方法，系统包括旋翼飞行器，机载计算机，双机械臂系统，飞行控制器，电源与通信集成电路模块，视觉传感器；方法包括：通过视觉传感器实时获取环境视频流信息，采用MobileNet‑SSD模型来训练识别抓取目标；将深度相机和AprilTag视觉定位切换使用，精确获取所是被目标的三维坐标信息；引入FCL碰撞，采用RRT_Connect路径规划算法进行机械臂的逆向运动学运算，完成空间无碰撞双臂规划与抓取。本发明专利技术能有效提升无人机与外界环境进行交互影响的能力，提升旋翼无人机从目标识别、运动规划到稳定抓取的自主性与精确性。

A Target Location and Grabbing System and Method for Rotor Flying Dual Manipulators

The invention belongs to the technical field of UAV, and discloses a target locating and grasping system and method of dual manipulator for rotorcraft flight. The system includes rotorcraft, airborne computer, dual manipulator system, flight controller, power supply and communication integrated circuit module, and visual sensor. The method includes: acquiring real-time environmental video stream information through visual sensor and adopting MobileNet SSD. The model is used to train and recognize the grabbing target; the depth camera and AprilTag visual positioning are switched to obtain the precise three-dimensional coordinate information of the target; the FCL collision is introduced, and the RRT_Connect path planning algorithm is used to carry out the inverse kinematics operation of the manipulator to complete the space collision-free dual-arm planning and grabbing. The invention can effectively improve the ability of UAV to interact with the external environment, and enhance the autonomy and accuracy of the rotor UAV from target recognition, motion planning to stable grasp.

【技术实现步骤摘要】
一种旋翼飞行双机械臂目标定位抓取系统及方法
本专利技术属于无人机
，尤其涉及一种旋翼飞行双机械臂目标定位抓取系统及方法。
技术介绍
目前，业内常用的现有技术是这样的：随着无人机技术得到快速发展，多旋翼无人机也开始走进人们的视野，多旋翼无人机有着垂直起降和悬停的能力，操作简单、体积小巧、飞行灵活，所以其在航拍检测、农林、安全执法、电网巡检、边防巡逻等领域得到了越来越广泛的应用。但这些都仅仅停留在观测的层面，并未有效的与环境互动，对于危险物品排查及运输、灾难救援、快速补给等一些危险或者特殊任务，现有无人机很难做到。因此，在旋翼无人机上安装灵活的机械手臂和“眼睛”(视觉传感器)使得其具备与环境相互作用的能力，极大的拓展了其应用领域，具备应用价值。2017年，包，仓等人在专利技术专利《一种带有机械臂的飞行机器人及其控制方法》(公开号：CN107309872A)中公开了一种机械臂的空中作业控制方法，机械臂安装在无人机的下方。该专利技术专利虽然实现了旋翼无人机与机械臂的结合，解决旋翼无人机与环境交互的问题，但是其所述的系统机械臂为单臂系统，且自由度少，在抓取时单臂容易引起无人机不稳定，且单臂抓取局限性大，应用范围受到限制。综上所述，现有技术存在的问题是：(1)现有技术中，旋翼飞行机械臂均为单臂系统，难以稳定重心，自由度较少，且抓取对象容易受到限制；(2)现有技术中，大多旋翼飞行机械臂系统未配备多视觉传感器，不能实时与环境进行交互，大都为人工控制抓取，未形成基于视觉和机械臂规划的识别与抓取系统；(3)现有技术中，旋翼飞行机械臂系统未有采用深度卷积网络对环境中目标进行检测识别，因此大多都是识别对象单一，不具备识别多样性，且识别精度低，鲁棒性差。(4)现有技术中，旋翼飞行机械臂系统在硬件上均未设计电源与通信集中模块，在硬件软件连接与调试过程中，存在大量繁琐的线路连接操作，且难以安装，极易产生接线失误导致重要模块损坏，同时可能导致重心不稳。旋翼飞行机械臂系统，由于机械臂的抓取运动会使得飞行器存在重心不稳的问题，且要使得旋翼飞行机械臂实现与环境的自主交互，则必须配备有先进的多视觉传感器和先进的环境感知和目标识别定位算法，以及改良的机械臂系统和运动规划算法，以此提高旋翼飞行机械臂系统的自主性、稳定性及鲁棒性，使得旋翼飞行机械臂系统有更加广泛的实际应用，具备现实价值。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种旋翼飞行双机械臂目标定位抓取系统及方法。本专利技术是这样实现的，一种旋翼飞行双机械臂目标定位抓取系统，包括旋翼飞行器，双机械臂系统，电源与通信集成电路模块，机载计算机，飞行控制器，视觉传感器；所述旋翼飞行器机架为四或六旋翼，包括机架平台、旋翼飞行器机架及与旋翼飞行器机架相连的四个或六个机臂；所述旋翼飞行器机架还包括飞行平台动力系统：四或六组或无刷电机、无刷电调以及旋翼桨，每组电机安装在机架机臂上且与其对应的电调连接，旋翼桨安装在对应的电机上；GPS定位模块，为无人机提供定位服务；双机械臂系统安装在旋翼飞行器机架的下方定制固定板上；自制电源与通信集成电路模块通过四个支撑棒安装在旋翼飞行器机架正上方，其为所有的硬件模块供电、实现模块之间相互通信；机载计算机和飞行控制器安装在机架与自制集成电路模块中间位置，所有的软件算法程序在机载计算机中运行；飞行控制器通过通信模块给所有飞行器硬件模块发送任务指令；视觉传感器安装在机架前下端边缘位置，实时获取环境RGB视频流。本专利技术所述的双机械臂系统由两个单机械臂组合而成，是由两个4自由度的机械臂构成的机械臂系统，且两个单机械臂在机械结构上完全一致。所述双机械臂系统，安装在旋翼飞行器下方定制固定板上，两个单机械臂平行安装在固定板左右两端；其中，每一个单机械臂的机械结构包括一个左右转向机构、两个上下收放机构以及一个夹持机构，4个自由度，共有4个舵机，舵机与舵机之间通过连接件连接，第一个舵机连接在固定板上，第四个舵机与机械爪子连接组成夹持机构。本专利技术的进一步改进，所述电源与通信集成电路模块包括：11V直流稳压电路给飞行器自动收放脚架供电，电调电机及信号接口服务于飞行平台动力系统，5VUBEC稳压电路和电量检测电路服务于飞行控制系统，19V直流稳压电路和FT4232通信电路服务于机载计算机平台，12V直流稳压电路给双机械臂系统供电，飞行控制系统MAVLINK协议通过FT4232通信电路及UART与机载计算机建立通信连接，双机械臂通过DYNAMIXELPROTOCOL2.0协议和FT4232通信电路与机载计算机建立通信。所述的目标定位抓取方法包括以下步骤：步骤1：通过视觉传感器实时获取环境视频流信息，采用MobileNet-SSD网络识别目标，锁定待抓取目标物；步骤2：根据步骤1锁定抓取目标后，采用图像传感器获取目标的点云3D数据和AprilTag视觉定位切换的分段方法,精确获取目标的三维坐标；步骤3：根据步骤2中的三维信息，引入FCL碰撞检测机制，根据末端位姿信息进行机械臂逆向运动学运算，采用RRT_Connect路径规划算法得到双臂运动轨迹，实现协同规划抓取。进一步地，步骤1中MobileNet-SSD训练网络实现待抓取目标检测，步骤如下：收集待抓取物体的数据集，并对数据集进行初始化处理，标注数据；划分训练集和测试集，制作LMDB文件；通过MobileNet-SSD训练模型，输出训练文件；通过视觉传感器实时获取环境视频流信息，在机载计算机上运行上述训练模型识别并锁定待抓取目标。进一步地，步骤二中获取目标3D坐标，先采用深度传感器获取目标3D信息，当飞行器运动至接近目标物时切换至AprilTag视觉定位获取3D信息，其距离阈值为1(米)，步骤2所采用图像传感器和AprilTag视觉定位切换分段的具体步骤如下：(1)视觉传感器实时获取视频流，通过步骤2方法确定目标并给定目标框；(2)通过视觉传感器获取目标RGB图像，获取目标像素坐标(x,y)，得到深度图像，IR图像，从而得到目标深度值Z；(3)基于棋盘格，采用张正友标定法对视觉传感器进行标定，获取其内参矩阵C和外参矩阵T；(4)基于相机参数，根据相机坐标系和图像坐标系之间的转换关系得到图像中目标相对于相机坐标系的三维坐标，坐标转换关系为：式中，(x,y)表示图像像素坐标系；(X,Y,Z)表示相机坐标系；C表示相机内参矩阵；T表示相机外部参数矩阵。(5)深度相机获取的三维信息传递给飞行器，旋翼飞行器不断飞行运动至接近目标，设置循环，判断距离是否满足Z≤1(单位：米)，若否，则继续使用该图像传感器获取3D坐标；若是，则转至第(6)步采用AprilTag视觉定位方法获取目标更精确3D坐标；(6)通过图像传感器，获取图像特征，计算像素梯度得到幅值图像，得到梯度方向；(7)将相似的梯度方向和幅值集群到一个组件，即每个节点代表一个像素，使用加权最小二乘法，提取场景中的直线，将方形区域同态映射为正方形，与Tag库进行匹配，取0-15号Tag标签作为实验对象，大小君取为10cm和15cm两种，调用AprilTag视觉库得到目标精确3D坐标。(8)将获取的3D坐标实时通过权力要求1中所述的电源与通信集成电路模块传送给飞行控制器和机载计算机。其中：当旋翼无人本文档来自技高网...

【技术保护点】
1.一种旋翼飞行双机械臂目标定位抓取方法，其特征在于，所述旋翼飞行双机械臂目标定位抓取方法包括：通过视觉传感器实时获取环境视频流信息，并采用MobileNet‑SSD模型训练识别抓取目标；将深度相机和AprilTag视觉定位切换使用，获取识别抓取目标的三维坐标信息；引入FCL碰撞，采用RRT_Connect路径规划算法进行机械臂的逆向运动学运算，进行空间无碰撞双臂规划与抓取。

【技术特征摘要】
1.一种旋翼飞行双机械臂目标定位抓取方法，其特征在于，所述旋翼飞行双机械臂目标定位抓取方法包括：通过视觉传感器实时获取环境视频流信息，并采用MobileNet-SSD模型训练识别抓取目标；将深度相机和AprilTag视觉定位切换使用，获取识别抓取目标的三维坐标信息；引入FCL碰撞，采用RRT_Connect路径规划算法进行机械臂的逆向运动学运算，进行空间无碰撞双臂规划与抓取。2.如权利要求1所述的旋翼飞行双机械臂目标定位抓取方法，其特征在于，所述旋翼飞行双机械臂目标定位抓取方法具体包括：步骤1：通过视觉传感器实时获取环境视频流信息，采用MobileNet-SSD网络识别目标，锁定待抓取目标物；步骤2：根据步骤1锁定抓取目标后，采用图像传感器获取目标的点云3D数据和AprilTag视觉定位切换的分段方法,获取目标的三维坐标；步骤3：根据步骤2中的三维信息，引入FCL碰撞检测机制，根据末端位姿信息进行机械臂逆向运动学运算，采用RRT_Connect路径规划算法得到双臂运动轨迹，实现协同规划抓取。3.如权利要求2所述的旋翼飞行双机械臂目标定位抓取方法，其特征在于，步骤1中MobileNet-SSD训练网络实现待抓取目标检测，步骤如下：收集待抓取物体的数据集，并对数据集进行初始化处理，标注数据；划分训练集和测试集，制作LMDB文件；通过MobileNet-SSD训练模型，输出训练文件；通过视觉传感器实时获取环境视频流信息，在机载计算机上运行MobileNet-SSD训练模型识别并锁定待抓取目标。4.如权利要求2所述的旋翼飞行双机械臂目标定位抓取方法，其特征在于，步骤2中获取目标3D坐标，先采用深度传感器获取目标3D信息，当飞行器运动至接近目标物时切换至AprilTag视觉定位获取3D信息，其距离阈值为1米；所采用图像传感器和AprilTag视觉定位切换分段的具体步骤包括：(1)视觉传感器实时获取视频流，通过步骤2方法确定目标并给定目标框；(2)通过视觉传感器获取目标RGB图像，获取目标像素坐标(x,y)，得到深度图像，IR图像，得到目标深度值Z；(3)基于棋盘格，采用张正友标定法对视觉传感器进行标定，获取内参矩阵C和外参矩阵T；(4)基于相机参数，根据相机坐标系和图像坐标系之间的转换关系得到图像中目标相对于相机坐标系的三维坐标，坐标转换关系为：式中，(x,y)表示图像像素坐标系；(X,Y,Z)表示相机坐标系；C表示相机内参矩阵；T表示相机外部参数矩阵；(5)深度相机获取的三维信息传递给飞行器，旋翼飞行器不断飞行运动至接近目标，设置循环，判断距离是否满足Z≤1米，若否，则继续使用该图像传感器获取3D坐标；若是，则转至第(6)步采用AprilTag视觉定位方法获取目标更精确3D坐标；(6)通过图像传感器，获取图像特征，计算像素梯度得到幅值图像，得到梯度方向；(7)将相似的梯度方向和幅值集群到一个组件，即每个节点代表一个像素，使用加权最小二乘法，提取场景中的直线，将方形区域同态映射为正方形，与Tag库进行匹配，取0-15号Tag标签作为对象，大小都取为10cm和15cm两种，调用AprilTag视觉库得到目标精确3D坐标；(8)将获取的3D坐标实时通过权力要求1中所述的电源与通信集成电路模块传送给飞行控制器和机载计算机。5.如权利要求2所述的旋翼飞行双机械臂目标定...

【专利技术属性】
技术研发人员：谭建豪，殷旺，王耀南，钟杭，刘力铭，余淼，曹章，尚畇凯，
申请(专利权)人：湖南大学，
类型：发明
国别省市：湖南,43