基于多传感器的无人机智能感知系统和方法技术方案

本发明专利技术涉及传感器、无人机智能感知控制技术，为实现无人机对周围环境的智能感知。还可通过该系统对其它自主定位算法及目标识别算法进行验证，提高智能感知技术的研究效率。本发明专利技术，基于多传感器的无人机智能感知系统和方法，包括激光雷达、RGB‑D视觉传感器、IMU惯性测量单元、嵌入式机载处理器和飞行控制器，激光雷达用于测量周围环境的距离信息；RGB‑D视觉传感器采集周围环境的距离信息和图像信息，激光雷达采集的为2D点云数据，而RGB‑D视觉传感器采集的为3D点云数据，IMU惯性测量单元是测量自身三轴姿态角及加速度的设备，嵌入式机载处理器包括自主定位和目标识别两个独立模块。本发明专利技术主要应用于无人机控制场合。

Multi sensor based intelligent perception system and method for unmanned aerial vehicle

The invention relates to the intelligent perception and control technology of sensors and unmanned aerial vehicles (UAV) to realize the intelligent perception of the unmanned aerial vehicle (UAV) on the surrounding environment. The system can also verify the other autonomous localization algorithms and target recognition algorithms, so as to improve the research efficiency of intelligent sensing technology. The present invention, the UAV intelligent sensing system and method based on multi sensor, including laser radar, RGB D vision sensor, IMU inertial measurement unit, embedded processor and airborne flight controller, laser radar is used to measure the distance information of the surrounding environment; RGB D vision sensor environment distance information and image information, laser radar the acquisition of 2D point cloud data, and the RGB D vision sensor for 3D point cloud data, the IMU inertial measurement unit is a measure of its three axis attitude angle and acceleration of the equipment, embedded airborne autonomous positioning and target recognition processor consists of two independent modules. The invention is mainly applied to unmanned aerial vehicle (UAV) control.

【技术实现步骤摘要】
基于多传感器的无人机智能感知系统和方法
本专利技术涉及计算机视觉领域、传感器领域、嵌入式系统领域、无人机领域，尤其涉及一种基于多传感器的无人机智能感知系统。具体讲,涉及基于多传感器的无人机智能感知系统。
技术介绍
无人机是一种远程操控或者通过程序控制的无人驾驶飞机。近年来，由于在军用和民用领域有着十分广阔的应用前景，四旋翼无人机引起了人们的广泛关注；四旋翼无人机具有体积小、重量轻、机动性强、结构简单、安全性好等优点，这使得无人机在地形测绘，航拍，目标跟踪与监视及灾难救援等实际任务中起到重要作用。因此，随着无人机相关技术的发展和应用场景的复杂化，在四旋翼无人机上搭载多种传感器设备，对周围环境进行感知显得尤为关键。无人机智能感知技术主要解决在未知环境中无人机的自主定位和目标识别两大问题。自主定位是无人机在未知环境中执行复杂任务的基础与关键。传统的无人机定位方法是采用GPS、北斗等全球卫星导航定位系统，定位精度较低，误差较大，而且在复杂环境中通常存在着噪声干扰、信号遮挡等问题，GPS信号不稳定。为解决无GPS环境下的无人机精准定位问题，常采用基于激光雷达，双目摄像头或RGB-D摄像头等传感器设备进行无人机自主定位，或者通过OptiTrack等运动捕捉系统进行定位。目标识别是实现无人机智能感知的另一重要技术。主要基于视觉传感器采集环境图像信息，通过对图像信息的处理，提取图像特征进行目标识别。针对无人机智能感知问题，目前美国宾夕法尼亚大学的GRASP实验室、麻省理工学院、瑞士苏黎世联邦理工大学、德国慕尼黑工业大学等国家的科研团队都在进行深入研究；近年来，国内的清华大学，北京航空航天大学，天津大学等高校也开展了相关研究。由此可见智能感知是国际无人机领域研究的前沿热点问题。因此，设计一套易扩展、稳定性强、能够实现自主定位和目标识别的无人机智能感知系统具有极高的实际价值和应用意义。
技术实现思路
为克服现有技术的不足，本专利技术旨在提出一种基于多传感器的无人机智能感知系统，并在此基础上提出了一种基于SLAM的无人机自主定位方法和一种基于RGB-D传感器的目标识别方法，通过设计无人机的自主定位模块及目标识别模块并运行相应算法，实现无人机对周围环境的智能感知。还可通过该系统对其它自主定位算法及目标识别算法进行验证，有利于算法的修正与改进，提高了智能感知技术的研究效率，具有极大的应用价值。本专利技术采用的技术方案是，基于多传感器的无人机智能感知系统，包括激光雷达、RGB-D视觉传感器、IMU惯性测量单元、嵌入式机载处理器和飞行控制器，激光雷达用于测量周围环境的距离信息；RGB-D视觉传感器采集周围环境的距离信息和图像信息，激光雷达采集的为2D点云数据，而RGB-D视觉传感器采集的为3D点云数据，IMU惯性测量单元是测量自身三轴姿态角及加速度的设备，飞行控制器主要用于控制无人机的飞行，嵌入式机载处理器包括自主定位和目标识别两个独立模块，分别通过处理点云数据，获得无人机自身位姿并进行目标识别。自主定位模块采用基于SLAM的无人机自主定位，由以下三个步骤完成：第一步先通过处理激光雷达的点云数据获取周围环境的初始地图；第二步通过高斯牛顿法进行扫描匹配估计无人机在水平面内的位置；第三步通过融合IMU的姿态数据和无人机的高度数据获取无人机在三维空间内的位置姿态。基于多传感器的无人机智能感知方法，利用激光雷达、RGB-D视觉传感器和嵌入式机载处理器实现，利用激光雷达测量周围环境的距离信息；利用RGB-D视觉传感器采集周围环境的距离信息和图像信息，激光雷达采集的为2D点云数据，而RGB-D视觉传感器采集的为3D点云数据，利用嵌入式机载处理器运行自主定位和目标识别两个独立模块，分别通过处理点云数据，获得无人机自身位姿并进行目标识别。目标识别模块基于RGB-D传感器进行目标识别的具体步骤是，首先对RGB-D传感器获取的点云数据进行预处理，然后通过支持向量机进行离线建模，建立模型数据库，最后进行在线目标识别，具体地：第一步：本专利技术采用双线性插值法得到占据栅格地图概率值V(Pm)建立初始环境地图，Pm为地图坐标(x,y)，双线性插值法的公式如下：其中(xi,yi)，i＝0为,(x,1y)附近的四个整数坐标点；第二步：在获取初始环境地图之后，通过高斯牛顿法将激光光束端点和已有地图进行扫描匹配，为使激光束扫描得到的端点与已知地图相匹配，首先定义并求解刚体变换nx,ny为即世界坐标系坐标，即为朝向角，通过该变换使得达到最小，即求其中，Wi(α)是关于激光光束端点即障碍物ei＝(ei,x,ei,y)T在世界坐标系中的坐标，即且函数V(Wi(α))表示由Wi(α)给出的坐标所在栅格占用概率值；利用高斯牛顿法对(1)式进行求解，先给定机器人初始位置α，通过加入Δα进行优化，使得残差趋近于0，进行整理最后得到Gauss-Newton方程(2)如下，其中H为黑塞矩阵，在初始位置上叠加增量Δα，即令α(2)＝α(1)+Δα，不断重复k次上述过程进行迭代求解直至收敛，最终即可求得移动机器人在世界坐标系中的位置为αk+1＝αk+Δα；第三步：最后通过EKF扩展卡尔曼滤波融合飞控中的惯性测量单元采集的高度数据实现三维空间内的无人机自主定位。目标识别模块采用基于RGB-D传感器的目标识别方法，步骤如下：第一步：目标识别模块首先对Realsense传感器采集的点云数据进行预处理，分别提取出位置、颜色、深度、法线、曲率特征；第二步：离线建模模块通过支持向量机对目标点云进行训练，完成离线建模，建立模型数据库；第三步：在线识别模块，首先利用支持向量机对目标检测模块输出及跟踪目标模型进行分类预测，引入自适应粒子滤波，通过对粒子滤波点云模板进行在线更新，克服目标漂移问题，最终实现在线目标识别。本专利技术的特点及有益效果是：(1)本专利技术提出的基于多传感器的无人机智能感知系统稳定可靠，能提高无人机的智能自主性。其中的自主定位模块和目标识别模块各自独立运行，互不干扰，着确保了整个系统可以高效稳定的运行。(2)本专利技术中的自主定位模块所采用的激光SLAM方法实时性高，计算量较小，运算快。传统的激光SLAM算法采用就近点迭代算法(ICP)进行扫描匹配，ICP算法不稳定且计算量大，可能会无法获得正确解。而本专利技术采用高斯牛顿法进行扫描匹配，有效的改善了上述问题，使得本专利技术的自主定位模块能够达到较高实时性的要求，并具有通用性。(3)本专利技术中的目标识别模块，本专利技术提出并采用的方法有效的解决了目标漂移和目标存在部分遮挡情况下的匹配识别问题，能够提高目标识别的精度，可有效的解决无人机的目标识别问题，具有较大的实用价值。(4)本专利技术可扩展性强，除了激光雷达和视觉传感器设备外，还可根据开发者需要自行增添传感器设备，可以进行二次开发。(5)本专利技术中自主定位模块和目标识别模块的软件算法部分可根据使用者的需要进行更换，有利于智能感知技术研究者对算法进行验证改进。附图说明：附图1基于多传感器的无人机智能感知系统总体结构图。附图2自主定位模块结构框图。附图3目标识别模块结构框图。附图4自主定位效果图。附图5目标识别效果图。具体实施方式本专利技术提出的基于多传感器的无人机智能感知系统，主要包括激光雷达、RGB-D视觉传感器、IMU惯本文档来自技高网...

【技术保护点】
一种基于多传感器的无人机智能感知系统，其特征是，包括激光雷达、RGB‑D视觉传感器、IMU惯性测量单元、嵌入式机载处理器和飞行控制器，激光雷达用于测量周围环境的距离信息；RGB‑D视觉传感器采集周围环境的距离信息和图像信息，激光雷达采集的为2D点云数据，而RGB‑D视觉传感器采集的为3D点云数据，IMU惯性测量单元是测量自身三轴姿态角及加速度的设备，飞行控制器主要用于控制无人机的飞行，嵌入式机载处理器包括自主定位和目标识别两个独立模块，分别通过处理点云数据，获得无人机自身位姿并进行目标识别。

【技术特征摘要】
1.一种基于多传感器的无人机智能感知系统，其特征是，包括激光雷达、RGB-D视觉传感器、IMU惯性测量单元、嵌入式机载处理器和飞行控制器，激光雷达用于测量周围环境的距离信息；RGB-D视觉传感器采集周围环境的距离信息和图像信息，激光雷达采集的为2D点云数据，而RGB-D视觉传感器采集的为3D点云数据，IMU惯性测量单元是测量自身三轴姿态角及加速度的设备，飞行控制器主要用于控制无人机的飞行，嵌入式机载处理器包括自主定位和目标识别两个独立模块，分别通过处理点云数据，获得无人机自身位姿并进行目标识别。2.如权利要求1所述的基于多传感器的无人机智能感知系统，其特征是，自主定位模块采用基于SLAM的无人机自主定位，由以下三个步骤完成：第一步先通过处理激光雷达的点云数据获取周围环境的初始地图；第二步通过高斯牛顿法进行扫描匹配估计无人机在水平面内的位置；第三步通过融合IMU的姿态数据和无人机的高度数据获取无人机在三维空间内的位置姿态。3.一种基于多传感器的无人机智能感知方法，其特征是，利用激光雷达、RGB-D视觉传感器和嵌入式机载处理器实现，利用激光雷达测量周围环境的距离信息；利用RGB-D视觉传感器采集周围环境的距离信息和图像信息，激光雷达采集的为2D点云数据，而RGB-D视觉传感器采集的为3D点云数据，利用嵌入式机载处理器运行自主定位和目标识别两个独立模块，分别通过处理点云数据，获得无人机自身位姿并进行目标识别。4.如权利要求3所述的基于多传感器的无人机智能感知方法，其特征是，目标识别模块基于RGB-D传感器进行目标识别的具体步骤是，首先对RGB-D传感器获取的点云数据进行预处理，然后通过支持向量机进行离线建模，建立模型数据库，最后进行在线目标识别，具体地：第一步：本发明采用双线性插值法得到占据栅格地图概率值V(Pm)建立初始环境地图，Pm为地图坐标(x,y)，双线性插值法的公式如下：其中(xi,yi)，i＝0,为(x,y)附近的四个整数坐标点；第二步：在获取初始环境地图之后，通过高斯牛顿法将激...

【专利技术属性】
技术研发人员：宗群，陈扬，刘朋浩，董琦，刘彤，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12