一种旋翼无人机避障方法、系统、装置及介质制造方法及图纸

本发明专利技术公开了一种旋翼无人机避障方法、系统、装置及介质，其中方法包括：在无人机飞行的过程中，采用RGB

【技术实现步骤摘要】
一种旋翼无人机避障方法、系统、装置及介质


[0001]本专利技术涉及无人机避障及路径规划的
，尤其涉及一种旋翼无人机避障方法、系统、装置及介质。

技术介绍

[0002]尽管在过去无人机
取得了巨大进步，但在实际环境导航过程中无人机仍然面临许多困难。这是因为大多数情况下无人机的飞行环境是未知的，不确定的，这就增加了无人机避障飞行的难度。作为无人机安全飞行的前提条件，即对于周边环境的准确建模和即时感知，显得尤其重要，但目前仍缺少一种能够实时准确感知障碍物的技术方案。

技术实现思路

[0003]为至少一定程度上解决现有技术中存在的技术问题之一，本专利技术的目的在于提供一种旋翼无人机避障方法、系统、装置及介质。
[0004]本专利技术所采用的技术方案是：
[0005]一种旋翼无人机避障方法，包括以下步骤：
[0006]在无人机飞行的过程中，采用RGB
‑
D相机对无人机周边的环境进行跟踪拍照；
[0007]对于RGB
‑
D相机拍得的图像信息，利用SLAM方法进行图像语义分割和语义地图构建；
[0008]在图像信息的基础上构建相机坐标系，利用相机坐标系与世界坐标系的转化关系获取像素坐标在世界坐标系的表示关系，构建无人机周边环境的三维环境，作为障碍物信息；
[0009]根据障碍物信息控制无人机的飞行，以及进行相应的路径规划，保证无人机飞行的安全性和准确性。
[0010]进一步地，所述利用SLAM方法进行图像语义分割和语义地图构建，包括：
[0011]基于深度学习，在SLAM上加入语义信息，进行图像语义分割和语义地图构建；
[0012]其中，采用SLAM中得到的图像之间的几何一致性促进图像语义分割，使得SLAM和语义分割能够相辅相成。
[0013]进一步地，所述基于深度学习，在SLAM上加入语义信息，进行图像语义分割和语义地图构建，包括：
[0014]通过结合深度学习技术方法和半稠密的基于视频流的SLAM技术，在SLAM上加入语义信息；
[0015]对于二维的语义信息，结合了有空间一致性的相连关键帧之间的联系之后，再进行三维建图。
[0016]进一步地，所述利用相机坐标系与世界坐标系的转化关系获取像素坐标在世界坐标系的表示关系，包括：
[0017]获取像素平面坐标系与图像平面坐标系之间的第一关系；
[0018]获取世界坐标系与相机坐标系之间的第二关系；
[0019]获取相机坐标系与图像平面坐标系之间的第三关系；
[0020]根据第一关系、第二关系和第三关系获取像素坐标在世界坐标系的表示关系。
[0021]进一步地，所述根据第一关系、第二关系和第三关系获取像素坐标在世界坐标系的表示关系，包括：
[0022]1)像素平面坐标系与图像平面坐标系之间的第一关系：
[0023]像素平面坐标系的原点位于图像的左上角，u轴向右与x轴平行，v轴向下与y轴平行，像素平面坐标系与图像平面坐标系之间，相差了一个缩放和一个原点的平移；
[0024]假设每一个像素在u轴和v轴方向上的物理尺寸为dx和dy，获得公式：
[0025][0026]其中，dx和dy分别表示在图像平面坐标系(x，y)的x轴和y轴投影的单位像素；u0，v0是图像平面中心；
[0027]基于公式(1)，利用线性代数的知识把方程用矩阵形式表示如下：
[0028][0029]2)世界坐标系与相机坐标系之间的第二关系：
[0030]世界坐标系通过刚体变换可以得到相机坐标系，通过旋转矩阵R与平移矩阵t来得到，公式如下：
[0031][0032]其中，(X
C
，Y
C
，Z
C
)为相机坐标，(X，Y，Z)为世界坐标，R为三维旋转方阵，t为三维平移列向量，为四维方阵，即为外参矩阵；
[0033]3)相机坐标系与像平面坐标系之间的第三关系：
[0034]相机坐标系与像平面坐标系之间的关系实际上是一个投影关系，它们之间满足相似三角形原理，投影方程为：公式如下：
[0035][0036]其中(x，y)为像平面坐标，(X
C
，Y
C
，Z
C
)为相机坐标，f为相机的焦距公式(4)用矩阵形式表示为：
[0037][0038]将以上各矩阵关系进行整合得到以下公式：
[0039][0040]其中，称为内参矩阵，称为外参矩阵。
[0041]本专利技术所采用的另一技术方案是：
[0042]一种旋翼无人机避障系统，包括：
[0043]数据采集模块，用于在无人机飞行的过程中，采用RGB
‑
D相机对无人机周边的环境进行跟踪拍照；
[0044]模型构建模块，用于对于RGB
‑
D相机拍得的图像信息，利用SLAM方法进行图像语义分割和语义地图构建；
[0045]坐标转换模块，用于在图像信息的基础上构建相机坐标系，利用相机坐标系与世界坐标系的转化关系获取像素坐标在世界坐标系的表示关系，构建无人机周边环境的三维环境，作为障碍物信息；
[0046]飞行控制模块，用于根据障碍物信息控制无人机的飞行，以及进行相应的路径规划，保证无人机飞行的安全性和准确性。
[0047]进一步地，所述利用SLAM方法进行图像语义分割和语义地图构建，包括：
[0048]基于深度学习，在SLAM上加入语义信息，进行图像语义分割和语义地图构建；
[0049]其中，采用SLAM中得到的图像之间的几何一致性促进图像语义分割，使得SLAM和语义分割能够相辅相成。
[0050]进一步地，所述基于深度学习，在SLAM上加入语义信息，进行图像语义分割和语义地图构建，包括：
[0051]通过结合深度学习技术方法和半稠密的基于视频流的SLAM技术，在SLAM上加入语义信息；
[0052]对于二维的语义信息，结合了有空间一致性的相连关键帧之间的联系之后，再进行三维建图。
[0053]本专利技术所采用的另一技术方案是：
[0054]一种旋翼无人机避障装置，包括：
[0055]至少一个处理器；
[0056]至少一个存储器，用于存储至少一个程序；
[0057]当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
[0058]本专利技术所采用的另一技术方案是：
[0059]一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
[0060]本专利技术的有益效果是：本专利技术在飞行过程中将探测到的周边环境信息发送回该无人机，依据该环境图片信息，利用SLAM构图方法，结合深度学习图像处理方法，构建三维地图，得到障碍物信息；利用障碍物信息，采取合适的避障算法，以辅助旋翼本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种旋翼无人机避障方法，其特征在于，包括以下步骤：在无人机飞行的过程中，采用RGB
‑
D相机对无人机周边的环境进行跟踪拍照；对于RGB
‑
D相机拍得的图像信息，利用SLAM方法进行图像语义分割和语义地图构建；在图像信息的基础上构建相机坐标系，利用相机坐标系与世界坐标系的转化关系获取像素坐标在世界坐标系的表示关系，构建无人机周边环境的三维环境，作为障碍物信息；根据障碍物信息控制无人机的飞行，以及进行相应的路径规划，保证无人机飞行的安全性和准确性。2.根据权利要求1所述的一种旋翼无人机避障方法，其特征在于，所述利用SLAM方法进行图像语义分割和语义地图构建，包括：基于深度学习，在SLAM上加入语义信息，进行图像语义分割和语义地图构建；其中，采用SLAM中得到的图像之间的几何一致性促进图像语义分割，使得SLAM和语义分割能够相辅相成。3.根据权利要求2所述的一种旋翼无人机避障方法，其特征在于，所述基于深度学习，在SLAM上加入语义信息，进行图像语义分割和语义地图构建，包括：通过结合深度学习技术方法和半稠密的基于视频流的SLAM技术，在SLAM上加入语义信息；对于二维的语义信息，结合了有空间一致性的相连关键帧之间的联系之后，再进行三维建图。4.根据权利要求1所述的一种旋翼无人机避障方法，其特征在于，所述利用相机坐标系与世界坐标系的转化关系获取像素坐标在世界坐标系的表示关系，包括：获取像素平面坐标系与图像平面坐标系之间的第一关系；获取世界坐标系与相机坐标系之间的第二关系；获取相机坐标系与图像平面坐标系之间的第三关系；根据第一关系、第二关系和第三关系获取像素坐标在世界坐标系的表示关系。5.根据权利要求4所述的一种旋翼无人机避障方法，其特征在于，所述根据第一关系、第二关系和第三关系获取像素坐标在世界坐标系的表示关系，包括：1)像素平面坐标系与图像平面坐标系之间的第一关系：像素平面坐标系的原点位于图像的左上角，u轴向右与x轴平行，v轴向下与y轴平行，像素平面坐标系与图像平面坐标系之间，相差了一个缩放和一个原点的平移；假设每一个像素在u轴和v轴方向上的物理尺寸为dx和dy，获得公式：其中，dx和dy分别表示在图像平面坐标系(x，y)的x轴和y轴投影的单位像素；u0，v0是图像平面中心；基于公式(1)，利用线性代数的知识把方程用矩阵形式表示如下：
2)世界坐标系与相机坐标系之间的第二关系：世界坐标系通过刚体变换可以得到相机坐标系，通过旋转矩阵R与平移矩阵t来得到，公式如下：其中，(X
C

【专利技术属性】
技术研发人员：梁亚东，罗飞，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：