基于双目视觉的无人机悬停精度测量方法技术

本发明专利技术公开了基于双目视觉的无人机悬停精度测量方法，包括如下步骤：标定阶段：利用张正友棋盘标定法对相机进行标定，从而确定标定参数定义标定结果参数；定位阶段：在进行无人机悬停精度测量时，将滑轨放置于无人机悬停点正下方，将双目相机按照设定距离平行固定于滑轨上，且双目相机能够沿滑轨方向移动，相机镜头垂直向上放置，两相机成像平面应位于同一平面，光轴相互平行；左目相机和右目相机分别采集无人机图像，传输至计算机；计算机根据左目图像和右目图像，根据标定结果参数，计算无人机的三维位置坐标；悬停结束后，根据无人机三维轨迹计算悬停精度。本发明专利技术的有益效果：实现无人机目标的检测、跟踪、精确匹配和三维定位。

【技术实现步骤摘要】

本专利技术涉及一种。
技术介绍
无人机悬停精度是无人机性能的一个重要指标，反映了无人机的核心一一飞行控 制系统的稳定性和精确性。目前，在对无人机飞行功能的检验检测过程中，悬停精度的测量 方法为人工观察的方法，不能保证其安全性、客观性和规范性。 无人机三维空间定位技术主要有两种方式：基于机载设备的定位方式和基于地面 设备的定位方式。 根据机载设备类型的不同，基于机载设备的定位技术主要有3种：图4(a)基于 GPS设备、图4(b)基于机载视频和图4(c)基于惯性导航装置的定位技术。机载设备集成在 每个无人机的飞行控制系统中，而不是独立于无人机之外，因此灵活性较差，不适用于针对 不同无人机进行定位的任务。 基于地面设备的定位方式可以避免上述问题。根据地面设备类型的不同，基于地 面设备的定位技术可以分为3种：图4(d)超声波测距仪、图4(e)激光测距仪、和图4(f)基 于机器视觉的定位技术。其中，超声波或激光测距仪多用于目标距离的测量，而三维激光测 距仪的扫描速度较慢，主要应用于静态三维场景的重建，无法计算目标的运动轨迹。
技术实现思路
本专利技术的目的就是为了解决上述问题，提供一种基于双目视觉的无人机悬停精度 测量方法，它能够实时计算无人机的三维飞行轨迹，并自动计算悬停精度，提高了测量的准 确性与规范性。 为了实现上述目的，本专利技术采用如下技术方案： ，包括如下步骤： 步骤（1):标定阶段：利用张正友棋盘标定法对相机进行标定，从而确定标定参 数，定义标定结果参数； 步骤（2):定位阶段：在进行无人机悬停精度测量时，将滑轨放置于无人机悬停点 正下方，将双目相机按照设定距离平行固定于滑轨上，且双目相机能够沿滑轨方向移动，相 机镜头垂直向上放置，双目相机成像平面应位于同一平面，光轴相互平行；左目相机和右目 相机分别采集无人机图像，传输至计算机；计算机根据采集到的左目图像和右目图像，结合 步骤（1)得到的标定结果参数，计算无人机的三维位置坐标；悬停结束后，根据无人机三维 轨迹计算悬停精度。 所述步骤⑴的步骤为： 步骤（1-1):将两个相机固定在同一个滑轨上，定义距离L，调整滑轨上两相机位 置，使其中心点之间的距离为L; 步骤（1-2):采用张正友棋盘标定法对相机进行标定，并记录标定结果参数 result= {Mleft，Dleft，Mflght，Dfl气R，T}。result表示标定结果参数，Mleft和Dleft分别表示左 目相机的相机矩阵和畸变系数向量，M~ht和D~ht分别表示右目相机的相机矩阵和畸变系 数向量，R和T分别表示两相机之间的旋转矩阵和平移向量。对于每个相机， 其中，Μ为相机矩阵，fx，fy是以像素为单位的焦距。 所述步骤（2)的步骤为： 步骤（2-1):在进行无人机悬停精度测量时，将滑轨放置于无人机悬停点正下方， 将双目相机平行固定于滑轨上，相机镜头垂直向上放置，两相机成像平面应位于同一平面， 光轴相互平行；左目相机采集无人机左目图像，右目相机采集无人机右目图像； 步骤（2-2):目标区域定位：采用手动选取的方式，选定左目图像中的目标区域； 步骤（2-3):目标跟踪：利用TLD算法，对左目图像中的目标进行跟踪； 步骤（2-4):目标匹配：在右目图像中，寻找与左目图像的目标区域最相似的匹配 区域； 步骤（2-5):同名点匹配：分别利用左目和右目图像中矩形目标区域的中心点，作 为同名点； 步骤（2-6):三维坐标计算：建立相机的坐标系，结合步骤（1)得到的标定结果参 数，计算目标点在相机坐标系中的三维坐标； 步骤（2-7):悬停精度评估，根据目标点的三维坐标轨迹，计算无人机的悬停精 度。 所述步骤（2-2)的步骤为：令开始对目标进行定位的时刻t=0。首先手动框取 目标区域，目标区域为以&为左上角点，高h、宽w的矩形区域。 所述步骤（2-3)的步骤为：根据t=0时刻确定的左目图像目标区域，在t= 1及 其以后的时刻，采用TLD算法对左目图像的目标进行跟踪。 所述步骤（2-4)的步骤为：每次得到左目图像中的目标区域后，在右目图像中，寻 找与左目图像的目标区域最相似的匹配区域，匹配区域为以BR为左上角点，高h、宽w的矩 形区域； 则目标匹配表不为： 其中，Ilrft表示左目图像灰度值，Iright表示右目图像灰度值，（Xt，h)表示点邮勺 坐标，（Χ?，yd表示点队的坐标；此时搜寻范围XRe[0,XJ，_yRe[_yL -含，,vL +f，其 中&为搜寻区域的高度。这样，得到使得公式（1)最小的BR点坐标（xR，yR)后，则视差d=xl-Xr；在t彡1时刻，左目图像通过TLD算法得到新的目标区域后，对右目图像的搜寻 范围进行更新根据公式（1) 确定右目图像中的目标区域；以此类推，来计算每一帧左目图像中的目标区域，以及同一目 标在右目图像中的对应区域。 所述步骤（2-5)的步骤为： 利用左目图像中目标区域的中心?乍为左目目标的同 名点，利用右目图像中的目标区域的中心点]隹为右目目标的同 名点。 所述同名点即左目图像和右目图像中，对应实际目标同一部位的像素点，必须保 证前后帧、左右目图像中的同名点对应实际目标的同一位置。 所述步骤（2-6)的步骤为： 相机坐标系是以左目相机的光心(\为原点，X0J平面平行于成像平面，光轴方向 为Ζ轴，根据标定的相机参数result，得到重投影矩阵 其中，(c丨.,为左相机的主点坐标，(^，为右相机的主点坐标；L为两相机之 间平移矩阵的X轴分量；f1为左侧相机焦距； 在左右目光轴相互平行情况下，已知左目图像同名点坐标Pjk，yj和右目图像同 名点坐标PR (xR,yR)，计算目标点在左右视图的视差d= ，则令 _' 'Λ _ 得到目标点在相机坐标系中的三维坐标： 其中元、九、之和6为中间结果变量，X。、y。和ζ。分别为目标点Ρ。在相机坐标系 中的X、Y和Z轴坐标。 所述步骤（2-7)的步骤为： 在无人机悬停时，采用步骤（2-5)实时计算无人机的三维位置坐标，得到其飞行 轨迹； 假设得到轨迹点的集合为P=防，P2, . . .，PN]，共包含N个点，其中 Pn=T,n= 1, 2, . . . ,N； 飞行轨迹点集合的质心 进行无人机悬停精度测试时，规定无人机悬停的离地高度记作Η。； 在进行悬停精度检测时，将双目相机放置于悬停的正下方，具体来说，是将左目相 机放置于悬停点并使光轴垂直于水平面；悬停精度分为定点悬停精度的水平偏差和 垂直偏差悬停控制精度的水平偏差琲和垂直偏差 由于为坐标系原点，计算公式为： 其中，^和e￥分别为无人机悬停过程中，在以左目相机为原点的相机坐标系下，X 轴方向和Y轴方向的运动范围，2"表示无人机飞行轨迹点P"的Z轴坐标。<当前第1页1 2 3 本文档来自技高网...

【技术保护点】
基于双目视觉的无人机悬停精度测量方法，其特征是，包括如下步骤：步骤(1)：标定阶段：利用张正友棋盘标定法对相机进行标定，从而确定标定参数定义标定结果参数；步骤(2)：定位阶段：在进行无人机悬停精度测量时，将滑轨放置于无人机悬停点正下方，将双目相机按照设定距离平行固定于滑轨上，且双目相机能够沿滑轨方向移动，相机镜头垂直向上放置，双目相机成像平面应位于同一平面，光轴相互平行；左目相机和右目相机分别采集无人机图像，传输至计算机；计算机根据采集到的左目图像和右目图像，结合步骤(1)得到的标定结果参数，计算无人机的三维位置坐标；悬停结束后，根据无人机三维轨迹计算悬停精度。

【技术特征摘要】

【专利技术属性】
技术研发人员：王万国，刘俍，刘越，张方正，董罡，雍军，吴观斌，慕世友，傅孟潮，魏传虎，张飞，李建祥，赵金龙，
申请(专利权)人：国网山东省电力公司电力科学研究院，山东鲁能智能技术有限公司，国家电网公司，
类型：发明
国别省市：山东;37