一种基于人工智能的无人机测绘光学防抖方法及系统技术方案

本发明专利技术涉及人工智能技术领域，具体涉及一种基于人工智能的无人机测绘光学防抖方法及系统。该方法包括：通过从建筑物三维点云中获取最能反映果冻效应的最优直线，并从RGB图像中获取最优直线对应的变形直线，根据最优直线的第一斜率和第一跨越行以及变形直线的第二斜率和第二跨越行得到果冻效应指标；根据果冻效应指标设置角度阈值和次数阈值，当预设时间段内的最大偏移角度大于角度阈值，且三轴偏移角从正值变成负值的变化次数大于次数阈值时，关闭光学防抖装置。该方法解决了光学防抖装置发生震动或超出镜组的移动行程，图像出现果冻效应，光学防抖装置失效的技术问题。光学防抖装置失效的技术问题。光学防抖装置失效的技术问题。

【技术实现步骤摘要】
一种基于人工智能的无人机测绘光学防抖方法及系统


[0001]本专利技术涉及人工智能
，具体涉及一种基于人工智能的无人机测绘光学防抖方法及系统。

技术介绍

[0002]使用无人机进行测绘时，为了得到清晰的图像经常使用卷帘快门。但由于无人机本身是具有高速运动能力的设备，且在拍摄作业的同时会有不同程度的不同频率的震动，使得卷帘快门拍出的图像中不同行的像素之间存在时间差，使得图像出现斜拉、扭曲、摇摆不定等现象。这种现象为果冻效应。
[0003]无人机搭载的相机有光学防抖装置，光学防抖装置中有可以移动的镜组，可根据IMU的示数调整镜组的位姿来补偿相机抖动对相机成像的影响。但当无人机共振过强时，使得光学防抖装置发生震动或超出镜组的移动行程，图像出现果冻效应，光学防抖装置失效。此时为了更好找到无人机IMU示数与图像果冻效应之间的关系，应将光学防抖装置关闭，避免产生影响。

技术实现思路

[0004]为了解决上述技术问题，本专利技术的目的在于提供一种基于人工智能的无人机测绘光学防抖方法及系统，所采用的技术方案如下：
[0005]第一方面，本专利技术实施例提供了一种基于人工智能的无人机测绘光学防抖方法，该方法包括以下步骤：
[0006]采用激光雷达获取建筑物三维点云，同时采用具有卷帘快门的RGB相机获取RGB图像；
[0007]将所述建筑物三维点云转化为深度图像，对所述深度图像进行直线检测得到第一直线集合，采用基于亲和场的关键点检测网络对所述深度图像进行检测获取第二直线集合，根据直线的斜率和直线的两个端点对所述第一直线集合和所述第二直线集合进行相互验证得到第三直线集合，根据直线到所述深度图像边界的距离与直线的跨越行的比值从所述第三直线集合中选择一条最优直线；
[0008]根据最优直线的两个端点从所述RGB图像中获取所述最优直线对应的变形直线；
[0009]根据所述最优直线的第一斜率和所述变形直线的第二斜率得到横向果冻效应指标，根据所述最优直线的第一跨越行和所述变形直线的第二跨越行得到纵向果冻效应指标，根据所述纵向果冻效应指标和所述横向果冻效应指标得到果冻效应指标；
[0010]根据所述果冻效应指标设置IMU示数中三轴偏移角中最大偏移角度的角度阈值和三轴偏移角从正值变成负值的变化次数的次数阈值，当预设时间段内的所述最大偏移角度大于所述角度阈值，且所述变化次数大于所述次数阈值时，关闭光学防抖装置。
[0011]进一步地，所述获取建筑物点云的步骤包括：
[0012]将激光雷达采集的城市三维点云均匀的划分为左、中、右三个部分，并采用聚类算
法对左和右两部分的城市三维点云进行检测得到多个点云集合；
[0013]根据回波强度的均方差和回波次数从所述多个点云集合中获取第一建筑物点云集合；
[0014]根据连续多帧检测到的所述回波次数的平均变化率和所述回波强度的平均均方差从所述第一建筑物点云集合中获取第二建筑物点云集合；
[0015]根据所述第二建筑物点云集合中的最大纵坐标的值对所述第二建筑物点云集合进行筛选得到建筑物点云。
[0016]进一步地，所述端点包括直线的顶部关键点和底部关键点。
[0017]进一步地，所述获取第二直线集合的步骤包括：
[0018]将所述深度图像输入所述关键点检测网络得到建筑物的顶部关键点和关系亲和向量，设置滑窗沿着所述关系亲和向量的方向进行角点检测得到所述建筑物的底部关键点，将建筑物的顶部关键点和对应的底部关键点相连得到第二直线集合。
[0019]进一步地，所述果冻效应指标的公式为：
[0020][0021][0022][0023]其中，W
X
为所述横向果冻效应指标，W
Y
为所述纵向果冻效应指标，W为果冻效应指标，k1为所述第一斜率，N1为所述第一跨越行，k2为所述第一斜率，N2为所述第二跨越行。
[0024]第二方面，本专利技术实施例提供了一种基于人工智能的无人机测绘光学防抖系统，包括：
[0025]图像获取模块，用于采用激光雷达获取建筑物三维点云，同时采用具有卷帘快门的RGB相机获取RGB图像；
[0026]最优直线获取模块，用于将所述建筑物三维点云转化为深度图像，对所述深度图像进行直线检测得到第一直线集合，采用基于亲和场的关键点检测网络对所述深度图像进行检测获取第二直线集合，根据直线的斜率和直线的两个端点对所述第一直线集合和所述第二直线集合进行相互验证得到第三直线集合，根据直线到所述深度图像边界的距离与直线的跨越行的比值从所述第三直线集合中选择一条最优直线；
[0027]变形直线获取模块，用于根据最优直线的两个端点从所述RGB图像中获取所述最优直线对应的变形直线；
[0028]果冻效应指标获取模块，用于根据所述最优直线的第一斜率和所述变形直线的第二斜率得到横向果冻效应指标，根据所述最优直线的第一跨越行和所述变形直线的第二跨越行得到纵向果冻效应指标，根据所述纵向果冻效应指标和所述横向果冻效应指标得到果冻效应指标；
[0029]防抖装置设置模块，用于根据所述果冻效应指标设置IMU示数中三轴偏移角中最大偏移角度的角度阈值和三轴偏移角从正值变成负值的变化次数的次数阈值，当预设时间段内的所述最大偏移角度大于所述角度阈值，且所述变化次数大于所述次数阈值时，关闭
光学防抖装置。
[0030]进一步地，所述图像获取模块包括：
[0031]检测单元，用于将激光雷达采集的城市三维点云均匀的划分为左、中、右三个部分，并采用聚类算法对左和右两部分的城市三维点云进行检测得到多个点云集合；
[0032]第一建筑物点云集合获取单元，用于根据回波强度的均方差和回波次数从所述多个点云集合中获取第一建筑物点云集合；
[0033]第二建筑物点云集合获取单元，用于根据连续多帧检测到的所述回波次数的平均变化率和所述回波强度的平均均方差从所述第一建筑物点云集合中获取第二建筑物点云集合；
[0034]建筑物点云获取单元，用于根据所述第二建筑物点云集合中的最大纵坐标的值对所述第二建筑物点云集合进行筛选得到建筑物点云。
[0035]进一步地，所述端点包括直线的顶部关键点和底部关键点。
[0036]进一步地，所述最优直线获取模块包括：
[0037]第二直线集合获取单元，用于将所述深度图像输入所述关键点检测网络得到建筑物的顶部关键点和关系亲和向量，设置滑窗沿着所述关系亲和向量的方向进行角点检测得到所述建筑物的底部关键点，将建筑物的顶部关键点和对应的底部关键点相连得到第二直线集合。
[0038]进一步地，所述果冻效应指标的公式为：
[0039][0040][0041][0042]其中，W
X
为所述横向果冻效应指标，W
Y
为所述纵向果冻效应指标，W为果冻效应指标，k1为所述第一斜率，N1为所述第一跨越行，k2为所述第一斜率，N2为所述第二跨越行。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
为所述第一斜率，N1为所述第一跨越行，k2为所述第一斜率，N2为所述第二跨越行。6.一种基于人工智能的无人机测绘光学防抖系统，其特征在于，包括：图像获取模块，用于采用激光雷达获取建筑物三维点云，同时采用具有卷帘快门的RGB相机获取RGB图像；最优直线获取模块，用于将所述建筑物三维点云转化为深度图像，对所述深度图像进行直线检测得到第一直线集合，采用基于亲和场的关键点检测网络对所述深度图像进行检测获取第二直线集合，根据直线的斜率和直线的两个端点对所述第一直线集合和所述第二直线集合进行相互验证得到第三直线集合，根据直线到所述深度图像边界的距离与直线的跨越行的比值从所述第三直线集合中选择一条最优直线；变形直线获取模块，用于根据最优直线的两个端点从所述RGB图像中获取所述最优直线对应的变形直线；果冻效应指标获取模块，用于根据所述最优直线的第一斜率和所述变形直线的第二斜率得到横向果冻效应指标，根据所述最优直线的第一跨越行和所述变形直线的第二跨越行得到纵向果冻效应指标，根据所述纵向果冻效应指标和所述横向果冻效应指标得到果冻效应指标；防抖装置设置模块，用于根据所述果冻效应指标设置IMU示数中三轴偏移角中最大偏移角度的角度阈值和三轴偏移角从正值变成负值的变化次数的次数阈值，当预设时间段内的所述最大偏移角度大于所述角度阈值，且所述变化次数大于所述次数阈值时，关闭光学防抖装置。7.根据权利要求6所述的一种基于人工智能的无人机测绘光学防抖系统，其特征在于，所述图像获取模块包括：检测单元，用于将激光雷达采...

【专利技术属性】
技术研发人员：钱思宇，张承诺，
申请(专利权)人：郑州易酷航空科技有限公司，
类型：发明
国别省市：