基于人工智能的航拍场景下果冻效应修复方法及系统技术方案

本发明专利技术涉及人工智能技术领域，具体涉及一种基于人工智能的航拍场景下果冻效应修复方法及系统。该方法包括：采集无人机悬停状态下的第一图像和第一深度图像。对第一图像和第一深度图像逐行分析相关性，当出现相关性异常像素行时采集第二深度图像。根据第一深度图像和第二深度图像获得异常区域及异常区域边界行。根据异常区域的异常类型对第一图像内像素进行去除或填充生成第二图像；根据异常像素行和异常区域边界行分别对第二图像和第一深度图像进行裁剪，获得第一裁剪图和第二裁剪图。通过空间变换网络处理第一裁剪图和第二裁剪图获得修复特征矩阵，消除第一图像的果冻效应。本发明专利技术针对不同异常类型修复果冻效应，提高了修复精度和效率。

【技术实现步骤摘要】
基于人工智能的航拍场景下果冻效应修复方法及系统
本专利技术涉及人工智能
，具体涉及一种基于人工智能的航拍场景下果冻效应修复方法及系统。
技术介绍
在使用无人机进行航拍工作时，为了得到清晰的图像，往往会在无人机上部署具有卷帘快门的高清摄像头。但是由于无人机是本身具有高速运动能力的设备，且在航拍工作中会有不同程度的不同频率震动，这些因素使得卷帘快门拍出的一张图像中具有果冻效应程度不同的区域，使图像出现斜拉、扭曲、摇摆不定等现象。对果冻效应图像进行修复可以提高航拍工作效率，但是对整张图像的修复往往会考虑不到果冻效应程度不同区域的情况，无法做到准确有效的果冻效应修复。
技术实现思路
为了解决上述技术问题，本专利技术的目的在于提供一种基于人工智能的航拍场景下果冻效应修复方法及系统，所采用的技术方案具体如下：本专利技术提出了一种基于人工智能的航拍场景下果冻效应修复方法，所述方法包括：采集无人机悬停状态下的第一图像和第一深度图像；对所述第一图像进行边缘检测获得第一边缘图像；对所述第一深度图像边缘检测获得第二边缘图像；对像素点逐行分析所述第一边缘图像和所述第二边缘图像的相关性；当所述第一边缘图出现至少一行相关性异常像素行时采集第二深度图像；根据所述第一深度图像和所述第二深度图像获得无人机的运动区域；以所述运动区域的高作为扩延距离对所述异常像素行进行扩延，获得异常区域边界行；所述异常像素行到所述异常区域边界行的区域为异常区域；以所述无人机悬停状态下的震动方向判断所述异常区域的异常类型；若所述异常类型为拉伸，则在所述第一图像中去除所述异常区域，拼接生成第二图像；若所述异常类型为压缩，则在所述第一图像中填充所述异常区域，生成所述第二图像；根据所述异常像素行和所述异常区域边界行分别对所述第二图像和所述第一深度图像裁剪，获得第一裁剪图和第二裁剪图；通过预先训练好的空间变换网络处理所述第一裁剪图和所述第二裁剪图获得变换参数；所述变换参数组成修复特征矩阵；通过所述修复特征矩阵消除所述第一图像的果冻效应。进一步地，所述获得所述修复特征矩阵后，以所述修复特征矩阵作为标签数据，以所述第一图像作为训练数据训练修复特征矩阵获取网络；所述修复特征矩阵获取网络输入为所述第一图像，输出为所述修复特征矩阵。进一步地，所述变换参数组成修复特征矩阵后还包括：将所述修复特征矩阵输入预先训练好的时序预测网络，获得下一帧所述第一图像的所述修复特征矩阵；通过下一帧所述修复特征矩阵信息判断下一帧所述第一图像是否需要进行修复。进一步地，所述以所述无人机悬停状态下的震动方向判断所述异常区域的异常类型包括：以检测出相关性异常像素行数时惯性传感器Z轴数据减去上一行的Z轴数据，获得传感器信息差；若所述传感器信息差大于零时所述异常类型为拉伸；反之则为压缩。进一步地，所述获得第一裁剪图和第二裁剪图后还包括：以所述第二裁剪图尺寸为基准，所述第一裁剪图尺寸小于所述第二裁剪图时进行插值填充；所述第一裁剪图尺寸大于所述第二裁剪图时进行裁剪舍去。本专利技术还提出了一种基于人工智能的航拍场景下果冻效应修复系统，所述系统包括：图像采集模块、相关性分析模块、异常区域获取模块、第二图像生成模块、图像裁剪模块和图像修复模块；所述图像采集模块用于采集无人机悬停状态下的第一图像和第一深度图像；所述相关性分析模块用于对所述第一图像进行边缘检测获得第一边缘图像；对所述第一深度图像边缘检测获得第二边缘图像；对像素点逐行分析所述第一边缘图像和所述第二边缘图像的相关性；当所述第一边缘图出现至少一行相关性异常像素行时采集第二深度图像；所述异常区域获取模块用于根据所述第一深度图像和所述第二深度图像的获得无人机的运动区域；以所述运动区域的高作为扩延距离对所述异常像素行进行扩延，获得异常区域边界行；所述异常像素行到所述异常区域边界行的区域为异常区域；所述第二图像生成模块用于以所述无人机悬停状态下的震动方向判断所述异常区域的异常类型；若所述异常类型为拉伸，则在所述第一图像中去除所述异常区域，拼接生成第二图像；若所述异常类型为压缩，则在所述第一图像中填充所述异常区域，生成所述第二图像；所述图像裁剪模块用于根据所述异常像素行和所述异常区域边界行分别对所述第二图像和所述第一深度图像裁剪，获得第一裁剪图和第二裁剪图；所述图像修复模块用于通过预先训练好的空间变换网络处理所述第一裁剪图和所述第二裁剪图获得变换参数；所述变换参数组成修复特征矩阵；通过所述修复特征矩阵消除所述第一图像的果冻效应。进一步地，所述图像修复模块还包括修复特征矩阵获取模块；所述修复特征矩阵获取模块用于以所述修复特征矩阵作为标签数据，以所述第一图像作为训练数据训练修复特征矩阵获取网络；所述修复特征矩阵获取网络输入为所述第一图像，输出为所述修复特征矩阵。进一步地，所述图像修复模块还包括预测修复模块；所述预测修复模块用于将所述修复特征矩阵输入预先训练好的时序预测网络，获得下一帧所述第一图像的所述修复特征矩阵；通过下一帧所述修复特征矩阵信息判断下一帧所述第一图像是否需要进行修复。进一步地，所述第二图像生成模块还包括异常类型获取模块；所述异常类型获取模块用于以检测出相关性异常像素行数时惯性传感器Z轴数据减去上一行的Z轴数据，获得传感器信息差；若所述传感器信息差大于零时所述异常类型为拉伸；反之则为压缩。进一步地，所述图像裁剪模块还包括图像尺寸调整模块；所述图像尺寸调整模块用于以所述第二裁剪图尺寸为基准，所述第一裁剪图尺寸小于所述第二裁剪图时进行插值填充；所述第一裁剪图尺寸大于所述第二裁剪图时进行裁剪舍去。本专利技术具有如下有益效果：本专利技术实施例将获得的第一图像根据果冻效应异常区域裁剪出多个裁剪图，每个裁剪图中果冻效应程度一致，在后续进行图像修复处理中可以针对不同果冻效应程度的区域进行修复，提高了图像修复的效率和精度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。图1为本专利技术一个实施例所提供的一种基于人工智能的航拍场景下果冻效应修复方法流程图；图2为本专利技术一个实施例所提供的种基于人工智能的航拍场景下果冻效应修复系统框图；具体实施方式为了更进一步阐述本专利技术为达成预定专利技术目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本专利技术提出的一种基于人工智能的航拍场景下果冻效应修复方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。除非本文档来自技高网...

【技术保护点】
1.一种基于人工智能的航拍场景下果冻效应修复方法，其特征在于，所述方法包括：/n采集无人机悬停状态下的第一图像和第一深度图像；/n对所述第一图像进行边缘检测获得第一边缘图像；对所述第一深度图像边缘检测获得第二边缘图像；对像素点逐行分析所述第一边缘图像和所述第二边缘图像的相关性；当所述第一边缘图出现至少一行相关性异常像素行时采集第二深度图像；/n根据所述第一深度图像和所述第二深度图像获得无人机的运动区域；以所述运动区域的高作为扩延距离对所述异常像素行进行扩延，获得异常区域边界行；所述异常像素行到所述异常区域边界行的区域为异常区域；/n以所述无人机悬停状态下的震动方向判断所述异常区域的异常类型；若所述异常类型为拉伸，则在所述第一图像中去除所述异常区域，拼接生成第二图像；若所述异常类型为压缩，则在所述第一图像中填充所述异常区域，生成所述第二图像；/n根据所述异常像素行和所述异常区域边界行分别对所述第二图像和所述第一深度图像裁剪，获得第一裁剪图和第二裁剪图；/n通过预先训练好的空间变换网络处理所述第一裁剪图和所述第二裁剪图获得变换参数；所述变换参数组成修复特征矩阵；通过所述修复特征矩阵消除所述第一图像的果冻效应。/n...

【技术特征摘要】
1.一种基于人工智能的航拍场景下果冻效应修复方法，其特征在于，所述方法包括：
采集无人机悬停状态下的第一图像和第一深度图像；
对所述第一图像进行边缘检测获得第一边缘图像；对所述第一深度图像边缘检测获得第二边缘图像；对像素点逐行分析所述第一边缘图像和所述第二边缘图像的相关性；当所述第一边缘图出现至少一行相关性异常像素行时采集第二深度图像；
根据所述第一深度图像和所述第二深度图像获得无人机的运动区域；以所述运动区域的高作为扩延距离对所述异常像素行进行扩延，获得异常区域边界行；所述异常像素行到所述异常区域边界行的区域为异常区域；
以所述无人机悬停状态下的震动方向判断所述异常区域的异常类型；若所述异常类型为拉伸，则在所述第一图像中去除所述异常区域，拼接生成第二图像；若所述异常类型为压缩，则在所述第一图像中填充所述异常区域，生成所述第二图像；
根据所述异常像素行和所述异常区域边界行分别对所述第二图像和所述第一深度图像裁剪，获得第一裁剪图和第二裁剪图；
通过预先训练好的空间变换网络处理所述第一裁剪图和所述第二裁剪图获得变换参数；所述变换参数组成修复特征矩阵；通过所述修复特征矩阵消除所述第一图像的果冻效应。


2.根据权利要求1所述的一种基于人工智能的航拍场景下果冻效应修复方法，其特征在于，所述获得所述修复特征矩阵后，以所述修复特征矩阵作为标签数据，以所述第一图像作为训练数据训练修复特征矩阵获取网络；所述修复特征矩阵获取网络输入为所述第一图像，输出为所述修复特征矩阵。


3.根据权利要求1所述的一种基于人工智能的航拍场景下果冻效应修复方法，其特征在于，所述变换参数组成修复特征矩阵后还包括：
将所述修复特征矩阵输入预先训练好的时序预测网络，获得下一帧所述第一图像的所述修复特征矩阵；通过下一帧所述修复特征矩阵信息判断下一帧所述第一图像是否需要进行修复。


4.根据权利要求1所述的一种基于人工智能的航拍场景下果冻效应修复方法，其特征在于，所述以所述无人机悬停状态下的震动方向判断所述异常区域的异常类型包括：
以检测出相关性异常像素行数时惯性传感器Z轴数据减去上一行的Z轴数据，获得传感器信息差；若所述传感器信息差大于零时所述异常类型为拉伸；反之则为压缩。


5.根据权利要求1所述的一种基于人工智能的航拍场景下果冻效应修复方法，其特征在于，所述获得第一裁剪图和第二裁剪图后还包括：
以所述第二裁剪图尺寸为基准，所述第一裁剪图尺寸小于所述第二裁剪图时进行插值填充；所述第一裁剪图尺寸大于所述第二裁剪图时进行裁剪舍去。


6.一种基于人工智能的航拍场景下果冻效应修复系统，其特征在于，所述系统包括：图像采集模块、相关性分析模块、异常区域获取模块、第二图像生成模块、图像裁...

【专利技术属性】
技术研发人员：张承诺，钱思宇，
申请(专利权)人：郑州易酷航空科技有限公司，
类型：发明
国别省市：河南;41