基于航拍图像处理的视频果冻效应检测方法、装置及设备制造方法及图纸

本发明专利技术涉及人工智能技术领域，具体涉及一种基于航拍图像处理的视频果冻效应检测方法、装置及设备。该方法采集城市区域的RGB图像和对应的深度图像；利用初始成像面积阈值获取RGB图像中的第一建筑物区域，同时获取深度图像中的第二建筑物区域，对第一建筑物区域和当前第二建筑物区域进行当前区域匹配；对初始成像面积阈值进行更新得到新成像面积阈值，将由新成像面积阈值得到的第一建筑物区域和待匹配的第二建筑物区域进行下一区域匹配；匹配成功时，检测第一建筑物区域的果冻效应量化值以进行修复。通过对初始成像面积阈值更新得到的新成像面积区域来获取初始成像面积阈值遗漏的建筑物区域，以避免果冻效应检测的遗漏，提高对整体图像的修复质量。高对整体图像的修复质量。高对整体图像的修复质量。

【技术实现步骤摘要】
基于航拍图像处理的视频果冻效应检测方法、装置及设备


[0001]本专利技术涉及人工智能
，具体涉及一种基于航拍图像处理的视频果冻效应检测方法、装置及设备。

技术介绍

[0002]果冻效应的形成是摄影机本身的特性决定的。基于CMOS传感器的相机普遍使用卷帘快门，且通过图像传感器逐行曝光的方式实现的。在曝光开始的时候，图像传感器逐行扫描进行逐行曝光，直至所有像素点都被曝光。如果被拍摄的物体相对于相机高速运动或快速振动时，用卷帘快门进行逐行扫描的速度不够，进而导致拍摄结果可能出现“倾斜”、“摇摆不定”或“部分曝光”等情况。
[0003]目前，为了消除果冻效应带来的影响，利用参考图像对采集的RGB图像进行特征点匹配，进而根据匹配成功的特征点所对应的区域进行图像恢复。
[0004]专利技术人在实践中，发现上述现有技术存在以下缺陷：采集的RGB图像中特征点对应的区域都是特定成像面积大小对应的区域，但是只检测特定成像面积对应的区域，会忽略其他区域的果冻效应的检测以及恢复，进而影响整张图像的果冻效应的恢复，导致图像恢复结果的质量差。

技术实现思路

[0005]为了解决上述技术问题，本专利技术的目的在于提供一种基于航拍图像处理的视频果冻效应检测方法、装置及设备，所采用的技术方案具体如下：第一方面，本专利技术一个实施例提供了一种基于航拍图像处理的视频果冻效应检测方法，该方法包括：对城市区域进行图像采集，获取所述城市区域的RGB图像及对应的深度图像；根据建筑物区域的初始成像面积阈值获取所述RGB图像中的第一建筑物区域；将所述深度图像通过关键点检测网络得到每条边缘直线的端点，对所述端点进行聚类得到所述深度图像中的第二建筑物区域；根据所述第一建筑物区域和当前第二建筑物区域的质心坐标得到的相似度进行当前区域匹配；结合所述初始成像面积阈值对应的深度距离、所述初始成像面积阈值和待匹配的所述第二建筑物区域的平均深度信息得到新成像面积阈值；将由所述新成像面积阈值得到的所述第一建筑物区域和待匹配的所述第二建筑物区域进行所述相似度计算以完成下一区域匹配；在所述区域匹配成功时，根据所述第一建筑物区域和所述第二建筑物区域中直线的密度分布差异指标进行直线匹配以得到多个直线匹配集合；根据所述直线匹配集合中所述直线的长度差值得到所述第一建筑物区域的果冻效应量化值，进而根据所述果冻效应量化值对所述第一建筑物区域进行修复。
[0006]进一步地，所述新成像面积阈值的优化方法，包括：
根据所述当前同区域匹配成功的所述当前第二建筑物区域和待匹配的所述第二建筑物区域的所述质心坐标得到坐标差值，基于所述坐标差值来修正所述新成像面积阈值。
[0007]进一步地，所述根据建筑物区域的初始成像面积阈值获取所述RGB图像中的第一建筑物区域的方法，包括：对所述RGB图像进行连通域分析得到多个建筑物目标区域；将大于或等于所述初始成像面积阈值的所述建筑物目标区域作为所述第一建筑物区域。
[0008]进一步地，所述获取所述RGB图像中的第一建筑物区域的优化方法，包括：对所述第一建筑物区域进行直线提取，当提取的直线数量大于或等于直线数量阈值时，保留所述第一建筑物区域。
[0009]进一步地，所述第一建筑物区域的所述质心坐标的获取方法，包括：获取所述第一建筑物区域的所述连通域的最小外接圆，将所述最小外接圆的圆心坐标作为所述第一建筑物区域的第一质心坐标。
[0010]进一步地，所述第二建筑物区域的所述质心坐标的获取方法，包括：所述聚类后得到多个簇，且每个所述簇为一个所述第二建筑物区域，将每个所述簇的核心坐标作为所述第二建筑物区域的第二质心坐标。
[0011]进一步地，所述初始成像面积阈值的获取方法，包括：设定所述建筑物区域距离相机的所述深度距离，选择所述深度距离下对应的所述第二建筑物区域的最小面积为所述初始成像面积阈值。
[0012]进一步地，所述根据所述第一建筑物区域和所述第二建筑物区域中直线的密度分布差异指标进行直线匹配以得到多个直线匹配集合的方法，包括：选取所述第一建筑物区域内的任意一条直线为第一待匹配直线，计算所述第一待匹配直线与其他直线之间的第一直线距离集合；选取所述第二建筑物区域内的任意一条直线为第二待匹配直线，计算所述第二待匹配直线与其他直线之间的第二直线距离集合；计算所述第一直线距离集合和所述第二直线距离集合之间的距离差值以得到所述密度分布差异指标；当所述密度分布差异指标小于或等于所述差异指标阈值时，确认所述第一待匹配直线和所述第二待匹配直线为同一直线。
[0013]第二方面，本专利技术另一个实施例提供了一种基于航拍图像处理的视频果冻效应检测装置，该装置包括：图像采集单元，用于对城市区域进行图像采集，获取所述城市区域的RGB图像及对应的深度图像；第一区域匹配单元，用于根据建筑物区域的初始成像面积阈值获取所述RGB图像中的第一建筑物区域；将所述深度图像通过关键点检测网络得到每条边缘直线的端点，对所述端点进行聚类得到所述深度图像中的第二建筑物区域；根据所述第一建筑物区域和当前第二建筑物区域的质心坐标得到的相似度进行当前区域匹配；第二区域匹配单元，用于结合所述初始成像面积阈值对应的深度距离、所述初始
成像面积阈值和待匹配的所述第二建筑物区域的平均深度信息得到新成像面积阈值；将由所述新成像面积阈值得到的所述第一建筑物区域和待匹配的所述第二建筑物区域进行所述相似度计算以完成下一区域匹配；图像修复单元，用于在所述区域匹配成功时，根据所述第一建筑物区域和所述第二建筑物区域中直线的密度分布差异指标进行直线匹配以得到多个直线匹配集合；根据所述直线匹配集合中所述直线的长度差值得到所述第一建筑物区域的果冻效应量化值，进而根据所述果冻效应量化值对所述第一建筑物区域进行修复。
[0014]进一步地，一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项方法的步骤。
[0015]本专利技术实施例至少存在以下有益效果：通过对建筑物区域的初始成像面积阈值进行更新以得到新成像面积区域，利用新成像面积阈值获取初始成像面积阈值遗漏的建筑物区域，进而对获取到的建筑物区域进行果冻效应的检测，以避免果冻效应检测的遗漏，进而能够提高对整体图像的修复质量。
附图说明
[0016]为了更清楚地说明本专利技术实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0017]图1为本专利技术一个实施例所提供的一种基于航拍图像处理的视频果冻效应检测方法的步骤流程图；图2为本专利技术另一个实施例所提供的一种基于航拍图像处理的视频果冻效应检测装置的结构框图；图3为本专利技术实施例所提供的关于一种电子设备的示意图。
具体实施方式
[0018]为了更进一步阐述本专利技术为达成预定专利技术目的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于航拍图像处理的视频果冻效应检测方法，其特征在于，该方法包括：对城市区域进行图像采集，获取所述城市区域的RGB图像及对应的深度图像；根据建筑物区域的初始成像面积阈值获取所述RGB图像中的第一建筑物区域；将所述深度图像通过关键点检测网络得到每条边缘直线的端点，对所述端点进行聚类得到所述深度图像中的第二建筑物区域；根据所述第一建筑物区域和当前第二建筑物区域的质心坐标得到的相似度进行当前区域匹配；结合所述初始成像面积阈值对应的深度距离、所述初始成像面积阈值和待匹配的所述第二建筑物区域的平均深度信息得到新成像面积阈值；将由所述新成像面积阈值得到的所述第一建筑物区域和待匹配的所述第二建筑物区域进行所述相似度计算以完成下一区域匹配；在所述区域匹配成功时，根据所述第一建筑物区域和所述第二建筑物区域中直线的密度分布差异指标进行直线匹配以得到多个直线匹配集合；根据所述直线匹配集合中所述直线的长度差值得到所述第一建筑物区域的果冻效应量化值，进而根据所述果冻效应量化值对所述第一建筑物区域进行修复。2.如权利要求1所述的方法，其特征在于，所述新成像面积阈值的优化方法，包括：根据当前同区域匹配成功的所述当前第二建筑物区域和待匹配的所述第二建筑物区域的所述质心坐标得到坐标差值，基于所述坐标差值来修正所述新成像面积阈值。3.如权利要求1所述的方法，其特征在于，所述根据建筑物区域的初始成像面积阈值获取所述RGB图像中的第一建筑物区域的方法，包括：对所述RGB图像进行连通域分析得到多个目标区域；将大于或等于所述初始成像面积阈值的所述目标区域作为所述第一建筑物区域。4.如权利要求1所述的方法，其特征在于，所述获取所述RGB图像中的第一建筑物区域的优化方法，包括：对所述第一建筑物区域进行直线提取，当提取的直线数量大于或等于直线数量阈值时，保留所述第一建筑物区域。5.如权利要求3所述的方法，其特征在于，所述第一建筑物区域的所述质心坐标的获取方法，包括：获取所述第一建筑物区域的所述连通域的最小外接圆，将所述最小外接圆的圆心坐标作为所述第一建筑物区域的第一质心坐标。6.如权利要求1所述的方法，其特征在于，所述第二建筑物区域的所述质心坐标的获取方法，包括：所述聚类后得到多个簇，且每个所述簇为一个所述第二建筑物区域，将每个所述簇的核心坐标作为所述第二建筑物区域的第二质...

【专利技术属性】
技术研发人员：陈筱钰，周瑞丹，
申请(专利权)人：启东市德立神起重运输机械有限公司，
类型：发明
国别省市：