本发明专利技术公开了一种基于目标位置信息的鬼影消除方法，先采用目标检测方法得到运动物体的位置信息，再采用改进了的Criminisi算法对剔除了动态目标后的图像自动完成修补。最后，进行图像拼接，并且将提取到的目标以三维实体的形式增强显示到对应的位置。本发明专利技术解决了现有无人机在对不同时刻拍摄的场景图像进行拼接处理时，因含有动态物体产生的鬼影现象问题，为后续快速精确地获取目标区域图像并全面直观地展现目标区域大范围实态场景打下基础。
【技术实现步骤摘要】
一种基于位置信息的鬼影消除方法
本专利技术涉及一种基于位置信息的鬼影消除方法。
技术介绍
在现有的绝大多数无人机感知系统中，图像传感器都是不可或缺的重要环境信息来源。图像信息不仅蕴含丰富的目标信息，而且具有便于直观解释的特点，是地面站操作员理解和适应环境的重要依据。但是，无人机在对不同时刻拍摄的场景图像进行拼接处理时，当运动物体处于相邻图像的重合部分时，由于物体运动带来的错位，会导致最终拼接图中会有运动物体的“鬼影”现象产生，影响最终拼接效果，如图1所示。目前在视频拼接过程中，当场景中有动态物体时，采用前后背景分离，先将背景拼接起来，然后再将前景插入，该方法不适合背景较为复杂的情况。也有人采用渐入渐出融合算法，提高了拼接效率，但没有解决含有动态物体产生的鬼影现象。
技术实现思路
有鉴于此，本专利技术的第一方面的目的是提供一种基于位置信息的鬼影消除方法。能够消除“鬼影”现象，避免影响拼接效果。本专利技术的第一方面的目的是通过以下技术方案实现的：本专利技术的一种基于位置信息的鬼影消除方法，包括以下步骤：采用YOLO目标检测算法对移动目标进行检测-提取，得到图像中运动目标的位置信息；采用图像修复算法对目标位置区域图像修复；采用SIFT算法进行图像拼接，并且将提取到的目标以三维实体的形式增强显示到对应的位置。特别地，所述YOLO目标检测算法是将一幅图像分为S×S个格子，根据目标的中心落在某一格子上的位置，就由该格子负责检测这个目标；每个格子会预测B个框，每个框都包含位置信息和目标的置信度；输入是一张图像，输出是一个S×S×[B×5+C]的tensor。特别地，所述图像修复算法采用改进的Criminisi图像修复算法，修复步骤包括：步骤S21:根据特征检测得到需要修复的图像区域，初始化修复边界；步骤S22：根据块结构稀疏度的大小选择样本块ψp的大小，计算样本块的优先权值，选择优先权值最大的样本块作为当前待修复块；步骤S23：根据新的匹配准则，在矩形区域内搜索最优匹配块；步骤S24：把最优匹配块复制到当前待修复块，并且更新置信度信息；步骤S25：判断修复是否完成，如果未完成则回到步骤S22，如果完成则结束修复。特别地，改进的Criminisi图像修复算法的算法选择基于块结构稀疏度的数据项S(p)，并重新定义优先权P(p)如下：P(p)＝αCs(p)×βD(p)，α+β＝1；其中，Cs(p)和D(p)分别代表置信项与块结构稀疏度数据项的系数权重；其中，N(p)表示以点P为中心的一个邻域块，其要比样本块ψp大，|N(p)|表示该领域中元素的数量；|Ns(p)|表示Ns(p)中的元素个数，ω表示样本块ψp与ψk的相似度，d(ψp，ψk)表示两样本块的均方距离，a是归一化常数。特别地，所述样本块的尺寸根据图像稀疏度有以下几种形式：其中，Pmax与Pmin分别为块结构稀疏度值的最大值和最小值。特别地，利用图像低层次的特征与SSD准则结合起来的方法来寻找最优匹配块，新的匹配准则定义如下所示：d(SSD，BC)(Ψpi，Ψpj)＝dSSD(Ψpi，Ψpj)·(dBC(Ψpi，Ψpj)+1)；其中，d(SSD，BC)(Ψpi，Ψpj)表示样本块Ψpi与Ψpj之间的SSD，dBC(Ψpi，Ψpj)表示样本块Ψpi与Ψpj之间的的巴氏距离，应用改进后的Criminisi图像修复算法，即使两个样本块具有相同的概率分布，仍然可以使用SSD准则来搜索最优匹配块；最优匹配块的寻找将依照SSD准则与图像直方图信息来进行。特别地，图像拼接算法采用SIFT算法进行特征提取、特征匹配，然后利用RANSAC鲁棒估计的方法去除无匹配点和估计图像之间的变换模型。本专利技术的第二方面的目的是提供一种计算机装置，包括存储器、处理器及储存在存储器上并能够在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前所述的方法。本专利技术的第三方面的的目的是提供一种计算机可读存储介质，其上储存有计算机程序，所述计算机程序被处理器执行时实现如前所述的方法。本专利技术的有益效果是：本专利技术解决了现有无人机在对不同时刻拍摄的场景图像进行拼接处理时，因含有动态物体产生的鬼影现象问题，为后续快速精确地获取目标区域图像并全面直观地展现目标区域大范围实态场景打下基础。本专利技术的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本专利技术的实践中得到教导。本专利技术的目标和其他优点可以通过下面的说明书和前述的权利要求书来实现和获得。附图说明为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步的详细描述，其中：图1为基于目标位置信息的鬼影消除算法流程图；图2改进的Criminisi图像修复算法流程图；图3为图像拼接流程图；图4为基于目标位置信息的鬼影消除算法实验结果示例照片。具体实施方式以下将参照附图，对本专利技术的优选实施例进行详细的描述。应当理解，优选实施例仅为了说明本专利技术，而不是为了限制本专利技术的保护范围。本专利技术的一种基于位置信息的鬼影消除方法，包括以下步骤：(一)针对采集的无人机航拍影像序列，采用YOLO目标检测算法对移动目标进行检测-提取，得到图像中运动目标的位置信息；本实施例中，采用的YOLO目标检测算法是将一幅图像分为S×S个格子，根据目标的中心落在某一格子上的位置，就由该格子负责检测这个目标；每个格子会预测B个框，每个框都包含位置信息和目标的置信度；输入是一张图像，输出是一个S×S×[B×5+C]的tensor。(二)采用图像修复算法对目标位置区域图像修复；本实施例中，图像修复算法采用改进的Criminisi图像修复算法，修复步骤包括：步骤S21:根据特征检测得到需要修复的图像区域，初始化修复边界；改进的Criminisi图像修复算法的算法选择基于块结构稀疏度的数据项S(p)，并重新定义优先权P(p)如下：P(p)＝αCs(p)×βD(p)，α+β＝1；其中，Cs(p)和D(p)分别代表置信项与块结构稀疏度数据项的系数权重；其中，N(p)表示以点P为中心的一个邻域块，其要比样本块ψp大，|N(p)|表示该领域中元素的数量；|Ns(p)|表示Ns(p)中的元素个数，ω表示样本块ψp与ψk的相似度，d(ψp，ψk)表示两样本块的均方距离，a是归一化常数。步骤S22：根据块结构稀疏度的大小选择样本块ψp的大小，计算样本块的优先权值，选择优先权值最大的样本块作为当前待修复块；本实施例中，样本块的尺寸根据图像稀疏度有以下几种形式：其中，Pmax与Pmin分别为块结构稀疏度值的最大值和最小值。步骤S本文档来自技高网...
【技术保护点】
1.一种基于位置信息的鬼影消除方法，其特征在于：所述方法包括以下步骤：/n采用YOLO目标检测算法对移动目标进行检测-提取，得到图像中运动目标的位置信息；/n采用图像修复算法对目标位置区域图像修复；/n采用SIFT算法进行图像拼接，并且将提取到的目标以三维实体的形式增强显示到对应的位置。/n
【技术特征摘要】
1.一种基于位置信息的鬼影消除方法，其特征在于：所述方法包括以下步骤：
采用YOLO目标检测算法对移动目标进行检测-提取，得到图像中运动目标的位置信息；
采用图像修复算法对目标位置区域图像修复；
采用SIFT算法进行图像拼接，并且将提取到的目标以三维实体的形式增强显示到对应的位置。
2.根据权利要求1所述的一种基于位置信息的鬼影消除方法，其特征在于：所述YOLO目标检测算法是将一幅图像分为S×S个格子，根据目标的中心落在某一格子上的位置，就由该格子负责检测这个目标；每个格子会预测B个框，每个框都包含位置信息和目标的置信度；输入是一张图像，输出是一个S×S×[B×5+C]的tensor。
3.根据权利要求1所述的一种基于位置信息的鬼影消除方法，其特征在于：所述图像修复算法采用改进的Criminisi图像修复算法，修复步骤包括：
步骤S21：根据特征检测得到需要修复的图像区域，初始化修复边界；
步骤S22：根据块结构稀疏度的大小选择样本块ψp的大小，计算样本块的优先权值，选择优先权值最大的样本块作为当前待修复块；
步骤S23：根据新的匹配准则，在矩形区域内搜索最优匹配块；
步骤S24：把最优匹配块复制到当前待修复块，并且更新置信度信息；
步骤S25：判断修复是否完成，如果未完成则回到步骤S22，如果完成则结束修复。
4.根据权利要求1所述的一种基于位置信息的鬼影消除方法，其特征在于：改进的Criminisi图像修复算法的算法选择基于块结构稀疏度的数据项S(p)，并重新定义优先权P(p)如下：
P(p)＝αCs(p)×βD(p)，α+β＝1；
其中，Cs(p)和D(p)分别代表置信项与块结构稀疏度数据项的系数权重；
其中，N(p)表示以点P为中心的一个邻域块，其要比样本块ψp大，|N(p)|表示该领域中元素的数量；|Ns(p)|表示Ns(p)中的元素个数，...
【专利技术属性】
技术研发人员：罗显跃，周敬余，禹天润，周思源，潘俊，张亚维，
申请(专利权)人：贵州电网有限责任公司，
类型：发明
国别省市：贵州;52
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。