一种基于视差追踪的视频关键帧提取方法技术

本发明专利技术公开了一种基于视差分析的视频关键帧提取方法：聚焦管道、巷道等地下狭长密闭空间的单目视频三维重构需求，针对传统手动提取视频帧效率低、自动提取精度差的问题，设计一种基于视差追踪的视频关键帧提取方法。该方法采用由粗到精的关键帧提取策略。粗提取阶段以Tenengrad评价函数为基础，对视频帧进行模糊度评价，剔除严重模糊影像，引入自适应的取帧参数，避免提取模糊的冗余视频帧影像，提升粗提取的合理性；精提取阶段采用网格运动统计策略的特征匹配算法，实现实时的大量特征点高精度匹配，通过视差分析获取相机运动信息对视频帧进行分类，剔除静止、旋转等冗余帧，最后得到空间位置合理的适用于管道内壁三维重构需求的关键帧影像集。

【技术实现步骤摘要】
一种基于视差追踪的视频关键帧提取方法
本专利技术涉及空间信息应用
，具体涉及一种基于视差追踪的视频关键帧提取方法。
技术介绍
城市地下管道是城市供水和排污的重要基础设施，关系到城市的可持续发展和人们的日常生活。基于运动恢复结构(StructurefromMotion，SfM)的管道、巷道等狭长密闭空间三维重构能够同时获取三维几何结构和彩色纹理信息，可为及时准确的掌握地下重要基础设施质量、全面厘清其运行状态提供准确的数字模型。视频关键帧优选是决定视频三维重构模型精度和完整性的首要关键技术，是一个兼顾邻接图像拓扑几何关系以及图像质量等多个因素的复杂决策过程，一直是视觉匹配和三维重建研究的重点和难点。现有关于视频关键帧优选的研究可大致分为三类：即影像采集线路规划法、基于先验数据集的模拟与预测法和邻接影像拓扑几何要素分析法。第一类方法最早采用“三步走”策略，即通过获取新影像、测试模型精度、调整相机位置和姿态的策略优化影像采集方案，经典的算法有VIO。随后，在获取少量有效影像的基础上，逐渐增加新的影像来增强测区重建点云的完整性和精度，典型的本文档来自技高网...

【技术保护点】
1.一种基于视差追踪的视频关键帧提取方法，其特征在于，该方法包括：/n1)基于影像模糊度评价的关键帧粗提取；/n2)基于影像视差分析的关键帧精提取；/n其中，所述的基于影像模糊度评价的关键帧粗提取包含以下几个步骤：/n1.1)采用的模糊度评价方式为基于梯度的Tenengrad评价函数：首先，函数采用Sobel算子提取出垂直和水平方向的梯度值，利用式(1)计算出图像在点(x,y)的梯度S(x,y)；/n

【技术特征摘要】
1.一种基于视差追踪的视频关键帧提取方法，其特征在于，该方法包括：
1)基于影像模糊度评价的关键帧粗提取；
2)基于影像视差分析的关键帧精提取；
其中，所述的基于影像模糊度评价的关键帧粗提取包含以下几个步骤：
1.1)采用的模糊度评价方式为基于梯度的Tenengrad评价函数：首先，函数采用Sobel算子提取出垂直和水平方向的梯度值，利用式(1)计算出图像在点(x,y)的梯度S(x,y)；



其中，Gx、Gy表示Sobel算子横向和纵向的卷积核，I(x,y)表示以点(x,y)为中心的3*3像元灰度值矩阵。计算经卷积处理后的影像的平均灰度值，记为Ten，如式(2)。Ten值越大，代表图像越清晰；



通过对全体视频帧进行抽样模糊度评价，计算出整体平均模糊度Vs，Vs的大小反应视频帧的整体清晰度质量，视频帧越清晰，三维模型重建所限制的相邻视频帧最大基线长度越长，所需要的视频帧数量越少。根据Vs的大小确定粗提取的视频帧截取频率fs，fs表示每秒截取的视频帧数量，Vs越大fs越小。以fs作为截取频率对原始视频进行粗提取，更为合理地剔除大部分由视频自身频率过高所造成的重复影像。
1.2)根据视频平均模糊度Vs的大小设定影像模糊度分级阈值Vmin和Vmid(Vmin<Vmid<Vs)，其中模糊度低于Vmin的被视为严重模糊影像，因去模糊处理对其效果不佳而直接删除,Vmin至Vmid的部分后续通过去模糊处理进行优化；
其中，基于影像视差分析的关键帧精提取，其特征在于，包含以下几个步骤：
2.1)点特征提取与匹配：在邻域一致性分析的基础上，通过格网划分，将对点分析改为对区域分析，实现实时的大量特征点高精度匹配；针对特征匹配，采用由粗到精的匹配策略。
粗匹配阶段，采用ORB快速特征点提取算法对每张影像提取大量特征点，然后通过Brute-Force匹配算法进行匹配，获取足够多的点匹配信息服务于后续的邻域一致性分析工作当中，增强匹配精确度；
精匹配基于运动平滑性原理，即真匹配具有一定邻域支持度，通过对视频帧进行规则格网...

【专利技术属性】
技术研发人员：许志华，逯行政，徐二帅，杨峰，
申请(专利权)人：中国矿业大学北京，
类型：发明
国别省市：北京;11