一种视频图像拼接方法及装置制造方法及图纸

本发明专利技术实施例公开了一种视频图像拼接方法及装置，方法包括：获取摄像机拍摄相邻两个视频帧时的相对运动关系；根据所述相对运动关系对所述相邻两个视频帧进行特征提取；根据所提取的特征对所述相邻两个视频帧进行特征匹配；根据匹配结果对所述相邻两个视频帧进行拼接与融合，能够使视频图像拼接的效率更高。

【技术实现步骤摘要】
一种视频图像拼接方法及装置
本专利技术涉及图像处理
，具体涉及视频图像处理技术，尤其涉及一种视频 图像拼接方法及装置。
技术介绍
现有技术中，目前常用的视频图像拼接方法主要有基于区域的图像拼接方法和基 于特征的图像拼接方法。基于区域的图像拼接方法又可分为基于空间像素匹配的拼接算法 和基于频域的拼接算法；基于特征的拼接方法主要根据采取采集特征的不同进行区分，t匕 如早期的轮廓特征以及后来出现的SIFT特征、SURF特征、0RB特征等。 基于区域的图像拼接方法中，基于像素匹配的拼接算法，主要通过两幅图像像素 间的灰度关系来确定图像间的变化参数。早期的匹配方法是通过在相邻重叠部分进行平 移，然后比较两幅图像的匹配度，需要测试所有的平移情况。这种方法运算量极大，而且不 能解决旋转和尺度变换问题。还有采用基于金字塔结构的多分辨率匹配进行最优匹配搜 索，可以在一定程度上解决尺度变换问题，但是对于旋转问题解决的不理想。基于频域的拼 接方法，是通过对两幅图像做二维离散傅里叶变换，通过频域内的相关关系反变换得到空 间域的相关关系。 基于特征的图像拼接方法，这种方法不是利用图像的全部信息，而是首先在图像 中提取特征，通过比较两幅图像的特征得到图像间的变化关系。采用轮廓提取的方法，首先 对图像进行卷积增强，检测图像中像素符号变化的点（过零点）作为边界点，提取轮廓后 进行特征描述。米用SIFT (Scale Invariant and Feature Transform)，这种方法首先通过 建立拉普拉斯金字塔来消除尺度变化的影响，然后在尺度空间内进行特征检测，并根据关 键点邻域的梯度方向确定特征点的方向，进而解决尺度及旋转问题。对于基于特征点的图 像拼接算法，对拼接质量及速度影响最大的主要在与特征选取，随后出现的SURF特征、0RB 特征等都在保证一定质量的情况下更加侧重速度的提升。 目前视频图像拼接普遍依赖于无人机遥测数据的解析，例如经纬度、高度、速度、 俯仰、横滚等信息，需要参考这些数据来执行图像匹配操作，而实际飞行中遥测数据可能与 视频不同步，或出现某些无人机遥测数据无法获取的情况，导致传统的视频图像拼接方法 无法实现真正的实时拼接。因此，现有技术在追求拼接精度时很难达到实时的效果，而在追 求实时的情况下对于上述复杂情况考虑不周全，难以兼顾精度和速度。 以无人机领域为例，我国目前无人机应用发展迅速，无论是军用还是民用领域，无 人机的行业应用日益扩展和深入发展，比如军事目标搜寻、石油管道监测、电力巡线、林业 防火预警、农业调查等。在这些行业应用中，无人机作为一种遥感应用的延伸平台，视频数 据采集及视频数据处理是遥感数据分析的基础，而能够得到实时拼接的视频信息将非常有 助于数据实时分析。 虽然技术人员已经从多种不同的方向对视频图像拼接技术进行了不同程度的改 进与优化，但是，目前的视频图像拼接方法仍然普遍存在如下问题： 无人机在飞行过程中由于自身运动导致所拍摄的视频图像可能会出现平移、旋 转、尺度变化等多种运动，所拍摄的视频图像的背景可能是海洋、草地、沙漠等特征非常不 明显的区域，现有方法没有充分考虑无人机获取视频数据过程中这种复杂状况对后续拼接 所造成的影响，而且现有方法大多利用一种特征对无人机获取的视频图像进行拼接，导致 在上述复杂条件下的拼接结果不够理想。
技术实现思路
有鉴于此，本专利技术实施例提供一种视频图像拼接方法及装置，以实现对视频帧进 行实时、准确、高效地拼接。 本专利技术实施例采用以下技术方案： 第一方面，本专利技术实施例提供了一种视频图像拼接方法，包括： 获取摄像机拍摄相邻两个视频巾贞时的相对运动关系； 根据所述相对运动关系对所述相邻两个视频帧进行特征提取； 根据所提取的特征对所述相邻两个视频帧进行特征匹配； 根据匹配结果对所述相邻两个视频帧进行拼接与融合。 第二方面，本专利技术实施例还提供了一种视频图像拼接装置，包括： 运动关系获取单兀，用于获取摄像机拍摄相邻两个视频巾贞时的相对运动关系； 特征提取单元，用于根据所述相对运动关系对所述相邻两个视频帧进行特征提 取； 特征匹配单元，用于根据所提取的特征对所述相邻两个视频帧进行特征匹配； 视频帧拼接单元，用于根据匹配结果对所述相邻两个视频帧进行拼接与融合。 本专利技术实施例提出的技术方案的有益技术效果是： 本专利技术实施例的技术方案通过获取摄像机拍摄相邻两个视频帧时的相对运动关 系，根据所述相对运动关系对所述相邻两个视频帧进行特征提取和特征匹配，根据所述视 频图像特征匹配装置获取的匹配结果对所述相邻两个视频帧进行拼接与融合能达到实时、 准确、高效。 【附图说明】 为了更清楚地说明本专利技术实施例中的技术方案，下面将对本专利技术实施例描述中所 需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施 例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本专利技术实施 例的内容和这些附图获得其他的附图。 图1是本专利技术具体实施例一所述的视频图像拼接方法流程图； 图2是本专利技术具体实施例二所述的视频图像拼接方法流程图； 图3是本专利技术具体实施例三所述的视频图像拼接方法流程图； 图4是本专利技术具体实施例三中采用的FREAK算子的采样结构示意图； 图5是本专利技术具体实施例四所述的视频图像拼接装置的结构框图。 【具体实施方式】 为使本专利技术解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面 将结合附图对本专利技术实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅 是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在 没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。 下面结合附图并通过【具体实施方式】来进一步说明本专利技术的技术方案。 实施例一 图1是本实施例所述的视频图像拼接方法流程图，本实施例可适用于对摄像机拍 摄相邻两个视频帧进行图像拼接的情况，该方法可以由视频图像拼接装置来执行，如图1 所示，本实施例所述的视频图像拼接方法包括： 步骤S101、获取摄像机拍摄相邻两个视频巾贞时的相对运动关系。 本实施例所称的运动关系用于表征所述摄像机在拍摄所述相邻两个视频帧的过 程中是否发生了较大的偏转，简而言之即所述摄像机在拍摄所述相邻两个视频帧的过程中 是否进行了旋转。 获取摄像机拍摄相邻两个视频帧时的相对运动关系的方法包括多种，例如对所述 相邻两个视频帧进行分析获取摄像机拍摄所述相邻两个视频帧时的相对运动关系，又如在 摄像机或摄像机所在的运动载体上安装传感器，根据所述传感器获取摄像机拍摄所述相邻 两个视频巾贞时的相对运动关系。 其中，对所述相邻两个视频帧进行分析获取摄像机拍摄所述相邻两个视频帧时的 相对运动关系，还可进一步包括对所述相邻两个视频帧进行运动估计分析获取摄像机拍摄 所述相邻两个视频帧时的相对运动关系。 作为优选，所述运动估计的具体方法优选光流法，S卩，对所述相邻两个视频帧进行 基于光流算法的运动估计分析，从而获取摄本文档来自技高网...

【技术保护点】
一种视频图像拼接方法，其特征在于，包括：获取摄像机拍摄相邻两个视频帧时的相对运动关系；根据所述相对运动关系对所述相邻两个视频帧进行特征提取；根据所提取的特征对所述相邻两个视频帧进行特征匹配；根据匹配结果对所述相邻两个视频帧进行拼接与融合。

【技术特征摘要】
1. 一种视频图像拼接方法，其特征在于，包括： 获取摄像机拍摄相邻两个视频巾贞时的相对运动关系； 根据所述相对运动关系对所述相邻两个视频帧进行特征提取； 根据所提取的特征对所述相邻两个视频帧进行特征匹配； 根据匹配结果对所述相邻两个视频帧进行拼接与融合。2. 如权利要求1所述的方法，其特征在于，获取摄像机拍摄相邻两个视频帧时的相对 运动关系的操作包括：对所述相邻两个视频帧进行运动估计分析获取摄像机拍摄所述相邻 两个视频巾贞时的相对运动关系。3. 如权利要求2所述的方法，其特征在于，对所述相邻两个视频帧进行运动估计分析 获取摄像机拍摄所述相邻两个视频帧时的相对运动关系的操作包括：对所述相邻两个视频 帧进行基于光流算法的运动估计分析获取摄像机拍摄所述相邻两个视频帧时的相对运动 关系。4. 如权利要求1所述的方法，其特征在于，所述相对运动关系包括旋转关系和平移关 系。5. 如权利要求4所述的方法，其特征在于，根据所述相对运动关系对所述相邻两个视 频帧进行特征提取的操作具体包括： 如果所述相对运动关系为旋转关系，则使用SIFT特征提取算法对所述相邻两个视频 帧进行特征提取；和/或 如果所述相对运动关系为平移关系，则使用FREAK特征提取算法对所述相邻两个视频 帧进行特征提取。6. 如权利要求4所述的方法，其特征在于，根据所述相对运动关系对所述相邻两个视 频帧进行特征提取的操作具体包括： 如果所述相对运动关系为平移关系，则使用FREAK特征提取算法对所述相邻两个视频 帧进行特征提取，如果提取的特征数量小于预设第一阈值，则重新使用SIFT特征提取算法 对所述相邻两个视频帧进行特征提取。7. 如权利要求6所述的方法，其特征在于，所述预设第一阈值基于所述摄像机的分辨 率来确定。8. 如权利要...

【专利技术属性】
技术研发人员：赵恩伟，王诗奎，伍小洁，杨鹤猛，李成龙，张增，王森，张娟，刘金玉，
申请(专利权)人：天津航天中为数据系统科技有限公司，
类型：发明
国别省市：天津;12