基于多尺度相机阵列的分级视频拼接方法及装置制造方法及图纸

本发明专利技术公开了一种基于多尺度相机阵列的分级视频拼接方法及装置，其中，该方法包括：通过多尺度相机阵列的全局相机和N个级别的局部相机采集场景的全局视频和多个局部视频；其中，N为正整数；利用嵌入式拼接算法将第一级别局部视频嵌入到全局视频中，生成一级全局视频；利用嵌入式拼接算法将第M级别局部视频嵌入到M‑1级全局视频中，生成M级全局视频，其中，M＝2、3、4…N，N为局部相机的级数；完成所有级别局部视频的嵌入处理，得到N级全局视频，输出N级全局视频作为场景的全局视频。该方法在兼顾拼接速度的前提下，有效提高视频拼接质量。

Hierarchical video mosaic method and device based on multi-scale camera array

【技术实现步骤摘要】
基于多尺度相机阵列的分级视频拼接方法及装置
本专利技术涉及视频拼接
，特别涉及一种基于多尺度相机阵列的分级视频拼接方法及装置。
技术介绍
随着计算机视觉技术的不断发展，对高质量图像视频的需求越来越大，催生了单相机扫描、相机阵列等多种亿级像素图像视频的获取技术。传统相机阵列各个相机焦距相同，获取相机画面后，采用一种优化策略将各相机画面逐一拼接起来。但是这种拼接方法不适合并行处理，拼接速度慢，容易产生累计误差。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于多尺度相机阵列的分级视频拼接方法，该方法针对实际应用的多尺度相机阵列往往具有相邻局部相机画面间具有重叠和各局部相机相对位置基本固定的特点，根据各局部相机的相对位置进行排序和分级，逐级进行拼接，最终形成高分辨率的全局视频。本专利技术的另一个目的在于提出一种基于多尺度相机阵列的分级视频拼接装置。为达到上述目的，本专利技术一方面实施例提出了一种基于多尺度相机阵列的分级视频拼接方法，包括：S1，通过多尺度相机阵列的全局相机和N个级别的局部相机采集场景的全局视频和多个局部视频；其中，N为正整数；S2，利用嵌入式拼接算法将第一级别局部视频嵌入到所述全局视频中，生成一级全局视频；S3，利用嵌入式拼接算法将第M级别局部视频嵌入到M-1级全局视频中，生成M级全局视频，其中，M＝2、3、4…N，N为局部相机的级数；S4，通过所述S3完成所有级别局部视频的嵌入处理，得到N级全局视频，输出所述N级全局视频作为所述场景的全局视频。本专利技术实施例的基于多尺度相机阵列的分级视频拼接方法，针对实际多尺度相机阵列各个局部相机视场之间存在一定重叠的情况，通过分级进行拼接的方式，将相邻局部相机画面间的高分辨率特征进行匹配，并融合进原有的匹配结果，从而在兼顾拼接速度的前提下，有效提高视频拼接质量。另外，根据本专利技术上述实施例的基于多尺度相机阵列的分级视频拼接方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，在所述S1之前包括：根据所述多尺度相机阵列中的多个局部相机的相对位置进行排序和分级，将多个局部相机为分N级，每一级别的局部相机均为前一级别局部相机的相邻相机。进一步地，在本专利技术的一个实施例中，所述S2进一步包括：S21，通过模板匹配在所述全局相机采集的全局视频中找出与所述第一级别局部视频对应的低分辨率视频块；S22，利用SURF算法将所述第一级别局部视频与对应的低分辨率视频块进行跨分辨率关键点匹配；S23，采用立体匹配SM算法将所述第一级别局部视频与对应的低分辨率视频块进行块匹配，补充平滑区域关键点；S24，将跨分辨率关键点匹配结果和块匹配结果进行融合，利用非均匀扭转算法将各第一级别局部视频进行扭转，嵌入到所述全局相机采集的全局视频中，生成一级全局视频。进一步地，在本专利技术的一个实施例中，所述S3进一步包括：S31，通过模板匹配在所述全局相机采集的全局视频中找出与第M级别局部视频对应的低分辨率视频块，同时在M-1级全局视频中取出相同位置的视频块BM-1；S32，利用SURF算法将所述第M级别局部视频与对应的低分辨率视频块进行跨分辨率关键点匹配；S33，采用立体匹配SM算法将所述第M级别局部视频与对应的低分辨率视频块进行块匹配，补充平滑区域关键点；S34，利用SURF算法将所述第M级别局部视频与所述视频块BM-1在边缘区域进行高分辨率下的关键点匹配；S35，将跨分辨率关键点匹配结果、块匹配结果及高分辨率下的关键点匹配结果融合，利用非均匀扭转算法将各第M级别局部视频进行扭转，嵌入到M-1级全局视频中，生成M级全局视频。进一步地，在本专利技术的一个实施例中，每个级别的局部相机中至少包括一台局部相机。为达到上述目的，本专利技术另一方面实施例提出了一种基于多尺度相机阵列的分级视频拼接装置，包括：采集模块，用于通过多尺度相机阵列的全局相机和N个级别的局部相机采集场景的全局视频和多个局部视频；其中，N为正整数；第一拼接模块，用于利用利用嵌入式拼接算法将第一级别局部视频嵌入到所述全局视频中，生成一级全局视频；第二拼接模块，用于利用嵌入式拼接算法将第M级别局部视频嵌入到M-1级全局视频中，生成M级全局视频，其中，M＝2、3、4…N，N为局部相机的级数；输出模块，用于完成所有级别局部视频的嵌入处理后，得到N级全局视频，输出所述N级全局视频作为所述场景的全局视频。本专利技术实施例的基于多尺度相机阵列的分级视频拼接装置，通过分级拼接的方式，将相邻局部相机画面间的高分辨率关键点的匹配与低分辨率关键点的匹配相融合，从而在兼顾拼接速度的前提下，有效提高视频拼接质量。另外，根据本专利技术上述实施例的基于多尺度相机阵列的分级视频拼接装置还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，还包括：分级模块；所述分级模块，用于根据所述多尺度相机阵列中的多个局部相机的相对位置进行排序和分级，将多个局部相机为分N级，每一级别的局部相机均为前一级别局部相机的相邻相机。进一步地，在本专利技术的一个实施例中，所述第一拼接模块，具体用于，通过模板匹配在所述全局相机采集的全局视频中找出与所述第一级别局部视频对应的低分辨率视频块；利用SURF算法将所述第一级别局部视频与对应的低分辨率视频块进行跨分辨率关键点匹配；采用立体匹配SM算法将所述第一级别局部视频与对应的低分辨率视频块进行块匹配，补充平滑区域关键点；将跨分辨率关键点匹配结果和块匹配结果进行融合，利用非均匀扭转算法将各第一级别局部视频进行扭转，嵌入到所述全局相机采集的全局视频中，生成一级全局视频。进一步地，在本专利技术的一个实施例中，所述第二拼接视频具体用于，通过模板匹配在所述全局相机采集的全局视频中找出与第M级别局部视频对应的低分辨率视频块，同时在M-1级全局视频中取出相同位置的视频块BM-1；利用SURF算法将所述第M级别局部视频与对应的低分辨率视频块进行跨分辨率关键点匹配；采用立体匹配SM算法将所述第M级别局部视频与对应的低分辨率视频块进行块匹配，补充平滑区域关键点；利用SURF算法将所述第M级别局部视频与所述视频块BM-1在边缘区域进行高分辨率下的关键点匹配；将跨分辨率关键点匹配结果、块匹配结果及高分辨率下的关键点匹配结果融合，利用非均匀扭转算法将各第M级别局部视频进行扭转，嵌入到M-1级全局视频中，生成M级全局视频。进一步地，在本专利技术的一个实施例中，每个级别的局部相机中至少包括一台局部相机。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理本文档来自技高网...

【技术保护点】
1.一种基于多尺度相机阵列的分级视频拼接方法，其特征在于，包括以下步骤：/nS1，通过多尺度相机阵列的全局相机和N个级别的局部相机采集场景的全局视频和多个局部视频；其中，N为正整数；/nS2，利用嵌入式拼接算法将第一级别局部视频嵌入到所述全局视频中，生成一级全局视频；/nS3，利用嵌入式拼接算法将第M级别局部视频嵌入到M-1级全局视频中，生成M级全局视频，其中，M＝2、3、4…N，N为局部相机的级数；/nS4，通过所述S3完成所有级别局部视频的嵌入处理，得到N级全局视频，输出所述N级全局视频作为所述场景的全局视频。/n

【技术特征摘要】
1.一种基于多尺度相机阵列的分级视频拼接方法，其特征在于，包括以下步骤：
S1，通过多尺度相机阵列的全局相机和N个级别的局部相机采集场景的全局视频和多个局部视频；其中，N为正整数；
S2，利用嵌入式拼接算法将第一级别局部视频嵌入到所述全局视频中，生成一级全局视频；
S3，利用嵌入式拼接算法将第M级别局部视频嵌入到M-1级全局视频中，生成M级全局视频，其中，M＝2、3、4…N，N为局部相机的级数；
S4，通过所述S3完成所有级别局部视频的嵌入处理，得到N级全局视频，输出所述N级全局视频作为所述场景的全局视频。


2.根据权利要求1所述的基于多尺度相机阵列的分级视频拼接方法，其特征在于，在所述S1之前包括：根据所述多尺度相机阵列中的多个局部相机的相对位置进行排序和分级，将多个局部相机为分N级，每一级别的局部相机均为前一级别局部相机的相邻相机。


3.根据权利要求1所述的基于多尺度相机阵列的分级视频拼接方法，其特征在于，所述S2进一步包括：
S21，通过模板匹配在所述全局相机采集的全局视频中找出与所述第一级别局部视频对应的低分辨率视频块；
S22，利用SURF算法将所述第一级别局部视频与对应的低分辨率视频块进行跨分辨率关键点匹配；
S23，采用立体匹配SM算法将所述第一级别局部视频与对应的低分辨率视频块进行块匹配，补充平滑区域关键点；
S24，将跨分辨率关键点匹配结果和块匹配结果进行融合，利用非均匀扭转算法将各第一级别局部视频进行扭转，嵌入到所述全局相机采集的全局视频中，生成一级全局视频。


4.根据权利要求1所述的基于多尺度相机阵列的分级视频拼接方法，其特征在于，所述S3进一步包括：
S31，通过模板匹配在所述全局相机采集的全局视频中找出与第M级别局部视频对应的低分辨率视频块，同时在M-1级全局视频中取出相同位置的视频块BM-1；
S32，利用SURF算法将所述第M级别局部视频与对应的低分辨率视频块进行跨分辨率关键点匹配；
S33，采用立体匹配SM算法将所述第M级别局部视频与对应的低分辨率视频块进行块匹配，补充平滑区域关键点；
S34，利用SURF算法将所述第M级别局部视频与所述视频块BM-1在边缘区域进行高分辨率下的关键点匹配；
S35，将跨分辨率关键点匹配结果、块匹配结果及高分辨率下的关键点匹配结果融合，利用非均匀扭转算法将各第M级别局部视频进行扭转，嵌入到M-1级全局视频中，生成M级全局视频。


5.根据权利要求1-4所述的基于多尺度相机阵列的分级视频拼接方法，其特征在于，每个级别的局部相机中至少包括一台局部相机。
...

【专利技术属性】
技术研发人员：戴琼海，袁文帅，裴承全，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11