前向运动视频的快速高清全景成像方法及装置制造方法及图纸

本发明专利技术提供一种前向运动视频的快速高清全景成像方法及装置，其中，该方法包括以下步骤：对前向运动视频进行图像分割，获得对应的多个场景图像区域；基于运动模糊和全景图分辨率确定最优拼接外框，基于最优拼接外框和高速列车的速度确定最优拼接内框，根据最优拼接外框和最优拼接内框确定不规则矩形条带，并将其进行单应性变换成规则矩形条带；将前向运动视频中的全部帧对应的每个场景图像区域对应的规则矩形条带进行拼接，获得每个场景图像区域对应的全景图，多个场景图像区域对应多个全景图。该方案考虑了运动模糊和全景图分辨率，提高了高速铁路运行环境下全景图的生成质量。

Fast High Definition Panoramic Imaging Method and Device for Forward Motion Video

The invention provides a fast high-definition panoramic imaging method and device for forward motion video, which comprises the following steps: image segmentation of forward motion video to obtain corresponding multi-scene image regions; determination of the optimal stitching outer frame based on motion blur and panoramic resolution; and determination of the optimal stitching inner frame based on the optimal stitching outer frame and the speed of high-speed train; The irregular rectangular strips are determined according to the optimal stitching outer frame and the optimal stitching inner frame, and they are transformed into regular rectangular strips by homoallergy. The regular rectangular strips corresponding to each scene image area corresponding to all frames in the forward motion video are stitched to obtain the panorama corresponding to each scene image area, and multiple scene image areas corresponding to multiple panoramas. The scheme considers motion blurring and panorama resolution, and improves the quality of panorama generation under high-speed railway operation environment.

【技术实现步骤摘要】
前向运动视频的快速高清全景成像方法及装置
本专利技术涉及全景成像
，特别涉及一种前向运动视频的快速高清全景成像方法及装置。
技术介绍
前向运动成像是一种特定运动条件下的视频获取方式，前向运动视频的拼接技术已经被广泛用于大范围运动场景下的目标检测、环境监测以及场景重建。对于高速铁路综合检测列车前向车载摄像机采集的高速铁路前向运动视频，其采集帧率达到了117frames/s，是以往视频采集模式的数倍，由此产生了运动模糊的场景，而前向运动视频采集图像序列中每帧图像的单个像素点运动模糊不尽相同，与其它视频采集模式产生的运动模糊并不一致，现有的多视点全景拼接方法一般不考虑产生的运动模糊，将其应用于产生了运动模糊的场景的高速铁路前向运动视频的全景拼接，会导致全景图的生成质量较低，因此其并不适用于产生了运动模糊的场景的高速铁路前向运动视频的全景拼接。
技术实现思路
本专利技术实施例提供了一种前向运动视频的快速高清全景成像方法及装置，考虑了运动模糊和全景图分辨率，提高了高速铁路运行环境下全景图的生成质量。本专利技术实施例提供了一种前向运动视频的快速高清全景成像方法，该方法包括：按照不同的铁路场景对高速铁路前向运动视频中的每一帧进行图像分割，获得每一帧对应的多个铁路场景图像区域；基于运动模糊因素和全景图分辨率因素，确定每个铁路场景图像区域对应的最优拼接外框；基于最优拼接外框和高速列车的速度，确定每个铁路场景图像区域对应的最优拼接内框；根据所述每个铁路场景图像区域对应的最优拼接外框和每个铁路场景图像区域对应的最优拼接内框，确定每个铁路场景图像区域对应的不规则矩形条带；将所述每个铁路场景图像区域对应的不规则矩形条带进行单应性变换，获得每个铁路场景图像区域对应的规则矩形条带；将高速铁路前向运动视频中的全部帧对应的每个场景图像区域对应的规则矩形条带进行拼接，获得每个场景图像区域对应的全景图，多个场景图像区域对应多个全景图。本专利技术实施例还提供了一种前向运动视频的快速高清全景成像装置，该装置包括：分割模块，用于按照不同的铁路场景对高速铁路前向运动视频中的每一帧进行图像分割，获得每一帧对应的多个铁路场景图像区域；最优拼接外框确定模块，用于基于运动模糊因素和全景图分辨率因素，确定每个铁路场景图像区域对应的最优拼接外框最优拼接内框确定模块，用于基于最优拼接外框和高速列车的速度，确定每个铁路场景图像区域对应的最优拼接内框；不规则矩形条带确定模块，用于根据所述每个铁路场景图像区域对应的最优拼接外框和每个铁路场景图像区域对应的最优拼接内框，确定每个铁路场景图像区域对应的不规则矩形条带；单应性变换模块，用于将所述每个铁路场景图像区域对应的不规则矩形条带进行单应性变换，获得每个铁路场景图像区域对应的规则矩形条带；拼接模块，用于将高速铁路前向运动视频中的全部帧对应的每个场景图像区域对应的规则矩形条带进行拼接，获得每个场景图像区域对应的全景图，多个场景图像区域对应多个全景图。本专利技术实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述前向运动视频的快速高清全景成像方法。本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述前向运动视频的快速高清全景成像方法的计算机程序。在本专利技术实施例中，首先对高速铁路前向运动视频进行场景划分，获得多个场景图像区域，然后基于运动模糊因素和全景图分辨率因素确定最优拼接外框，基于最优拼接外框和高速列车的速度确定最优拼接内框，再然后根据最优拼接外框和最优拼接内框确定不规则矩形条带，将不规则矩形条带进行单应性变换成规则矩形条带，最后将规则矩形条带进行拼接获得全景图。与现有的全景图拼接算法相比，本专利技术考虑了运动模糊和全景图分辨率，提高了高速铁路运行环境下全景图的生成质量。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种前向运动视频的快速高清全景成像方法流程图；图2(a)是本专利技术实施例提供的一种基于直线段检测确定场景消失点中的第一步：在视频中随机选取的一帧示意图；图2(b)是本专利技术实施例提供的一种基于直线段检测确定场景消失点中的第二步：直线段检测结果示意图；图2(c)是本专利技术实施例提供的一种基于直线段检测确定场景消失点中的第三步：消失点检测结果示意图；图3是本专利技术实施例提供的一种前向运动视频区域划分示意图：“天空”、“左侧”、“地面”、“右侧”区域；图4是本专利技术实施例提供的一种不均匀条带拼接示意图；图5是本专利技术实施例提供的一种不均匀矩形全景成像模型(左、右、上、下4面绘制)示意图；图6是本专利技术实施例提供的一种左侧条带生成左侧全景图示意图；图7是本专利技术实施例提供的一种空间采样区域Rk与不规则矩形条带Sk示意图；图8是本专利技术实施例提供的一种过采样、欠采样和完全采样示意图；图9(a)是本专利技术实施例提供的一种铁路场景中的矩形拼接区域：封闭的铁路环境示意图；图9(b)是本专利技术实施例提供的一种铁路场景中的矩形拼接区域：宽阔的道岔环境示意图；图10是本专利技术实施例提供的一种检测区域的几何结构示意图；图11是本专利技术实施例提供的一种拼接外框和拼接内框示意图；图12是本专利技术实施例提供的一种拼接区域构造示意图；图13是本专利技术实施例提供的一种图像平面中相邻两帧左侧拼接线在物理空间和场景主平面示意图；图14是本专利技术实施例提供的一种相邻3帧像素位移示意图；图15(a)是本专利技术实施例提供的一种拼接像素数变化曲线示意图；图15(b)是本专利技术实施例提供的一种左拼接线单点清晰度变化曲线示意图；图15(c)是本专利技术实施例提供的一种左拼接线清晰度变化曲线示意图；图16(a)是本专利技术实施例提供的一种高速铁路弯道的前向运动视频中的一帧示意图；图16(b)是本专利技术实施例提供的一种铁路弯道的前向运动视频中的一帧示意图；图16(c)本专利技术实施例提供的一种高速铁路直道的前向运动视频中的一帧示意图；图17(a)是本专利技术实施例提供的一种从高速铁路弯道生成的左侧全景图示意图；图17(b)本专利技术实施例提供的一种高速铁路弯道生成的右侧全景图示意图；图17(c)本专利技术实施例提供的一种高速铁路弯道生成的底部全景图示意图；图17(d)本专利技术实施例提供的一种高速铁路弯道生成的上部全景图示意图；图18(a)是本专利技术实施例提供的一种从弯道场景中生成的左侧全景图示意图；图18(b)是本专利技术实施例提供的一种弯道场景中生成的右侧全景图示意图；图18(c)是本专利技术实施例提供的一种弯道场景中生成的底部全景图示意图；图18(d)是本专利技术实施例提供的一种弯道场景中生成的上部全景图示意图；图19(a)是本专利技术实施例提供的一种从高速铁路直道生成的底部全景图示意图；图19(b)是本专利技术实施例提供的一种从高速铁路直道生成的右侧全景图示意图；图19(c)是本专利技术实施例提供的一种从高速铁路直道生成的左侧全景图示意图；图19(d)是本专利技术实施例提供的一种从高速铁路直道生成的上面本文档来自技高网...

【技术保护点】
1.一种前向运动视频的快速高清全景成像方法，其特征在于，包括：按照不同的铁路场景对高速铁路前向运动视频中的每一帧进行图像分割，获得每一帧对应的多个铁路场景图像区域；基于运动模糊因素和全景图分辨率因素，确定每个铁路场景图像区域对应的最优拼接外框；基于最优拼接外框和高速列车的速度，确定每个铁路场景图像区域对应的最优拼接内框；根据所述每个铁路场景图像区域对应的最优拼接外框和每个铁路场景图像区域对应的最优拼接内框，确定每个铁路场景图像区域对应的不规则矩形条带；将所述每个铁路场景图像区域对应的不规则矩形条带进行单应性变换，获得每个铁路场景图像区域对应的规则矩形条带；将高速铁路前向运动视频中的全部帧对应的每个场景图像区域对应的规则矩形条带进行拼接，获得每个场景图像区域对应的全景图，多个场景图像区域对应多个全景图。

【技术特征摘要】
1.一种前向运动视频的快速高清全景成像方法，其特征在于，包括：按照不同的铁路场景对高速铁路前向运动视频中的每一帧进行图像分割，获得每一帧对应的多个铁路场景图像区域；基于运动模糊因素和全景图分辨率因素，确定每个铁路场景图像区域对应的最优拼接外框；基于最优拼接外框和高速列车的速度，确定每个铁路场景图像区域对应的最优拼接内框；根据所述每个铁路场景图像区域对应的最优拼接外框和每个铁路场景图像区域对应的最优拼接内框，确定每个铁路场景图像区域对应的不规则矩形条带；将所述每个铁路场景图像区域对应的不规则矩形条带进行单应性变换，获得每个铁路场景图像区域对应的规则矩形条带；将高速铁路前向运动视频中的全部帧对应的每个场景图像区域对应的规则矩形条带进行拼接，获得每个场景图像区域对应的全景图，多个场景图像区域对应多个全景图。2.如权利要求1所述的前向运动视频的快速高清全景成像方法，其特征在于，所述不同的铁路场景包括钢轨和电杆；按照不同的铁路场景对高速铁路前向运动视频中的每一帧进行图像分割，包括：利用直线段检测算法提取所述钢轨对应的线段、所述电杆对应的线段和图像边缘线段；根据所述钢轨对应的线段、所述电杆对应的线段和图像边缘线段确定场景消失点；根据所述场景消失点和电杆将每一帧分割成垂直方向的左侧图像区域和右侧图像区域、水平方向的天空图像区域和地面图像区域。3.如权利要求2所述的前向运动视频的快速高清全景成像方法，其特征在于，基于运动模糊因素和全景图分辨率因素，按照如下方式确定每个铁路场景图像区域对应的最优拼接外框：从消失点出发引出的四条射线所在直线方程表示为：其中，kA，kB，kC和kD为四条射线所在直线斜率，bA，bB，bC和bD为四条射线所在直线截距；xv、yv表示消失点的坐标点；xl满足两个条件：其中，xl表示左侧图像区域的拼接外框的横坐标；表示左侧图像区域的拼接外框线；yu、yd表示左侧图像区域的拼接外框线上两个坐标点的纵坐标；W表示高速铁路前向运动视频图像的宽度；Dl(·)表示左侧图像区域对应的拼接外框线的清晰度；xl→0表示对空间采样后生成的全景图保留最大分辨率；全景图分辨率为m×n，xr表示右侧图像区域的拼接外框的横坐标；四条拼接外框满足如下数学模型：其中，Du、Dd、Dl、Dr分别表示水平方向的天空图像区域、地面图像区域、左侧图像区域和右侧图像区域对应的拼接外框线的清晰度，(xj,yu)表示天空图像区域的第k帧图像fk中的像素；(xj,yd)表示地面图像区域的第k帧图像fk中的像素；、(xl,yi)表示左侧图像区域的第k帧图像fk中的像素；(xr,yi)表示右侧图像区域的第k帧图像fk中的像素；Δlk-1,j表示从帧fk-1到帧fk的位移，Δlk,j表示从帧fk到帧fk+1的位移，σ为常数。4.如权利要求3所述的前向运动视频的快速高清全景成像方法，其特征在于，基于最优拼接外框和高速列车的速度，按照如下公式确定每个铁路场景图像区域对应的最优拼接内框：其中，x′l表示左侧图像区域对应的拼接内框的横坐标；y′u表示左侧图像区域对应的拼接内框的纵坐标；yu表示左侧图像区域对应的拼接外框的纵坐标；vl表示左侧图像区域对应的不规则矩形条带的宽度，V表示列车速度；f表示摄像机焦距；G表示摄像机光轴与场景主平面距离；R表示摄像机采集帧率。5.一种前向运动视频的快速高清全景成像装置，其特征在于，包括：分割模块，用于按照不同的铁路场景对高速铁路前向运动视频中的每一帧进行图像分割，获得每一帧对应的多个铁路场景图像区域；最优拼接外框确定模块，用于基...

【专利技术属性】
技术研发人员：蒋欣兰，
申请(专利权)人：中国社会科学院大学，
类型：发明
国别省市：北京,11