【技术实现步骤摘要】
一种重建360度全景视频图像的系统和方法
本专利技术属于数字视频图像重建全景
，具体涉及一种重建360度全景视频图像的方法。
技术介绍
全景视频在安全监控、战场侦察、环境监测、机器人视觉以及新兴的虚拟现实等应用领域发挥着重要作用。然而，由于现代技术发展对于海量数字信息采集、处理和传输中的种种限制，安防中的视频监控死角难题至今无法彻底解决；另一方面，对采集的图像进行拼接，耗时较长，因此无法真正实现实时监控。
技术实现思路
本专利技术的目的是提供一种重建360度全景视频图像的方法，解决了现有技术中存在的安全监控所提供的场景图像视场角度不全面的问题。本专利技术利用高性能视频处理器NXPUS32V234将来自安装于目标全景的4个摄像头拍摄的视频图像流，采用图像拼接融合方法和流水线技术，形成3维360度全景视频图像，以满足实际工程应用高效的实时性；另一目的是利用上述方法及装置，扩大目标操控人员的观察视野，提升操控人员的安全感或沉浸感。本专利技术的有益效果是：1.本专利技术可同时捕获多路视频图像信号，为支持程序执行和数据传输的并行处理以及快速数据传输速率的实现提供了保障，具有高性价比、高可靠性、高一致性、高便捷性的特点；2.本专利技术检测精度误差仅为±1个像素，并且不受光照、噪声等外界干扰影响，适应性强；3.本专利技术在保证输出分辨率的前提下，可以[25,50]fps范围的帧率实时、有效地展示周围全景。附图说明图1是本专利技术方法鱼眼摄像机...
【技术保护点】
1.一种重建360度全景视频图像的系统，其特征在于，包括视频图像处理器(1)；视频图像处理器(1)连接有视频图像输入通道模块(2)，视频图像输入通道模块(2)对视频图像处理器(1)单向传输，视频图像输入通道模块(2)还连接有视频摄像头模块(7)，视频摄像头模块(7)对视频图像输入通道模块(2)单向传输；视频图像处理器(1)单向连接有视频图像输出驱动模块(3)，视频图像输出驱动模块(3)单向连接有液晶显示器模块(8)；视频图像处理器(1)双向连接有存储模块(4)和控制调试传输通道模块(5)；电源模块(6)连接有视频图像处理器(1)、视频图像输入通道模块(2)、视频图像输出驱动模块(3)、存储模块(4)、视频摄像头模块(7)以及液晶显示器模块(8)。/n
【技术特征摘要】
1.一种重建360度全景视频图像的系统，其特征在于，包括视频图像处理器(1)；视频图像处理器(1)连接有视频图像输入通道模块(2)，视频图像输入通道模块(2)对视频图像处理器(1)单向传输，视频图像输入通道模块(2)还连接有视频摄像头模块(7)，视频摄像头模块(7)对视频图像输入通道模块(2)单向传输；视频图像处理器(1)单向连接有视频图像输出驱动模块(3)，视频图像输出驱动模块(3)单向连接有液晶显示器模块(8)；视频图像处理器(1)双向连接有存储模块(4)和控制调试传输通道模块(5)；电源模块(6)连接有视频图像处理器(1)、视频图像输入通道模块(2)、视频图像输出驱动模块(3)、存储模块(4)、视频摄像头模块(7)以及液晶显示器模块(8)。
2.一种重建360度全景视频图像的方法，其特征在于，基于一种重建360度全景视频图像的系统进行实施，其特征在于包括以下三个阶段：
阶段一：线下标定单鱼眼摄像机的内、外参数和畸变系数；
阶段二：在统一世界坐标系下线下标定4个鱼眼摄像机的外参数；
阶段三：通过重建360度全景视频图像的系统实现在线拼接融合。
3.根据权利要求2所述的一种重建360度全景视频图像的方法，其特征在于，阶段一的具体步骤为：
步骤1：在目标全景中，布设4个鱼眼摄像头，其编号分别为1，2，3，4；根据本型号鱼眼摄像头的最佳视场性能特点，每个鱼眼摄像头的高度在[1，3]米范围，鱼眼摄像头彼此的间距[0.2,3]米、夹角为90度，以形成360度的视场范围；
步骤2：选择黑白相间棋盘格板作为标定平面，即世界坐标系的ZW＝0，以标定板左上角点为原点，棋盘格板放置在标定平面的法线与鱼眼摄像头主光轴夹角在0°～±60°之间、与鱼眼摄像头间距在[100,500]cm之间；在此范围内，选择不同距离、不同角度，用鱼眼摄像头重复拍摄大小为2048×1536数字图像共25幅，共4×25＝100幅图像；每幅数字图像中包含的内角点数为11×12＝132个，基于棋盘标定面的坐标系约定，按行优先，自左向右依次编排角点序号：1,2,3,……132；
步骤3：对步骤2中每个鱼眼摄像头所拍摄的棋盘格数字图像Fj,j＝1,2,3……25进行内角点检测，作为鱼眼摄像机标定的特征点，并将其坐标值保存至指定的数据结构中；
其具体流程如下：
Step3.1.鱼眼摄像头标号i＝1,j＝1,
Step3.2.Asum＝0,Icv＝0；
Step3.3.计算和统计Fj图像像素的灰度分布，即计算每个灰度值I下,对应的像素个数SI，I＝0,1,2,3……255；
Step3.4.I＝0,Asum＝Asum+SI，按式(3-1)重复计算：
I＝I+1andAsum＝Asum+SI若Asum＜SmandI＜255(3-1)
Step3.5.棋盘图灰度分布的黑白交界灰度值ICV＝I，以ICV为界，从图像的灰度分布中获取分别位于[0,ICV]和(ICV,255]区间中像素个数统计值为最大时所对应的灰度值Ib和If，作为棋盘格图像的背景灰度值和前景灰度值，即：
Step3.6.按式(3-3)计算阈值T：
Step3.7.用7×7窗口的24模板逐一像素扫描数字图像，即分别沿45度方向的红色对角区域和135度方向的蓝色对角区域，统计计算各区域像素的灰度值Ik与中心像素Pc的灰度值Ic之差，并与阈值T比较，得到各对角区域的像素灰度值与中心像素灰度值相似的像素个数：
Step3.8.若环绕中心像素Pc的相似像素个数10＜(S45°+S135°)＜18，转向step3.10；
Step3.9.分别计算分布在红色对角区域和蓝色对角区域的像素灰度均值，即：
如果则中心像素Pc为非角点，剔除，转至step3.11；
Step3.10.如果S45°＝12orS135°＝12，则中心像素Pc标注为角点，否则剔除；
Step3.11.若数字图像Fj中还存在没扫描的像素，则返回至step3.7；
Step3.12.基于数字图像的坐标系(u,v)，根据对Fj所有标记的内角点位置，得到它们在数字坐标系(u,v)下的坐标值，并按行优先保存至名为point[i,j,k]数据结构中，其中，i＝1,2,3,4；j＝1,2,3…25；k＝1,2,3…132；
Step3.13.判断标号i的鱼眼摄像头拍摄的数字图像是否处理完毕，若没有，则j＝j+1，返回至step3.2，否则，i＝i+1,j＝1；
Step3.14.如果i≤4，则返回至step3.2，否则，结束；
步骤4：基于张正友标定法，求解每个鱼眼摄像机的内、外参数和畸变系数；其具体流程如下：
Step4.1.基于棋盘板平面世界坐标系，即ZW＝0,根据棋盘格格子的数量和物理大小，计算棋盘格内角点在世界坐标系下对应的坐标(XWk,YWk)(k＝1,2,…132)如下：
基于棋盘标定板的坐标系约定，如果棋盘格的内角点分布的矩阵形式为：
则，对于ap,q内角点的物理坐标(Xp,Yq)＝(3×p,3×q)，按行优先，自左向右，分别对应于世界坐标为(XW1,YW1),(XW2,YW2),(XW3,YW3)……(XW132,YW132)；
Step4.2.求解在理想线性成像模型下每个鱼眼摄像机的内、外参数，其具体流程如下：
Step4.2.1根据已知的棋盘标定板在数字图像坐标系下各内角点坐标和对应的世界空间坐标(XWk,YWk,ZWk)，求解投影矩阵H：
因为第i鱼眼摄像头拍摄的第j幅数字图像中检测到的所有内角点的像素坐标映射至世界坐标系(XW,YW,0)中对应坐标的投影模型为：
其中，和为棋盘标定板所检测的内角点分别在数字图像坐标系(u,v)和世界坐标系(XW,YW,0)下的齐次坐标，上标i表示摄像头编号，i＝1,2,3,4；下标j和k分别表示数字图像序号和内角点序号,j＝1,2,…25,k＝1,2,…132；为3×3投影矩阵，hij为投影矩阵H的第i行第j列元素，h1,h2,h3为投影矩阵H的列向量；s为任意尺度的缩放比例因子，目的是使得数字图像定义到该尺度比例，由此得：
经变换，用矩阵形式可表示为：
令：H'＝[h11h12h13h21h22h23h31h32h33]T，那么，上式的矩阵形式简写为：
SH'＝0(4-3)
其中，S矩阵大小为(2×132)×9
在如下约束条件下：
采用奇异值分解法，对式(4-3)求解，得到投影矩阵H；
Step4.2.2根据约束条件，求解每个鱼眼摄像机的内、外参数，其具体流程如下：
1)求解向量b
根据坐标系间的映射关系，投影矩阵H可表示为：
H＝[h1h2h3]＝λA[r1r2t](4-4)
式中，λ为尺度因子；和[r1r2t]分别表达了鱼眼摄像机的内参数和外参数的信息，γ表示像素点在x和y方向上尺度的偏差；
因为r1和r2是单位正交向量，对于每幅图像都存在如下约束条件：
令：
因为B是一个对称矩阵，可用一个6维向量表示，即：
b＝[B11B12B22B13B23B33]T(4-7)
假设，H的第i列向量为hi＝[hi1hi2hi3]T,i＝1,2,3，式(4-5)可表示为关于b的齐次方程：
式中，Vij＝[hi1hj1hi1hj2+hi2hj1hi2hj2hi3hj1+hi1hj3hi3hj2+hi2hj3hi3hj3]；那么，对于每个鱼眼摄像头拍摄的25幅图像，可将方程联立，求解向量b：
Vb＝0(4-9)
式中，是一个(2×25)×6的矩阵；
2)按照式(4-10)求解出鱼眼摄像机的内、外参数：
其中，γ、v0、u0、fx、fy为鱼眼摄像机内参数；R＝[r1r2r3]和t通称为鱼眼摄像机外参数；
Step4.3.优化求解各鱼眼摄像机的内、外参数和畸变系数，其具体流程如下：
Step4.3.1求解鱼眼摄像机的畸变系数：
因为第i(i＝1,2,3,4)鱼眼摄像头拍摄的第j(j＝1,2,3…25)幅数字图像的坐标为：
用矩阵形式可表示为：
式中，表示在畸变情况下第i鱼眼摄像头拍摄的第j幅数字图像的像素坐标；表示在理想线性成像模型下第j幅数字图像的像素坐标；(u0,v0)表示成像坐标系的原点在数字图像坐标系(u,v)中的坐标；表示在理想线性成像模型下第j幅数字图像在摄像机坐标系(XC,YC,ZC)中的像素坐标；k1,k2表示畸变系数；
对于每个鱼眼摄像头拍摄有25张图像，每张图内有132个内角点，如果把2×132×25这些方程堆叠，可得：
可简写为：
Diki＝di(4-12)
为了选取最合适的ki，应满足：
argmin||Diki-di||
对式(4-12)的微分求最值，可得：
(Di)TDiki＝(Di)Tdi
因为矩阵(Di)TDi为非奇异矩阵，因此，最小二乘解为：
ki＝((Di)TDi)-1(Di)Tdi(4-13)
Step4.3.2在非线性成像模型下，优化求解每个鱼眼摄像机的内、外参数和畸变系数：
基于L-M优化算法，对式(4-14)误差函数进行迭代，优化求解出第i(i＝1,2,3,4)鱼眼摄像机的内、外参数和畸变参数：
其中，p表示第i鱼眼摄像头所拍摄的数字图像，共a＝25，q表示每幅数字图像中检测的内角点个数，共b＝132；mpq表示在第p幅数字图像中第q个内角点的像素点坐标；Ai为i鱼眼摄像机内参数矩阵；ki为i鱼眼摄像机的畸变系数向量；和分别是i鱼眼摄像头拍摄的第p幅数字图像对应的旋转向量和平移向量；表示第q个内角点在世界坐标系(XW,YW,ZW...
【专利技术属性】
技术研发人员：石美红，薛海伟，刘宝宝，段俊瑞，温宗周，
申请(专利权)人：西安工程大学，
类型：发明
国别省市：陕西;61
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。