基于平行视频拼接技术的矿井安全监控方法技术

针对现有基于平行视频拼接技术的矿井安全监控方法的不足，本发明专利技术提供一种减少对视点的密集数量要求以及降低采样设备水平运动方向与视点方向拍摄技术要求的一种自由稀疏视点平行视频拼接的方法，通过采取虚拟变换以及同步帧校正与帧配准的两阶段策略，实现稀疏视点和自由视点旋转下的图像拼接。本发明专利技术有益的技术效果有：解决纵伸较大场景的自由角度监控问题，实现无变形、盲区和重叠区的大视域实时监控；本方法布局简单、易实施、更加经济和安全，只需少量摄像机就可以实现整个场景的清晰监控。

【技术实现步骤摘要】

本专利技术涉及矿井安全监控
，尤其涉及采用视频为手段的安全监控
，具体涉及采用稀疏视点的、基于平行视频拼接的矿井安全的监控方法。
技术介绍
矿井安全监控是国家安全生产的重点研发技术。在几十甚到几百米的井下，工作环境极为恶劣，如何对整个安全生活过程、重点施工工段进行实时精确、可靠高效的安全监控与预警是特别重要的研究课题。目前的井下的监控技术主要有:一，采用传感器获取现场的温度、湿度或有害气体浓度；二，利用摄像机实时捕获工作段面的现场信息。前一种技术需要在现场布局大量的传感器，反馈矿井内气体浓度等参数，存在获取的信息不直观的问题，另外，在井下突发情况时无法反映实时状况；后一种技术虽能克服传感器监控不直观的缺陷，但由于只是若干独立摄像机的简单监控:若要提高摄像监控的精度就需要在井下狭小的空间大量布局，既不经济也不实际；若减少监控点、稀疏布置又会出现观测点无法扫描到的盲区，相邻观测点重复监控的重叠区，以及监控点摄像机旋转监控时的图像失真变形区，都会造成矿井安全监控中误判断。为此，开发一种低成本、易布局、高精度的井下视频监控技术创新是非常有必要的。将若干独立摄像机通过算法拼接成一个大视域监控视频的视频拼接技术为这种需求提供了一种解决思路。现有的视频拼接方法的主要步骤有视点初始化、输入源同步帧、同步频配准、同步帧融合、合成帧显示及保存，具体为:首先进行视点初始化，即视点布局等相关准备工作；然后是开始对各个同步帧依次进行配准，从而找到相互重叠的位置，这一步中必要时还要进行视点几何变换实现正确配准；接下来就可以对这个配准后的同步帧进行融合，以生成拼接合成帧；之后，将得到拼接合成帧进行显示以及保存，并转入到下一个同步帧的配准之中，从而开始新一轮的同步帧拼接工作。上述过程中，同步帧的配准和融合是关键步骤，其核心技术是如何进行图像的拼接。参见图2，传统图像拼接(image mosaic)是围绕中心点拍一圈图像而成。这种方法克服了单幅图像视域小的不足，因此得到了广泛的研究与应用。但这种传统的拼接方法视点固定，对于例如街道和井下巷道等狭长的场景，离摄像机越远图像的变形就越厉害，无法显示整体的形貌来。参见图3，针对传统图像拼接的不足，改进的方案是采用平行拼接(parallelmosaic)的方法对狭长的场景进行处理，其具体方法是在多个平行视点拍摄场景的基础上，将每一个视点位置取出的一条切片拼接成一幅大视域图像的一种切片式图像拼接技术。该平行拼接可以获得广角图像，克服了传统图像拼接在单一视点情况下视域受限的缺陷，特别适合需要移动视点才可以完整拍摄下来的纵深较长场景，如井下巷道和街道等，因此具有重要的实用价值。现有的平行拼接方法主要有路途全景拼接(route panorama)和平行投影拼接(parallel perspective stereo mosaics)。但对上述两种方法存在两点不足:I)上述两种平行拼接的方案均要求布置摄像机连续运动拍摄场景以确保达到足够的密集视点，从而保证可以提取足够的切片进行无缝拼接，这样就需要密集的摄像机布局，或者需要特别控制摄像机连续运动的设备；2)在进行图像采集时，要求各视点正对场景(即视点方向与摄像机的水平运动方向垂直)以模拟正交投影，即摄像机的光轴必须与水平运动方向垂直，或者视点偏转角度较小，这样才能保证所提取的拼接切片具有最小变形，但也导致需要大量繁琐且复杂的调试工作。换言之，视点密集增加了拍摄过程中的工作量；而多视点方向与摄像机水平运动方向垂直增加了工作的复杂度和不稳定性，同时降低了拼接的灵活度，视点旋转角度不能过大也限制了拼接场景的范围。综上所述，现有平行视频拼接方法不适应于巷道狭长的井下复杂环境的安全监控。
技术实现思路
针对现有的不足，本专利技术提供一种减少对视点的密集数量要求以及降低采样设备水平运动方向与视点方向拍摄技术要求的一种自由稀疏视点平行视频拼接的方法。其具体的方法为:，按如下步骤进行:(I)布置采样点:设需要进行安全监控的监控场景面的深度为Lv，摄像机与监控场景面之间的距离为LD，相邻两个摄像机之间的间距为Lc，则摄像机与监控场景面之间的距离Ld是监控场景面的深度Lv的1.0至10.0倍，相邻两个摄像机之间的间距L。是监控场景面的深度Lv的1.0至3.0倍，所有摄像机安置的高度相同，且在旋转时所有摄像机保持相同的旋转角度，相邻两个摄像机各自偏转±45°范围内时所形成的相邻视点图像之间应有重叠，监控同一监控场景面的摄像机的连线应平行于监控场景面；所有摄像机均通过数据线与负责图形处理的计算机相连接，计算机将从每个摄像机获得的同步帧统一处理；(2)初始化摄像机焦距:每个摄像机均采用相同的帧分辨率，其焦距f运用帧分辨率模拟计算，即设帧的宽和高分别是w和h，摄像机的焦距f取值为:/ = λ/ ^ΤΡ;(3)初始化重叠位置:将所有的摄像机正对于监控场景面取像，获得每个摄像机的初始同步帧《，其中η为第η个摄像机；用半透明法获得相邻两个摄像机之间的初始同步帧格:之间重叠区域的水平长度L(n,n+1) ； (4)调试图像亮度:将从各个摄像机获取的初始同步帧/S进行Gamma校正，所用公式为U=aIinY，其中，Iin是初始同步帧裙的原始像素，Itjut是初始同步帧攻经过校正后的像素，参数a取I,参数Y的取值范围为1.5-3.0 ;(5)记录摄像机偏转角度:将所有摄像机设定相同的偏转角度Qs,所述偏转角度Θs是自开始监控起的第s秒时摄像机实际面对方向与摄像机正视场景时的方向之间的夹角；偏转角度Θ s与每台摄像机的实时同步巾卢/ 相对应，所述实时同步巾贞枝为第η台摄像机自开始监控起的第s秒时监控的图像；(6)进行同步帧虚拟变换:对实时同步帧/；；进行虚拟变换，得到虚拟变换后的虚拟同步帧從，其中，虚拟变换公式为、=本文档来自技高网...

【技术保护点】
基于平行视频拼接技术的矿井安全监控方法，其特征在于，按如下步骤进行：（1）布置采样点：设需要进行安全监控的监控场景面的深度为LV，摄像机与监控场景面之间的距离为LD，相邻两个摄像机之间的间距为LC，则摄像机与监控场景面之间的距离LD是监控场景面的深度LV的1.0至10.0倍，相邻两个摄像机之间的间距LC是监控场景面的深度LV的1.0至3.0倍，所有摄像机安置的高度相同，且在旋转时所有摄像机保持相同的旋转角度，相邻两个摄像机各自偏转±45°范围内时所形成的相邻视点图像之间应有重叠，监控同一监控场景面的摄像机的连线应平行于监控场景面；所有摄像机均通过数据线与负责图形处理的计算机相连接，计算机将从每个摄像机获得的同步帧统一处理；（2）初始化摄像机焦距：每个摄像机均采用相同的帧分辨率，其焦距f运用帧分辨率模拟计算，即设帧的宽和高分别是w和h，摄像机的焦距f取值为：（3）初始化重叠位置：将所有的摄像机正对于监控场景面取像，获得每个摄像机的初始同步帧其中n为第n个摄像机；用半透明法获得相邻两个摄像机之间的初始同步帧之间重叠区域的水平长度L(n，n+1)；（4）调试图像亮度：将从各个摄像机获取的初始同步帧进行Gamma校正，所用公式为Iout=aIinγ，其中，Iin是初始同步帧的原始像素，Iout是初始同步帧经过校正后的像素，参数a取1，参数γ的取值范围为1.5?3.0；（5）记录摄像机偏转角度：将所有摄像机设定相同的偏转角度θs，所述偏转角度θs是自开始监控起的第s秒时摄像机实际面对方向与摄像机正视场景时的方向之间的夹角；偏转角度θs与每台摄像机的实时同步帧相对应，所述实时同步帧为第n台摄像机自开始监控起的第s秒时监控的图像；（6）进行同步帧虚拟变换：对实时同步帧进行虚拟变换，得到虚拟变换后的虚拟同步帧其中，虚拟变换公式为i′j′=f-isinθs+(w2sinθs+fcosθs)cosθs+sinθstan(θs-α)0-w(cosθs+sinθstan(θs-α))2+f(sinθs-cosθstan(θs-α))fhsinθs21-wfhsinθs4-h2-f2hcosθs2ij1f;为在步骤（2）中算出的摄像机焦距；θs是自开始监控起的第s秒时摄像机实际面对方向与摄像机正视场景时的方向之间的夹角；α为摄像机视角值的二分之一；点P(i，j)为实时同步帧上的一个点，i代表横轴j代表纵轴，w和h分别是实时同步帧的宽和高；点P′(i′，j′)为虚拟同步帧上的点，且P′(i′，j′)与点P(i，j)相对应的点；（7）相邻虚拟同步帧间校正和配准：依次对相邻两台摄像机所获取的虚拟同步帧和虚拟同步 帧进行校正并计算出虚拟同步帧和虚拟同步帧之间虚拟同步帧重叠区水平长度然后用虚拟同步帧重叠区水平长度进行虚拟同步帧和虚拟同步帧之间的配准；其中，相邻两幅虚拟同步帧间的校正时用于计算虚拟重叠区水平长度的计算公式为tan(α+θs)+f*tan(α-θs)-2*f*tanα+L(n,n+1),f是步骤（2）中计算得到的焦距，L(n,n+1)是步骤（3）中初始相邻同步帧间重叠区域的水平长度，θs是自开始监控起的第s秒时摄像机实际面对方向与摄像机正视场景时的方向之间的夹角；α为摄像机视角值的二分之一；校正之后就得到的新偏移量，即用虚拟重叠区水平长度对所有当前偏转角θs下的相邻虚拟同步帧和虚拟同步帧进行配准；（8）生成合成帧：用加权平均融合方法进行平滑过渡以生成第s秒时整个监控场景面的合成帧即：根据相邻两幅虚拟同步帧重叠区域大小对该重叠区域进行加权融合，并将融合处理之后的重叠区域覆盖到拼接之后的新图的对应位置，保证最终生成的合成帧具有视觉一致性和没有明显的接缝，完成第s秒点的监控场景面所要监控图像的处理；（9）实时视频合成与输出：重复步骤（4）至（8），即对每台摄像机的每一时刻的实时同步帧进行处理，获得每一个时刻的合成帧将合成帧逐张进行播放并写入视频文件，即获得实时生成的拼接视频；其中：第（5）步在实时旋转监控时可以在任意时间点同时统一调整所有摄像机偏转角度θs，在固定角度监控时只在第一次执行时调整偏转角；第（7）步只对当前偏转角下相邻摄像机的第一帧拼接时实施偏移量...

【技术特征摘要】
1.关于平行视频拼接技术的矿井安全监控方法，其特征在于，按如下步骤进行: (1)布置采样点:设需要进行安全监控的监控场景面的深度为Lv，摄像机与监控场景面之间的距离为LD，相邻两个摄像机之间的间距为Lc，则摄像机与监控场景面之间的距离Ld是监控场景面的深度Lv的1.0至10.0倍，相邻两个摄像机之间的间距Lc是监控场景面的深度1^的1.0至3.0倍，所有摄像机安置的高度相同，且在旋转时所有摄像机保持相同的旋转角度，相邻两个摄像机各自偏转±45°范围内时所形成的相邻视点图像之间应有重叠，监控同一监控场景面的摄像机的连线应平行于监控场景面；所有摄像机均通过数据线与负责图形处理的计算机相连接，计算机将从每个摄像机获得的同步帧统一处理； (2)初始化摄像机焦距:每个摄像机均采用相同的帧分辨率，其焦距f运用帧分辨率模拟计算，即设帧的宽和高分别是w和h，摄像机的焦距f取值为:f = (3)初始化...

【专利技术属性】
技术研发人员：方贤勇，
申请(专利权)人：安徽大学，
类型：发明
国别省市：