一种面向实时视频融合的颜色一致性调整方法技术

本发明专利技术涉及一种面向实时视频融合的颜色一致性调整方法，(1)对于相邻相机，分别使用各自的相机视锥对三维模型进行几何求交计算，求得共有三维重叠面片，进一步计算其在对应图像中的二维投影区域；(2)对于全体相机，根据投影区域比例关系，构建相机拓扑，使用颜色直方图的链式调整策略，对拓扑中所有相机画面进行优化调整，获取颜色一致的整体视觉效果；(3)由于计算资源的限制，无法快速对所有的相机画面进行颜色一致性，因此在(2)的基础上提供一种实时颜色一致性优化调度。本发明专利技术能够为基于视频投影的虚实融合提供颜色一致性纹理，生成无视觉拼缝的高质量纹理网格，还能够用于提升图像/视频拼接的效果。

A color consistency adjustment method for real-time video fusion

The invention relates to a color consistency adjustment method for real-time video fusion, (1) for adjacent cameras, geometric intersection calculation is carried out for the three-dimensional model by using respective camera view cones respectively, and a common three-dimensional overlapping patch is obtained, and the two-dimensional projection area in the corresponding image is further calculated; (2) for all cameras, camera topology is constructed according to the proportion relationship of the projection area, The chain adjustment strategy of color histogram is used to optimize and adjust all camera images in the topology to obtain the overall visual effect of color consistency; (3) due to the limitation of computing resources, it is unable to quickly carry out color consistency for all camera images, so a real-time color consistency optimization scheduling is provided on the basis of (2). The invention can provide color consistent texture for virtual reality fusion based on video projection, generate high-quality texture mesh without visual seams, and can also be used to improve the effect of image / video splicing.

【技术实现步骤摘要】
一种面向实时视频融合的颜色一致性调整方法
本专利技术涉及增强虚拟环境
，更具体的讲，涉及一种面向实时视频融合的颜色一致性调整方法。
技术介绍
增强虚拟环境(AVE)是用于在三维虚拟环境中以任意视角展示多路图片或者视频流的一项技术，该项技术将视频画面与三维模型融合显示，在城市漫游、交通分析、视频监控等一体化监控系统领域有着重要的应用。融合的方法通常分为两类，基于视频投影的视频虚实融合方法和基于单幅照片建模的视频虚实融合方法。前者需要高度精确的三维模型并且虚实对准困难、纹理常见畸变扭曲。基于图像建模的融合方法在效率和效果上具有更明显优势。在真实的监控场景中，不同的相机、相同相机不同的参数或者光照的变化都会使得捕获的图像/视频存在颜色差异。采用原始采集的图像/视频数据作为纹理进行融合渲染，会产生明显的颜色变化梯度、鬼影等视觉伪像。为此，研究图像/视频序列的颜色矫正方法，基于矫正的纹理进行视频的融合渲染，提高用户的视觉体验。图像/视频的颜色矫正通常用于提高图像拼接、多视图立体重建、基于图像渲染的质量。颜色矫正方法通常包括两种方式，一是调整相机的参数，如增益、伽玛、亮度、曝光时间、光圈和白平衡等参数，但该方式需要具有专业技能的人工调整，代价高、效率低。另外一种方式是通过图像处理方法调整捕获的图像/视频。在图像/视频拼接应用中，通常采用多波段融合技术调整重叠纹理区域的颜色，但是该方法难以处理不同光照条件下骤变的颜色差异。考虑到上述问题，进行虚实融合场景中模型纹理颜色一致性优化，通过三维重叠区域纹理的提取获得更加准确、鲁棒的用于颜色一致优化的区域。根据场景特点与效率需求，选取不同的调整策略，最后通过触发机制实现视频流的实时颜色一致性优化。本专利技术前，已经有人对图像/视频序列颜色一致性优化做了相关研究。颜色变换的思想最早是由Reinhard等人发表论文“Colortransferbetweenimages”(IEEEComputerGraphicsandApplications(CGA)，21(5)：34-41，2001)提出的，颜色变换的目标是将一个图像的颜色特点传播给另一个图像，以该方法为基础，后续展开了许多相关的工作。Yamamoto等人发表论文“Colorcorrectionformulti-viewvideousingenergyminimizationofviewnetworks”(InternationalJournalofAutomationandComputing(2008)234-245)提出用于基于图像渲染的多视图颜色一致性调整方法，该方法采用能量最小化方式计算LookUpTable。HaCohen等人发表论文“Optimizingcolorconsistencyinphotocollections”(ACMTransactionsonGraphics(TOG)(2013)38)提出用于现实生活中个人相册颜色一致性自动调整的方法，该方法采用全局优化二次曲线的方式得到用于颜色变换的映射模型，但是该方法通常处理的包含大量共享内容数据集合。上述的研究都是基于全帧内容或SIFT特征生成颜色一致性对应，并未考虑几何信息，该类方法难以满足颜色一致性优化精确、鲁棒的特点。接着，Tian等人发表论文“Histogram-BasedColorTransferforImageStitching”(IEEEImaging，2017)提出基于直方图的用于拼接的颜色变换方法，该方法首先获取源图像与目标图像的重叠区域，接着提取重叠区域对应的直方图，之后在三个通道上分别采用全局最小化目标函数计算颜色映射模型。但是该方法值限于在图像对上进行颜色变换。本专利技术提出了一种面向实时视频融合的颜色一致性调整方法，通过计算三维重叠区域重复考虑几何信息，在此基础上对图像/视频序列进行链式色调调整，最后通过调度相机连通子图的划分加速颜色一致性优化的过程，能够对实时视频流进行颜色一致性调整，提升用户整理的视觉体验。
技术实现思路
本专利技术的目的是：克服现有技术的鲁棒性差，提供一种面向实时视频融合的颜色一致性调整方法，能够解决AVE场景中拼接模型纹理不一致的问题，还能够提高用户观察场景的视觉感受的目的。本专利技术的技术解决方案：一种面向实时视频融合的颜色一致性调整方法，在三维重叠区域纹理提取中，提取相邻模型重叠的模型面片得到对应的图像中的纹理区域；在颜色一致性优化中，采用链式颜色一致性调整策略；在实时颜色一致性优化调度中，分别考虑场景中相机的实时调度与实时视频颜色一致性优化调度，通过构建与划分相机拓扑图加快颜色调整过程。首先是提取相邻模型的三维重叠区域；接着计算重叠区域对应的图像中纹理的直方图；之后在直方图的基础上进行颜色一致性优化；随后调度相机并构建相机拓扑图实现可见实时视频流的实时颜色一致性调整。在本专利技术中引入了一种基于参数模型的颜色一致性优化和一种相机拓扑图构建与划分的方法。三维重叠区域的提取主要是在AVE中计算视频模型之间重叠的网格面片，通过三维区域的获得计算其在图像中对应的二维区域。提取的三维重叠区域指的是两个对应的相机都可见的区域。颜色一致性优化主要是在重叠区域纹理直方图的基础上对颜色一致性进行链式调整。链式调整通过寻找连通子图中的最短路径作为传播路线，相邻两个模型之间的颜色调整采用直方图线性匹配的方式。实时颜色一致性优化调度主要是为实现实时视频的颜色一致性优化。其包括相机的实时调度，相机拓扑图构建与划分和实时视频流颜色一致性优化调度。相机的实时调度用于实时处理场景中加载/卸载的相机，为后续相机拓扑图构建提供基础。在可见相机的基础上构建相机拓扑图，每个相机作图的顶点，相机间重叠比率作为边的权重。通过连通子图的划分达到图剪纸的效果，加快颜色一致性优化的过程，实现实时、准确的颜色调整。本专利技术的一种面向实时视频融合的颜色一致性调整方法，包括：视频重叠区域的纹理提取步骤、颜色一致性优化步骤和颜色一致性优化的实时调度步骤；其中：(1)视频重叠区域的纹理提取步骤：用于计算相邻相机的两模型的三维重叠区域对应的纹理；在基于图像建模的虚实融合场景中，首先提取视频背景帧，之后通过相机注册、视频网格模型建模和视频拼接，生成完整视频模型；最后将实时视频流直接投影到视频模型上，通过相机视锥相交的方法计算视频模型的三维重叠区域，进一步计算得到视频重叠区域对应的纹理，分别获取i模型和j模型对应的纹理区域，记为Ri、Rj；(2)颜色一致性优化步骤：用于实现相邻相机的两模型纹理颜色的一致性；首先，在视频重叠区域的纹理Ri和Rj提取基础上，计算Ri、Rj在RGB三个通道上的颜色直方图Hi＝{Hi_R，Hi_G，Hi_B}与Hj＝{Hj_R，Hj_G，Hj_B}；再通过颜色直方图的调整实现相邻相机的两模型纹理颜色一致性的调整；(3)颜色一致性优化调度步骤：用于通过颜色一致性优化调度策略实现监控场景多个相机的实时颜色一致性调整；首先，根据相机模型可见性进行相机实时调度，初始化可调色的相机模型；再通过实时调度的相机构建相机本文档来自技高网...

【技术保护点】
1.一种面向实时视频融合的颜色一致性调整方法，其特征在于，包括：视频重叠区域的纹理提取步骤、颜色一致性优化步骤和颜色一致性优化的实时调度步骤；其中：/n(1)视频重叠区域的纹理提取步骤：用于计算相邻相机的两模型的三维重叠区域对应的纹理；在基于图像建模的虚实融合场景中，首先提取视频背景帧，之后通过相机注册、视频网格模型建模和视频拼接，生成完整视频模型；最后将实时视频流直接投影到视频模型上，通过相机视锥相交的方法计算视频模型的三维重叠区域，进一步计算得到视频重叠区域对应的纹理，分别获取i模型和j模型对应的纹理区域，记为R

【技术特征摘要】
1.一种面向实时视频融合的颜色一致性调整方法，其特征在于，包括：视频重叠区域的纹理提取步骤、颜色一致性优化步骤和颜色一致性优化的实时调度步骤；其中：
(1)视频重叠区域的纹理提取步骤：用于计算相邻相机的两模型的三维重叠区域对应的纹理；在基于图像建模的虚实融合场景中，首先提取视频背景帧，之后通过相机注册、视频网格模型建模和视频拼接，生成完整视频模型；最后将实时视频流直接投影到视频模型上，通过相机视锥相交的方法计算视频模型的三维重叠区域，进一步计算得到视频重叠区域对应的纹理，分别获取i模型和j模型对应的纹理区域，记为Ri、Rj；
(2)颜色一致性优化步骤：用于实现相邻相机的两模型纹理颜色的一致性；首先，在视频重叠区域的纹理Ri和Rj提取基础上，计算Ri、Rj在RGB三个通道上的颜色直方图Hi＝{Hi_R,Hi_G,Hi_B}与Hj＝{Hj_R,Hj_G,Hj_B}；再通过颜色直方图的调整实现相邻相机的两模型纹理颜色一致性的调整；
(3)颜色一致性优化调度步骤：用于通过颜色一致性优化调度策略实现监控场景多个相机的实时颜色一致性调整；首先，根据相机模型可见性进行相机实时调度，初始化可调色的相机模型；再通过实时调度的相机构建相机拓扑图，并划分成连通子图；最后在相机实时调度与连通子图构建的基础上，采用触发机制在每个连通子图内执行实时视频流的颜色一致性优化，实现整体的颜色一致性优化调度。


2.根据权利要求1所述的面向实时视频融合的颜色一致性调整方法，其特征在于：所述步骤(1)进一步实现步骤为：
(sc1)分别提取模型i与模型j对应的相机视锥Fi,Fj；
(sc2)分别提取模型i与模型j的模型面片与分别为模型i与模型j的第ni与nj个面片，ni与nj分别为模型i与模型j的面片总个数；
(sc3)计算步骤(sc1)中Fi在步骤(sc2)的可见多边形集合为模型j面片在i相机视锥中的可见区域个数，其中xm∈(1,nj)；
(sc4)计算步骤(sc3)中VPi,j→i在Fj中的可见多边形为最终裁剪的重叠区域，其中xn∈(1,ni)为模型i面片在j相机视锥中的可见区域个数,xm∈(1,nj)；
(sc5)计算(sc4)中三维重叠区域，分别获取i模型和j模型对应的纹理区域，记为Ri、Rj，其中Ri与Rj分别为(sc4)中VPi→j,j→i模型i面片和模型j面片在图像中对应的二维区域。


3.根据权利要求1所述的面向实时视频融合的颜色一致性调整方法，其特征在于：所述步骤(2)进一步实现步骤如下：
(lc1)在视频重叠区域的纹理提取的基础上，分别计算Ri、Rj在RGB三个通道上的直方图，记为Hi＝{Hi_R,Hi_G,Hi_B}与Hj＝{Hj_R,Hj_G,Hj_B}；
(lc2)调整(lc1)步骤中的直方图，采用线性参数映射模型分别调整每个通道的直方图，求得映射参数，实现相邻相机的两模型纹理颜色一致性的调整。


4.根据权利要求1所述的面向实时视频融合的颜色一致性调整方法，其特征在于：所述步骤(3)进一步实现步骤如下：
首先，根据相机模型可见性进行相机实时调度，初始化可调色的相机模型，其步骤为：
(cd1)加载已有的场景；
(cd2)在步骤(cd1)的场景中加载或卸载相机模型；
(cd3)递归遍历步骤(cd2)中所有加载的相机模型，并添加到可见相机模型列表Lvis；
之后通过实时调度的相机构建相机拓扑图，并划分成连通子图，其步骤为：
(cp1)对步骤(cd3)Lvis中的可见相机模型进行分组，得到对应的分组列表Gvis＝{g1,g2,....,gm}，其中gm表示第m组相机模型；
(cp2)构建步骤(cp1)相机分组对应的拓扑图其中表示第i组相机模型对应的相机拓扑图；
(cp3)为加速颜色一致性优化过程，将步骤(cp2)中每组相机拓扑图划分成若干个连通子图，其中为第i组相机模型划分的第n个连通子图；
(cp4)寻找步骤(cp3)中每个连通子图的最短路径，在每个连通子图上进行颜色一致性优化；
最后在相机实时调度与连通子图构建的基础上，采用触发机制在每个连通子图内执行实时视频流的颜色一致性优化，实现整体的颜色一致性优化调度。


5.根据权利要求2所述的面向实时视频融合的颜色一致性调整方法，其特征在于：所述步骤(sc3)包括步骤如下：
(sc3.1)选取模型j中一个面片，计算其与视锥Fi的相交部分；
(sc3.2)判断相交的结果，若相交点数大于0且相交公共部分为空间面，则获取i的最优视点位置VPli，并设置VPli对应的包围盒
(sc3.3)循环判断包围盒与每个空间面的包含关系，若包含个数大于等于3，则该空间面片为可见面片；
(sc3.4)重复步骤(s...

【专利技术属性】
技术研发人员：周颐，孟明，游景帝，周忠，
申请(专利权)人：北京大视景科技有限公司，
类型：发明
国别省市：北京;11