一种基于优化直方图匹配的阵列相机色彩校正方法技术

本发明专利技术公开了一种基于优化直方图匹配的阵列相机色彩校正方法。包括如下步骤：S1，取待校正阵列相机拍摄的当前帧；S2，依次将每一个相机作为目标颜色相机，运用直方图匹配和曲线拟合得到所有相机的色彩映射曲线；S3，将当前场景的所有相机的映射曲线按照相机权重进行加权平均，得到该场景下的全局映射曲线；S4，对阵列相机视频的每一帧在拼接之前运用全局映射曲线进行色彩校正。本发明专利技术的方法能够校正多相机视频拼接时相机之间的颜色差异。

【技术实现步骤摘要】
一种基于优化直方图匹配的阵列相机色彩校正方法
本专利技术涉及信号处理、计算机视觉等领域，尤其涉及一种基于优化直方图匹配的阵列相机色彩校正方法。
技术介绍
随着视频传输能力的提高，近年来多相机全景拼接技术迅速发展，全景拼接相机正在逐步走进大众视野。2016年Facebook推出了它的第一代全景拼接相机surround360，此后不同公司分别推出自己的全景拼接相机，亿级像素实时视频拼接系统也逐渐应用在直播、安防等领域。为了保证多相机之间同步的问题，一般多相机系统采用高质量的工业相机，如surround360采用17个Pointgray相机，这无疑导致较为准确的多相机系统成本昂贵。如何在降低对硬件性能的严格要求的同时保证较好的图像效果，则是多相机拼接中一个重要的研究课题。在多相机视频拼接中，往往会出现摄像机之间的颜色差异，不仅会影响拼接模型的精度，还会严重降低视觉体验。近年来陆续有图像之间的色彩校正算法被提出，意在实现不同设备拍摄的图像之间的颜色迁移，使得原图像和目标图像的色调风格趋于一致。2001年，Reinhard等(E.Reinhard,M.Adhikhmin,B.Gooch,andP.Shirley,“Colortransferbetweenimages,”IEEEComput.Graph.Appl.,vol.21,no.5,pp.34–41,Sep./Oct.2001.)提出了利用图像所有像素的均值和方差限制实现不同图像之间颜色的迁移，Fecker等(U.Fecker,M.Barkowsky,andA.Kaup,“Histogram-basedprefilteringforluminanceandchrominancecompensationofmultiviewvideo,”IEEETrans.CircuitsSyst.VideoTechnol.,vol.18,no.9,pp.1258–1267,Sep.2008)在2008年提出用直方图匹配法解决多相机拍摄的视频之间颜色的差别。这些方法在应用到多相机视频拼接系统里效果并不理想，在许多情况下，目标颜色图像只覆盖图像的重叠区域，而不是整个图像，对于许多参数化方法来说这会引入较大误差。另一方面，由于拼接标定算法的局限性，只能得到重叠区域像素的粗略对应，这对于那些需要精确像素对应的算法来说可能会导致不好的结果。此外，在工程应用中还应考虑计算速度，鲁棒性和色彩变换的帧间常性。
技术实现思路
鉴于以上现有技术中存在的技术问题，本专利技术提出了一种基于优化直方图匹配的阵列相机色彩校正方法。本专利技术采用的技术方案为：一种多相机视频拼接的色彩校正方法，包括如下步骤：S1，取待校正阵列相机的当前帧，获得相机数和相机权重；然后对所有的图像进行编号，保证相邻编号图像之间有足够的重叠区域，运用几何变换对齐并提取出重叠区域；S2，对于所有N个相机对应的图片，依次将每一个相机作为目标颜色相机，计算所有相机的色彩映射曲线，其中相机校正顺序按照距目标颜色相机的距离由近及远依次进行，每一个校正后的图片作为下一个待校正图片的参考图片；相邻相机的色彩映射曲线在R、G和B通道上分别计算，对于每一个色彩通道，使用阈值将像素值划分为直方图匹配部分和曲线拟合部分；然后对所有像素值运用直方图匹配和边界限制，将直方图匹配部分保留，曲线拟合部分使用曲线拟合方法，最后对整个曲线平滑处理得到最终的映射曲线；其中阈值为直方图从小到大排序后累积直方图的5％对应的像素值；直方图匹配的方法为：当Cs(u)<Ct(v)<Cs(u+1)时，另map(label,i,c,v)＝u，其中Cs,Ct是参考图像和待校正图像的累积直方图，u,v是参考图像和待校正图像的像素值，map(label,i,c,v)是以第label个相机为目标颜色得到的第i个相机的映射曲线上颜色通道c中像素值v对应的像素值。对边界进行限制的方法为：若校正后图像像素值小于参考图像像素最小值，则修改为参考图像像素最小值，若校正后图像像素值大于参考图像像素最大值，则修改为参考图像像素最大值；曲线拟合第一步采用曲线拟合部分每个区间前后两个断点作为直线的首尾进行直线连接，其中断点是指直方图大于阈值的像素区间的边界值、0和255在映射曲线上的坐标。第二步运用移动平均滤波器对映射曲线进行平滑处理，滑动窗口宽度设为15；S3，将所有相机的映射曲线按照相机权重进行加权平均，公式如下：其中为相机权重矩阵，默认权重系数为1/N；最终得到全局映射曲线mapave(i,c,v)；S4，对阵列相机视频的每一帧在拼接之前运用全局映射曲线进行色彩校正。本专利技术通过优化直方图匹配方法寻找相邻图像重叠区域的映射曲线，并对该曲线做一时间和空间上的加权平均，实现各个相机色调组合且帧间恒常的色彩映射曲线。应用多个真实的多相机系统测试了本专利技术的色彩校正方法，与现有的方法相比，本专利技术在客观和主观的评价上均取得了良好的效果：客观上，在PSNR等指标上均优于其它算法，主观上，一方面本专利技术解决了亮斑的问题，鲁棒性更强，另一方面得到的校正后图片颜色最接近参考相机。经过实验证明，本专利技术的方法在时间上具有一定的鲁棒性，光线条件变化不大的情况下可以直接使用同一个映射曲线，另外该方法的建模和校正步骤所需时间很短，考虑到校正步骤可以高度并行，因此本专利技术可以应用到实时相机系统里。附图说明图1为本专利技术计算阵列相机加权平均映射曲线的流程图。图2为本专利技术优化直方图匹配(图中及下文简称AHM)方法的流程图。图3为本专利技术优化的直方图匹配方法与传统直方图匹配方法的结果比较，(a)(b)、(c)、(d)分别为4个不同场景的效果图，每个场景的两张图分别是：左边传统直方图匹配方法校正效果，右边本专利技术优化的直方图匹配方法校正效果，每个图中矩形框标出了效果对比明显的部分。图4为同一个场景下本专利技术方法与各个传统方法的主观效果比较，每个图的左半边为参考图像，右半边为待校正图像或相应方法校正后图像，其中每个图片右半边所用校正方法分别为：(a)不校正，(b)Rein[1]，(c)GPS[5]，(d)FGPS[5]，(e)3MS，(f)GS[3]，(g)HM[2]，(h)AHM(本专利技术方法)。图5为本专利技术的校正效果展示，(a)校正前，(b)校正后。具体实施方式下面结合附图详细描述本专利技术的技术方案。本专利技术的一种基于优化直方图匹配的阵列相机色彩校正方法，包括如下步骤：S1，取待校正阵列相机的当前帧，记录总帧数k，组成阵列相机的成员相机数N，并根据使用者倾向的相机颜色定义相机权重注意限制输入场景数、相机数N和相机权重，对所有的图像进行编号，保证相邻编号图像之间有足够的重叠区域，运用几何变换对齐并提取出重叠区域。S2，如图1所示，对于N个相机对应的图片，依次将每一个相机作为目标颜色(label)相机，计算所有相机的色彩映射曲线，其中相机校正顺序按照距离目标颜色相机的距离由近及本文档来自技高网...

【技术保护点】
1.一种基于优化直方图匹配的阵列相机色彩校正方法，其特征在于，包括如下步骤：/nS1，取待校正阵列相机拍摄的当前帧，对所有的图像进行编号，保证相邻编号图像之间有足够的重叠区域，运用几何变换对齐并提取出重叠区域；/nS2，对于所有N个相机对应的图片，依次将每一个相机作为目标颜色相机，计算所有相机的色彩映射曲线，其中相机校正顺序按照距目标颜色相机的距离由近及远依次进行，每一个校正后的图片作为下一个待校正图片的参考图片；相邻相机的色彩映射曲线在R、G和B通道上分别计算，对于每一个色彩通道，使用阈值将像素值划分为直方图匹配部分和曲线拟合部分；然后对所有像素值运用直方图匹配和边界限制，将直方图匹配部分保留，曲线拟合部分使用曲线拟合方法，最后对整个曲线平滑处理得到最终的映射曲线；/nS3，将所有相机的映射曲线按照相机权重进行加权平均，得到全局映射曲线；/nS4，对待校正阵列相机视频的每一帧在拼接之前运用全局映射曲线进行色彩校正。/n

【技术特征摘要】
1.一种基于优化直方图匹配的阵列相机色彩校正方法，其特征在于，包括如下步骤：
S1，取待校正阵列相机拍摄的当前帧，对所有的图像进行编号，保证相邻编号图像之间有足够的重叠区域，运用几何变换对齐并提取出重叠区域；
S2，对于所有N个相机对应的图片，依次将每一个相机作为目标颜色相机，计算所有相机的色彩映射曲线，其中相机校正顺序按照距目标颜色相机的距离由近及远依次进行，每一个校正后的图片作为下一个待校正图片的参考图片；相邻相机的色彩映射曲线在R、G和B通道上分别计算，对于每一个色彩通道，使用阈值将像素值划分为直方图匹配部分和曲线拟合部分；然后对所有像素值运用直方图匹配和边界限制，将直方图匹配部分保留，曲线拟合部分使用曲线拟合方法，最后对整个曲线平滑处理得到最终的映射曲线；
S3，将所有相机的映射曲线按照相机权重进行加权平均，得到全局映射曲线；
S4，对待校正阵列相机视频的每一帧在拼接之前运用全局映射曲线进行色彩校正。


2.根据权利要求1所述的一种基于优化直方图匹配的阵列相机色彩校正方法，其特征在于，所述步骤S2中，阈值具体为：直方图按像素数递增重新排序后重叠区域总像素数的5％在重排后累积直方图上对应的像素值。


3.根据权利要求1所述的一种基于优化直方图匹配的阵列相机色彩校正方法，其特征在于，所述步骤S2中，使用阈值将像素值划分为直方图匹配部分和曲线拟合部分的具体方法为：对于1～254之间的像素值，若对应的像素数小于阈值，该像素值划分为曲线拟合部分，否则划分为直方图匹配部分，0和255划分为直方图匹配部分。


4.根据权利要求1所述的一种基于优化直方图匹配的阵列相机色彩校正方法，其特征在于，所...

【专利技术属性】
技术研发人员：马展，丁春秋，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32