具有颜色、亮度和清晰度平衡的高品质全景图的生成方法技术

在全景图中的拼接图像上进行彩色、亮度和清晰度平衡，可以补偿图像之间曝光、对齐以及其他差异。生成图像之间重叠区域中Y、U和V值出现次数的直方图。将Y‑值直方图转换为累积密度函数(CDF)，然后再转换为Y颜色转换曲线，再将其平均以生成一个更平滑的平均Y颜色转换曲线。通过这种平均，抑制了由颜色转换引起的噪声和图像细节损失。对于U和V颜色值，使用移动平均直接对直方图柱条进行平均，然后由直方图的移动平均值来生成CDF。对重叠的源图像和目标图像的CDF的U和V，生成颜色转换曲线。使用颜色转换曲线来调整源图像中的所有像素，以执行颜色和亮度平衡。

A Method for Generating High Quality Panoramas with Color, Brightness and Clarity Balance

By balancing the color, brightness and clarity of mosaic images in panoramas, the exposure, alignment and other differences between images can be compensated. A histogram of the occurrence times of Y, U and V values in overlapping regions between images is generated. The Y value histogram is converted to the cumulative density function (CDF), and then to the Y color conversion curve, which is averaged to produce a smoother average Y color conversion curve. Through this averaging, noise and image detail loss caused by color conversion are suppressed. For U and V color values, moving average is used to average histogram bars directly, and then CDF is generated by moving average of histogram. For overlapping CDFs U and V of source and target images, color conversion curves are generated. The color conversion curve is used to adjust all the pixels in the source image to perform color and brightness balance.

【技术实现步骤摘要】
【国外来华专利技术】具有颜色、亮度和清晰度平衡的高品质全景图的生成方法
本专利技术涉及虚拟现实(VR)全景图的生成，更具体地，涉及拼接图像时颜色、亮度和清晰度的平衡。
技术介绍
在一个典型的虚拟现实(VR)应用中，要拍摄360度全景图像或视频。用户佩戴特殊护目镜如头戴式显示器(HMD)等，他可以自主选择和改变其视角，以在360度全景空间中获得身临其境的体验。随着VR照相机技术的进步和相机小型化，各种有趣且有用的应用是可能的。如GoPro相机之类的头盔可以被VR全景相机组替代，以允许在进行各种体育活动如山地自行车、滑雪、跳伞、旅行等时拍摄360度全景图。将VR相机安置在医院手术室里可以允许远程外科医生或医学生使用VR头盔或其他工具进行手术观察和交流。这些应用可能都需要非常准确地呈现虚拟空间。如何拍摄和生成360度全景视频，那会影响VR体验品质。在使用多个相机时，两个相邻相机图像相交的区域经常有视觉噪声和失真，这会影响用户体验。图1A-1E显示拼接图像以生成全景图像时的问题。图1A显示现有技术的VR环形相机。环形相机10有环形排列的多个相机12。相机12的这种布置使得能够拍摄360度全景。当相机12是摄像机时，就能拍摄全景视频。GoogleJump就是VR环形相机的一个示例。在图1B，图1A的环形相机是一圈生成高分辨率(HR)图像18的HR相机12，每个HR图像18是全景圆上的一段小弧。HR图像18彼此重叠，其中两个HR图像的细节以某种方式被合并在拼接区域19中。虽然HR图像18的大部分区域是良好的图像品质，但由于HR相机环中两个HR相机之间的视差和其它匹配误差，拼接区域19的图像品质会变差，导致图像噪声。在图1C，相机12L、12R是图1环形相机10中的两个相邻相机。物体14被相机12L、12R拍摄。但是，由于物体14与相机12L、12R分别具有不同的距离和角度，因此，相机12L、12R在图像框16上的不同位置看到物体14。在图1D，物体14出现在图像框架16上，作为由相机12L、12R分别看到的两个不同物体14L、14R。图像处理软件可以尝试估计物体14相对于每个相机12L、12R的深度以校正视差误差，但是深度估计可能不够精确且极具挑战性。物体匹配和深度估计会导致图像的非线性变形。如图1E所示，在相邻图像18L、18R拼接的交界处附近，失真会特别明显。测试图案就在图像18L、18R之间交界处失真。交界处的方格都被压扁并变窄了。这种失真是不希望的。由拼接造成的图像问题可能有各种原因。曝光时间和白平衡可能因图像不同而不同。相机环中的每个相机可能使用不同的焦距。有些透镜可能变脏了，而其他透镜镜头保持干净。图2显示现有技术全景图像中颜色和亮度的突变。两个图像120、122拼接起来以形成全景图像的一部分。图像120、122之间重叠区域110中的物体对齐得良好，但图像120、122之间的白平衡没有很好地匹配。特别地，图像120的天空明显比图像122的天空更暗。也许图像122中的直射阳光导致相机拍摄图像122使用了比相机拍摄图像120更短的曝光持续时间。也许由于图像122包括阳光而图像120却没有，所以要调整图像122中的白平衡以获得比图像120更亮的阳光。无论原因如何，当用户从图像120转到图像122时，这种白平衡不匹配会导致：图像120中黑暗天空，在重叠区域110中天空突然增亮的明显变化。在前景光照中看到相反效果。图像122中的较亮天空扰乱了白平衡，使得前景中的广场在区域124明显比周围区域126更暗。在区域124和周围区域126之间的112、114上出现突变。这些突变112、114在实际场景中人眼是看不到的：它们是由相邻拍摄图像之间白平衡不匹配所产生的误差。这些光照突变是不希望的。图3显示现有技术全景图像中的清晰度突变。两个图像130、132拼接起来以形成全景图像的一部分。在图像130、132之间过渡118附近的重叠区域中的物体对齐良好，但是图像130的细节明显更模糊和不那么清晰。在图像130、132拼接的过渡118上，图像132的清晰度细节和边缘极快地转变为图像130的模糊边缘。这种清晰度突变可能是由两个相机拍摄图像130、132的焦距差异引起的，或者其中一个相机的透镜变脏了而另一个相机的透镜是干清的。在图像之间拼接处的这种清晰度突变是不希望的。图4显示现有技术全景图像中移动物体的错位误差。移动物体(一个人)位于两个相邻图像的重叠区域中。在理想情况下，没有错位，物体完全对齐，可以看作是一个单个物体。但是，由于错位，将两个图像拼接起来时出现双边缘136。错位会导致源图像和目标图像之间的不正确颜色转换，因为用于计算颜色转换曲线的内容(重叠区域)不匹配。一个图像中物体颜色可能会转移到缺少该物体的相邻图像上，导致颜色匹配错误。这也是不希望的。已经有各种现有技术来调整拼接图像的颜色、亮度和清晰度。为了尝试正确地呈现中性色，像素亮度被全局调整以获得色平衡。色平衡是一个通用术语，可以包括灰平衡、白平衡和中性平衡。色平衡改变了整体的颜色混合，但通常是一种需要用户输入的手动技术。伽马(Gamma)校正是一种非线性调整，使用伽玛曲线来进行调整。通常需要用户输入来选择或调整伽马曲线。基于直方图的匹配来调整图像，使得图像的直方图匹配一个特定的直方图。当颜色与一个较暗的参考图像匹配时(像素从明亮值变为较暗值)，会产生噪声。当颜色与一个较亮的参考图像匹配(像素从暗变为明)时，会发生图像细节损失。图像之间重叠区域的错位会导致不正确的颜色匹配。反锐化掩膜使用一个模糊的或“不锐化的”负图像来创建原始图像的掩膜。然后反锐化掩膜与正(原始)图像合并，产生一个比原始图像更模糊的图像。由于难以选择图像中的哪些部分进行锐化，因此反锐化掩膜会变差。图5A-5C显示由现有技术的直方图匹配(使像素变暗)所产生的图像噪声。在图5A，图像140比周围图像142更亮，可能是由于较亮的白平衡或较长的曝光时间。图5B是使用直方图匹配使图像140中的亮像素变暗。但是，图像140的较暗区域可能会具有原始图像140里所没有的错误或噪声。图5C是图5B中蛋形建筑物的放大图。产生的噪声144沿着蛋形建筑物的上边缘，其中有阳光照射到图5A的原始图像140中该建筑物的上边缘。这些明亮-至-黑暗的噪声144是由现有技术的直方图匹配技术产生的，但该技术能够修复在前景广场中的白平衡误差。这些明亮-至-黑暗的噪声144是不希望的。图6A-6B显示由现有技术的直方图匹配(使像素变亮)所产生的图像细节损失。图6A-6B显示具有黑暗天空区域的水平线场景的放大图。图6A是原始图像，尽管天空太暗，但背景中的山脉仍然可见。图6B是使用直方图匹配来使图像中的亮像素更明亮。但是，像素从暗到亮的整体变化导致背景山脉的像素也变得更明亮。山脉像素增亮使山脉部分消失在明亮的天空中。在两个灯柱之间，山脉轮廓不再可见。如图6B所示，增亮天空像素来修正图像120的黑暗天空以便更好地匹配图像122的周围天空(图2)会导致细节损失。现有技术的直方图匹配会导致这种细节损失，尤其是对于图像的较亮部分。这种黑暗-至-明亮的细节损失是不希望的。尽管直方图匹配、白平衡和其他现有技术对于消除全景图像拼接时的颜色突变是有用的，但这些技术仍然本文档来自技高网...

【技术保护点】
1.一种图像拼接平衡方法，所述方法包括：接收多个图像，所述多个图像中相邻图像之间有重叠区域；确保所述多个图像是亮度‑颜色格式，其像素中每个像素包括具有Y值的亮度子层、具有U值的第一颜色子层、和具有V值的第二颜色子层，当所述多个图像的像素不是YUV‑空间像素时，将所述多个图像的像素转换成YUV‑空间像素；(1)选择所述多个图像中一个图像作为源图像，选择所述多个图像中另一个图像作为目标图像，其中所述源图像有一个与所述目标图像重叠的源重叠区域，所述目标图像有一个与所述源图像重叠的目标重叠区域；对所述源图像的源重叠区域和对所述目标图像的目标重叠区域，产生直方图，其中源‑Y直方图表示所述源重叠区域中每个Y值像素的出现计数，目标‑Y直方图表示所述目标重叠区域中Y值的出现计数；对所述源‑Y直方图产生源‑Y累积密度函数CDF，对所述目标‑Y直方图产生目标‑Y CDF；将所述源‑Y CDF与所述目标‑Y CDF合并，以生成Y颜色转换曲线，其中对于所述源‑Y CDF和所述目标‑Y CDF，具有相同值的源Y值和目标Y值被配对在一起，作为所述Y颜色转换曲线上的一点；使用移动平均来生成一个平均Y颜色转换曲线，其中所述平均Y颜色移动曲线比所述Y颜色转换曲线更平滑；使用所述平均Y颜色转换曲线，对所述源图像中的像素生成新Y值；将所述源图像中的Y值替换为所述新Y值；对所述多个图像中重叠的其他源图像和目标图像，重复所述步骤(1)，直到处理完所有重叠区域图像以形成一个包含所述新Y值的拼接图像；由此，使用所述平均Y颜色转换曲线，生成所述拼接图像中的所述新Y值。...

【技术特征摘要】
【国外来华专利技术】2018.03.06 US 15/913,7521.一种图像拼接平衡方法，所述方法包括：接收多个图像，所述多个图像中相邻图像之间有重叠区域；确保所述多个图像是亮度-颜色格式，其像素中每个像素包括具有Y值的亮度子层、具有U值的第一颜色子层、和具有V值的第二颜色子层，当所述多个图像的像素不是YUV-空间像素时，将所述多个图像的像素转换成YUV-空间像素；(1)选择所述多个图像中一个图像作为源图像，选择所述多个图像中另一个图像作为目标图像，其中所述源图像有一个与所述目标图像重叠的源重叠区域，所述目标图像有一个与所述源图像重叠的目标重叠区域；对所述源图像的源重叠区域和对所述目标图像的目标重叠区域，产生直方图，其中源-Y直方图表示所述源重叠区域中每个Y值像素的出现计数，目标-Y直方图表示所述目标重叠区域中Y值的出现计数；对所述源-Y直方图产生源-Y累积密度函数CDF，对所述目标-Y直方图产生目标-YCDF；将所述源-YCDF与所述目标-YCDF合并，以生成Y颜色转换曲线，其中对于所述源-YCDF和所述目标-YCDF，具有相同值的源Y值和目标Y值被配对在一起，作为所述Y颜色转换曲线上的一点；使用移动平均来生成一个平均Y颜色转换曲线，其中所述平均Y颜色移动曲线比所述Y颜色转换曲线更平滑；使用所述平均Y颜色转换曲线，对所述源图像中的像素生成新Y值；将所述源图像中的Y值替换为所述新Y值；对所述多个图像中重叠的其他源图像和目标图像，重复所述步骤(1)，直到处理完所有重叠区域图像以形成一个包含所述新Y值的拼接图像；由此，使用所述平均Y颜色转换曲线，生成所述拼接图像中的所述新Y值。2.根据权利要求1所述的拼接图像平衡方法，还包括：按一个缩放比率对所述新Y值进行缩放；其中所述缩放比率是最大Y值对最大新Y值的比率；其中将所述源图像中的Y值替换为所述新Y值包括：在按所述缩放比率进行缩放之后，将所述源图像中的Y值替换为所述新Y值。3.根据权利要求2所述的拼接图像平衡方法，还包括：通过将所述源重叠区域与所述目标重叠区域对齐，并通过混合所述目标重叠区域和所述源重叠区域中的所述源图像和所述目标图像的像素，将具有所述新Y值的所述源图像与所述目标图像拼接起来。4.根据权利要求2所述的拼接图像平衡方法，还包括：(2)对所述源图像和对所述目标图像，生成直方图，其中源-U直方图表示所述源重叠区域上U值的出现计数，源-V直方图表示所述源重叠区域上V值的出现计数，目标-U直方图和目标-V直方图分别表示所述目标重叠区域上U值和V值的出现计数；通过对所述源-U直方图的出现计数进行平均，生成一个平均源-U直方图；通过对所述源-V直方图的出现计数进行平均，生成一个平均源-V直方图；通过对所述目标-U直方图的出现计数进行平均，生成一个平均目标-U直方图；通过对所述目标-V直方图的出现计数进行平均，生成一个平均目标-V直方图；从所述平均源-U直方图生成一个源-UCDF；从所述平均源-V直方图生成一个源-VCDF；从所述平均目标-U直方图生成一个目标-UCDF；从所述平均目标-V直方图生成一个目标-VCDF；将所述源-UCDF与所述目标-UCDF合并以生成一个U颜色转换曲线，其中对于所述源-UCDF和所述目标-UCDF，具有相同值的源U值和目标U值被配对在一起，作为所述U颜色转换曲线上的一点；将所述源-VCDF与所述目标-VCDF合并以生成一个V颜色转换曲线，其中对于所述源-VCDF和所述目标-VCDF，具有相同值的源V值和目标V值被配对在一起，作为所述V颜色转换曲线上的一点；使用所述U颜色转换曲线，对所述源图像中的像素生成新U值；使用所述V颜色转换曲线，对所述源图像中的像素生成新V值；将所述源图像中的U值替换为所述新U值；将所述源图像中的V值替换为所述新V值；对所述多个图像中重叠的其他源图像和目标图像，重复所述步骤(2)，直到处理完所有重叠区域图像，以形成包含所述新Y值和所述新V值的拼接图像；其中平均直方图用于产生所述新U值和所述新V值，所述平均Y颜色转换曲线用于产生所述新Y值；其中U、V过程是在CDF生成之前将直方图平均，而Y过程是在CDF生成之后将Y颜色转换曲线平均。5.根据权利要求4所述的拼接图像平衡方法，还包括：其中CDF是指从最小子层值到当前子层值的出现计数之和，其中随着出现计数被累计到所述CDF，所述CDF从所述最小子层值上升到所述最大子层值。6.根据权利要求4所述的拼接图像平衡方法，其中当所述源重叠区域比所述目标重叠区域更亮时，所述Y颜色转换曲线是一个有突然弯曲的凹面形状；其中当所述源重叠区域比所述目标重叠区域更亮时，所述平均Y颜色转换曲线是一个没有突然弯曲的凹面形状；其中，当使用具有突然弯曲的Y颜色转换曲线、没有使用平均来生成所述新Y值时，产生所述源图像中的可视明-至-暗噪声，而当使用所述平均Y颜色转换曲线来生成所述新Y值时，则避免了这些可视明-至-暗噪声；其中当使用所述平均Y颜色转换曲线时，不会产生所述源图像中的可视明-至-暗噪声。7.根据权利要求4所述的拼接图像平衡方法，其中当所述源重叠区域比所述目标重叠区域更暗时，所述Y颜色转换曲线是一个有平坦区域的凸面形状；其中当所述源重叠区域比所述目标重叠区域更暗时，所述平均Y颜色转换曲线是一个没有所述平坦区域的凸面形状；其中所述Y值的饱和发生在所述平坦区域，即发生细节损失的地方；其中使用平均以形成所述平均Y颜色转换曲线，使得所述平坦区域有一个斜率，而不再是具有饱和度的平坦区域；其中当使用具有所述平坦区域的Y颜色转换曲线、没有使用平均来生成所述新Y值时，产生所述源图像中的可视细节损失，当使用所述平均Y颜色转换曲线来生成所述新Y值时，则避免了可视细节损失；其中通过使用所述平均Y颜色转换曲线，避免了所述源图像中的暗-至-明的细节损失。8.根据权利要求3所述的拼接图像平衡方法，还包括：将所述拼接图像分成块；计算所有块中的每个块内的多个子块的绝对差和(SAD)；找出一个最大SAD，所述最大SAD是每个块的所述多个子块的SAD的最大值；比较所述最大SAD和一个阈值；当所述最大SAD高于所述阈值时，将所述块分配到第一组；当所述最大SAD低于所述阈值时，将所述块分配到第二组；使用第一锐化参数值，对所述第一组中的每个块执行锐化操作；使用第二锐化参数值，对所述第二组中的每个块执行锐化操作；其中在将图像拼接成所述拼接图像之后，图像被一起锐化；其中在通过与所述阈值比较而确定的组里，所述拼接图像中的图像被一起锐化。9.根据权利要求3所述的拼接图像平衡方法，还包括：将所述拼接图像分成块；计算所有块中的每个块内的多个子块的绝对差和(SAD)；找出一个最大SAD，所述最大SAD是每个块的所述多个子块的SAD的最大值；将所述最大SAD与第一阈值和第二阈值进行比较；当所述最大SAD高于所述第一阈值时，将所述块分配到第一组；当所述最大SAD低于所述第一阈值但高于所述第二阈值时，将所述块分配到第二组；当所述最大SAD低于所述第二阈值时，将所述块分配到第三组；使用第一锐化参数值，对所述第一组中的每个块执行锐化操作；使用第二锐化参数值，对所述第二组中的每个块执行锐化操作；使用第三锐化参数值，对所述第三组中的每个块执行锐化操作；其中在将图像拼接成所述拼接图像之后，图像被一起锐化；其中在通过与多个阈值比较而确定的组里，所述拼接图像中的图像被一起锐化。10.根据权利要求3所述的拼接图像平衡方法，其中所述拼接图像是一个全景图像，包括至少6个图像在所述多个图像中，形成一个360度的连续环。11.一种全景生成器，包括：图像加载器，其加载图像，所述图像重叠以形成至少一部分全景图像；其中图像中的像素包括子层，所述子层包括指示像素亮度的Y值和指示像素颜色的U和V值；图像选择器，其选择由所述图像加载器加载的一个图像作为源图像，并选择由所述图像加载器加载的另一图像作为目标图像，其中所述源图像和所述目标图像部分重叠；重叠检测器，其识别所述源图像中的源重叠区域中的以及所述目标图像中的目标重叠区域中的像素，其中所述源重叠区域和所述目标重叠区域包含的像素是从在所述源图像和所述目标图像中均可见的同一可视物体而拍摄的；直方图生成器，其对所述源重叠区域的和所述目标重叠区域生成子层值的直方图；Y通道过程，其构建一个平均Y颜色转换曲线，所述平均Y...

【专利技术属性】
技术研发人员：陈智豪，王东鹏，
申请(专利权)人：香港应用科技研究院有限公司，
类型：发明
国别省市：中国香港,81