全景图像的色调映射方法和装置制造方法及图纸

本申请提供一种全景图像的色调映射方法和装置。本申请全景图像的色调映射方法，包括：从多个元数据信息单元中确定第一像素点的一个或多个目标元数据信息单元，所述多个元数据信息单元是解析码流得到的，所述第一像素点是待处理的全景视频二维平面投影图中的任意一个像素点，所述多个元数据信息单元和全景视频三维球面表达全景图包括的多个分割区域对应，所述全景视频二维平面投影图和所述全景视频三维球面表达全景图具有映射关系；根据所述一个或多个目标元数据信息单元对所述第一像素点的像素值进行色调映射以得到所述第一像素点的目标色调映射值。本申请可以提高全景图像的处理效率。的处理效率。的处理效率。

【技术实现步骤摘要】
全景图像的色调映射方法和装置


[0001]本申请涉及图像处理领域，特别涉及一种全景图像的色调映射方法和装置。

技术介绍

[0002]动态范围(dynamic range)在很多领域用来表示某个变量的最大值和最小值的比率。 在数字图像中，动态范围用于表示在图像可显示的范围内最大灰度值和最小灰度值之间的 比率。真实世界的同一场景下，其动态范围通常在10
‑
3坎德拉/平方米(cd/m2)到 106cd/m2之间，称作高动态范围(high dynamic range，HDR)。目前大部分的彩色数字 图像中，0～255就是图像的动态范围，称作低动态范围(low dynamic range，LDR)。
[0003]由于显示设备的照度范围和真实世界的动态范围存在差异，因此需要将真实世界的动 态范围映射至显示设备的照度范围，称作动态范围的映射。动态范围的映射可以应用在前 端HDR信号和显示端HDR的显示设备的适配上，例如，前端采集到4000cd/m2的光照 信号，而显示端HDR的显示设备的HDR显示能力为500cd/m2，把4000cd/m2的光照信 号映射到500cd/m2的显示设备上，是一种从高到低的色调映射(tone mapping，TM)过 程。动态范围的映射也可以应用在前端SDR信号和显示端HDR的显示设备的适配上，例 如，前端采集到100cd/m2的光照信号，而显示端HDR的显示设备的HDR显示能力为 2000cd/m2，把100cd/m2的光照信号映射到2000cd/m2的显示设备上，是一种从低到高 的TM过程。
[0004]目前动态范围的映射方法可以分为静态和动态两种。静态的映射方法是根据同一个视 频内容或者同一个硬盘内容，由单一的数据进行整体的TM过程，也就是针对各种场景， 映射曲线通常是一样的。这种方法的优点是图像需要携带的数据较少，并且处理流程比较 简单；缺点是所有场景都使用同一映射曲线进行TM，这样在有一些场景会导致信息丢失， 例如如果映射曲线重点保护的是亮区，那么在一些极其暗的场景会丢掉一些细节，或者干 脆看不见，这样会影响图像的显示效果。动态的映射方法是根据特定区域，针对每一个场 景或者每一帧的内容进行映射曲线的动态调整，这种方法的优点是可以实现不同场景或者 不同帧的差异化处理；缺点是需要在每一帧或者每一场景中携带相关的场景信息，图像需 要携带的数据量较大。
[0005]但是，无论是上述哪种方法都无法兼容全景视频的动态范围的映射。

技术实现思路

[0006]本申请提供一种全景图像的色调映射方法和装置，以提高全景图像的处理效率。
[0007]第一方面，本申请提供一种全景图像的色调映射方法，包括：从多个元数据信息单元 中确定第一像素点的一个或多个目标元数据信息单元，所述多个元数据信息单元是解析码 流得到的，所述第一像素点是待处理的全景视频二维平面投影图中的任意一个像素点，所 述多个元数据信息单元和全景视频三维球面表达全景图包括的多个分割区域对应，所述全 景视频二维平面投影图和所述全景视频三维球面表达全景图具有映射关系；根据所述一个 或多个目标元数据信息单元对所述第一像素点的像素值进行色调映射以得到所
述第一像 素点的目标色调映射值。
[0008]本申请，通过将与全景图像对应的全景视频三维球面表达全景图划分成多个分割区域， 根据每个分割区域包含的映射点所对应的像素点生成该分割区域的元数据信息单元，从而 通过元数据信息单元指导显示端生成对应于该分割区域的色调映射曲线，进而实现从图像 到显示的色调映射，既可以针对性的对全景图像上的不同动态范围区域确定匹配的色调映 射参数，又可以符合显示端的显示动态范围，提高全景图像的处理效率。
[0009]在一种可能的实现方式中，所述从多个元数据信息单元中确定第一像素点的一个或多 个目标元数据信息单元之前，所述方法还包括：获取所述多个分割区域。
[0010]在一种可能的实现方式中，所述获取所述多个分割区域，包括：根据预设的划分方式 对所述全景视频三维球面表达全景图进行划分以得到所述多个分割区域。
[0011]在一种可能的实现方式中，所述获取所述多个分割区域，包括：根据解析所述码流得 到的划分方式对所述全景视频三维球面表达全景图进行划分以得到所述多个分割区域。
[0012]在一种可能的实现方式中，所述多个分割区域是通过对所述全景视频三维球面表达全 景图以预设视角间隔规则进行划分得到的；或者，
[0013]所述多个分割区域是通过对所述全景视频三维球面表达全景图从纬度方向上进行划 分得到的；和/或，所述多个分割区域是通过对所述全景视频三维球面表达全景图从经度方 向上进行划分得到的。
[0014]在一种可能的实现方式中，所述对所述全景视频三维球面表达全景图进行划分，以得 到所述多个分割区域，包括：对所述全景视频二维平面投影图包括的多个像素点进行聚类 以得到多个像素点集合；将所述多个像素点分别映射至所述全景视频三维球面表达全景图； 将第一像素点集合包括的像素点在所述全景视频三维球面表达全景图上对应的映射点形 成的区域作为第一分割区域，所述第一像素点集合是所述多个像素点集合中的一个，所述 第一分割区域是所述多个分割区域中的一个。
[0015]在一种可能的实现方式中，所述对所述全景视频三维球面表达全景图进行划分，以得 到所述多个分割区域，包括：将所述全景视频二维平面投影图包括的多个像素点分别映射 至所述全景视频三维球面表达全景图以得到多个映射点；对所述多个映射点进行聚类以得 到多个映射点集合；将第一映射点集合包括的映射点形成的区域作为第二分割区域，所述 第一映射点集合是所述多个映射点集合中的一个，所述第二分割区域是所述多个分割区域 中的一个。
[0016]在一种可能的实现方式中，所述获取所述多个分割区域，包括：根据解析所述码流得 到的所述多个分割区域的指示信息获取所述多个分割区域。
[0017]本申请可以采用上述多个划分方法中的一个对全景视频三维球面表达全景图进行划 分以得到多个分割区域，可以适应于全景视频二维平面投影图的像素分布，从而使得色调 映射可以以分割区域为单位，在较小的动态范围内实现色调映射，提高色调映射效率。
[0018]在一种可能的实现方式中，所述从多个元数据信息单元中确定第一像素点的一个或多 个目标元数据信息单元，包括：确定所述多个元数据信息单元和多个分割区域之间的对应 关系，一个所述元数据信息单元对应一个或多个所述分割区域；根据设定映射点确定
一个 或多个目标分割区域；当只有一个目标分割区域时，将所述一个目标分割区域对应的元数 据信息单元确定为所述一个目标元数据信息单元；或者，当有多个目标分割区域时，将所 述多个目标分割区域分别对应的元数据信息单元确定为所述多个目标元数据信息单元。
[0019]在一种可能的实现方式中，所述确定所述多个元数据信息单元和多个分割区域之间的 对应关系，包括：按照第一预设顺序从所述多个元数据信息单元中提取当前本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种全景图像的色调映射方法，其特征在于，包括：从多个元数据信息单元中确定第一像素点的一个或多个目标元数据信息单元，所述多个元数据信息单元是解析码流得到的，所述第一像素点是待处理的全景视频二维平面投影图中的任意一个像素点，所述多个元数据信息单元和全景视频三维球面表达全景图包括的多个分割区域对应，所述全景视频二维平面投影图和所述全景视频三维球面表达全景图具有映射关系；根据所述一个或多个目标元数据信息单元对所述第一像素点的像素值进行色调映射,以得到所述第一像素点的目标色调映射值。2.根据权利要求1所述的方法，其特征在于，所述从多个元数据信息单元中确定第一像素点的一个或多个目标元数据信息单元之前，所述方法还包括：获取所述多个分割区域。3.根据权利要求2所述的方法，其特征在于，所述获取所述多个分割区域，包括：根据预设的划分方式对所述全景视频三维球面表达全景图进行划分，以得到所述多个分割区域。4.根据权利要求2所述的方法，其特征在于，所述获取所述多个分割区域，包括：根据解析所述码流得到的划分方式对所述全景视频三维球面表达全景图进行划分，以得到所述多个分割区域。5.根据权利要求3或4所述的方法，其特征在于，所述多个分割区域是通过对所述全景视频三维球面表达全景图以预设视角间隔规则进行划分得到的；或者，所述多个分割区域是通过对所述全景视频三维球面表达全景图从纬度方向上进行划分得到的；和/或，所述多个分割区域是通过对所述全景视频三维球面表达全景图从经度方向上进行划分得到的。6.根据权利要求3或4所述的方法，其特征在于，所述对所述全景视频三维球面表达全景图进行划分，以得到所述多个分割区域，包括：对所述全景视频二维平面投影图包括的多个像素点进行聚类以得到多个像素点集合；将所述多个像素点分别映射至所述全景视频三维球面表达全景图；将第一像素点集合包括的像素点在所述全景视频三维球面表达全景图上对应的映射点形成的区域作为第一分割区域，所述第一像素点集合是所述多个像素点集合中的一个，所述第一分割区域是所述多个分割区域中的一个。7.根据权利要求3或4所述的方法，其特征在于，所述对所述全景视频三维球面表达全景图进行划分，以得到所述多个分割区域，包括：将所述全景视频二维平面投影图包括的多个像素点分别映射至所述全景视频三维球面表达全景图以得到多个映射点；对所述多个映射点进行聚类以得到多个映射点集合；将第一映射点集合包括的映射点形成的区域作为第二分割区域，所述第一映射点集合是所述多个映射点集合中的一个，所述第二分割区域是所述多个分割区域中的一个。8.根据权利要求2所述的方法，其特征在于，所述获取所述多个分割区域，包括：根据解析所述码流得到的所述多个分割区域的指示信息获取所述多个分割区域。
9.根据权利要求1
‑
8中任一项所述的方法，其特征在于，所述从多个元数据信息单元中确定第一像素点的一个或多个目标元数据信息单元，包括：确定所述多个元数据信息单元和多个分割区域之间的对应关系，一个所述元数据信息单元对应一个或多个所述分割区域；根据设定映射点确定一个或多个目标分割区域；当只有一个目标分割区域时，将所述一个目标分割区域对应的元数据信息单元确定为所述一个目标元数据信息单元；或者，当有多个目标分割区域时，将所述多个目标分割区域分别对应的元数据信息单元确定为所述多个目标元数据信息单元。10.根据权利要求9所述的方法，其特征在于，所述确定所述多个元数据信息单元和多个分割区域之间的对应关系，包括：按照第一预设顺序从所述多个元数据信息单元中提取当前元数据信息单元；按照第二预设顺序从所述多个分割区域中提取当前分割区域；将所述当前分割区域和所述当前元数据信息单元建立对应关系。11.根据权利要求9所述的方法，其特征在于，所述确定所述多个元数据信息单元和多个分割区域之间的对应关系，包括：按照第一预设顺序从所述多个元数据信息单元中提取当前元数据信息单元；按照解析所述码流得到的遍历顺序从所述多个分割区域中提取当前分割区域；将所述当前分割区域和所述当前元数据信息单元建立对应关系。12.根据权利要求9所述的方法，其特征在于，所述确定所述多个元数据信息单元和多个分割区域之间的对应关系，包括：按照第一预设顺序从所述多个元数据信息单元中提取当前元数据信息单元；获取所述当前元数据信息单元包括的一个或多个坐标；根据所述一个或多个坐标在所述全景视频三维球面表达全景图上确定一个或多个映射点；当只有一个映射点时，将所述一个映射点所属的分割区域和所述当前元数据信息单元建立对应关系；当有多个映射点时，将所述多个映射点所属的至少一个分割区域和所述当前元数据信息单元建立对应关系。13.根据权利要求9
‑
12中任一项所述的方法，其特征在于，所述设定映射点为所述第一像素点在所述全景视频三维球面表达全景图上的第一映射点；所述根据设定映射点确定一个或多个目标分割区域，包括：以所述第一映射点为中心在所述全景视频三维球面表达全景图上确定第一覆盖范围；当所述第一覆盖范围包括一个分割区域时，将所述一个分割区域确定为所述一个目标分割区域；或者，当所述第一覆盖范围包括多个分割区域时，将所述多个分割区域确定为所述多个目标分割区域。14.根据权利要求9
‑
12中任一项所述的方法，其特征在于，所述设定映射点为所述全景视频三维球面表达全景图上的视点中心；所述根据设定映射点确定一个或多个目标分割区
域，包括：确定所述视点中心所属的第二分割区域，所述多个分割区域包括所述第二分割区域；将所述第二分割区域确定为所述一个目标分割区域。15.根据权利要求9
‑
12中任一项所述的方法，其特征在于，所述设定映射点为所述全景视频三维球面表达全景图上的视点中心；所述根据设定映射点确定一个或多个目标分割区域，包括：以所述视觉中心为中心在所述全景视频三维球面表达全景图上确定第二覆盖范围；当所述第二覆盖范围包括一个分割区域时，将所述一个分割区域确定为所述一个目标分割区域；或者，当所述第二覆盖范围包括多个分割区域时，将所述多个分割区域确定为所述多个目标分割区域。16.根据权利要求1
‑
15中任一项所述的方法，其特征在于，所述根据所述一个或多个目标元数据信息单元对所述第一像素点的像素值进行色调映射以得到所述第一像素点的目标色调映射值，包括：根据所述一个或多个目标元数据信息单元获取一条或多条色调映射曲线；当只有一条色条映射曲线时，根据所述一条色调映射曲线对所述第一像素点的像素值进行色调映射以得到所述目标色调映射值；或者，当有多条色条映射曲线时，根据所述多条色调映射曲线分别对所述第一像素点的像素值进行色调映射以得到所述第一像素点的多个色调中间值；根据所述多个色调中间值获取所述目标色调映射值。17.根据权利要求16所述的方法，其特征在于，所述根据所述多个色调中间值获取所述目标色调映射值，包括：将所述多个色调中间值中的中间值确定为所述目标色调映射值；或者，对所述多个色调中间值进行加权平均以得到所述目标色调映射值，所述多个色调中间值的加权系数是预先设定的，或者所述多个色调中间值的加权系数与所述第一像素点与各个分割区域的中心点的距离相关，或者，所述多个色调中间值的加权系数与所述多个目标元数据信息单元分别对应的分割区域的面积比重相关。18.一种全景图像的色调映射方法，其特征在于，包括：获取第一分割区域包括的至少一个映射点，所述第一分割区域是全景视频三维球面表达全景图包括的多个分割区域中的一个，所述全景视频三维球面表达全景图和待处理的全景视频二维平面投影图具有映射关系，所述至少一个映射点和所述全景视频二维平面投影图上的至少一个像素点对应；根据所述至少一个像素点生成所述第一分割区域的元数据信息单元；将所述第一分割区域的元数据信息单元写入码流。19.根据权利要求18所述的方法，其特征在于，所述根据所述至少一个像素点生成所述第一分割区域的元数据信息单元之后，所述方法还包括：当所述第一分割区域和第二分割区域的直方图和/或亮度满足设定条件时，对所述第一分割区域的元数据信息单元和所述第二分割区域的第二元数据信息单元进行融合以得到所述第一分割区域和所述第二分割区域的元数据信息单元，所述第二分割区域是所述多
个分割区域中的一个。20.根据权利要求18或19所述的方法，其特征在于，所述获取第一分割区域包括的至少一个映射点之前，所述方法还包括：将所述全景视频二维平面投影图映射至所述全景视频三维球面表达全景图；对所述全景视频三维球面表达全景图进行划分以得到所述多个分割区域。21.根据权利要求20所述的方法，其特征在于，所述对所述全景视频三维球面表达全景图进行划分以得到所述多个分割区域，包括：根据预设的划分方式对所述全景视频三维球面表达全景图进行划分以得到所述多个分割区域。22.根据权利要求20所述的方法，其特征在于，所述对所述全景视频三维球面表达全景图进行划分以得到所述多个分割区域，包括：根据基于预设规则确定的划分方式对所述全景视频三维球面表达全景图进行划分以得到所述多个分割区域。23.根据权利要求21或22所述的方法，其特征在于，所述多个分割区域是通过对所述全景视频三维球面表达全景图以预设视角间隔规则进行划分得到的；或者，所述多个分割区域是通过对所述全景视频三维球面表达全景图从纬度方向上进行划分得到的；和/或，所述多个分割区域是通过对所述全景视频三维球面表达全景图从经度方向上进行划分得到的。24.根据权利要求21或22所述的方法，其特征在于，所述对所述全景视频三维球面表达全景图进行划分以得到所述多个分割区域，包括：对所述全景视频二维平面投影图包括的多个像素点进行聚类以得到多个像素点集合；将所述多个像素点分别映射至所述全景视频三维球面表达全景图；将第一像素点集合包括的像素点在所述全景视频三维球面表达全景图上对应的映射点形成的区域作为第一分割区域，所述第一像素点集合是所述多个像素点集合中的一个，所述第一分割区域是所述多个分割区域中的一个。25.根据权利要求21或22所述的方法，其特征在于，所述对所述全景视频三维球面表达全景图进行划分以得到所述多个分割区域，包括：将所述全景视频二维平面投影图包括的多个像素点分别映射至所述全景视频三维球面表达全...

【专利技术属性】
技术研发人员：徐巍炜，余全合，陈虎，王弋川，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：