一种依赖观看条件的图像显示适配方法组成比例

本发明专利技术公开了一种依赖观看条件的图像显示适配方法。本方法为：1)计算图像中傅里叶域中任一点处对应的图像模式的真实对比度、空间频率；2)计算缩放处理的最优缩放比例，根据该最优缩放比例对该图像进行缩放，得到一中间图像；然后对该中间图像进行变形处理，在变形过程中尽量保持每一受关注区域si形状不变，得到一与目标屏幕适配的目标图像。本方法利用对比敏感性概念首先建立图像观看条件与人类视觉系统响应的关系。然后决策图像受关注区域的最优目标缩放比例。得到最优目标缩放比例后，对不同图像区域朝着目标显示尺寸进行变形变换处理，得到最优的适配观看条件和显示设备的图像显示。

【技术实现步骤摘要】
一种依赖观看条件的图像显示适配方法
本专利技术属于计算机图像处理领域，具体涉及一种依赖观看条件的图像显示适配方法。
技术介绍
近年来，人们经常相互之间分享照片、图像、视频等多媒体。这就需要从不同的显示设备上观看同一幅图像或视频。原始采集图像的分辨率已经固定，为了适配不同的显示设备，需要对图像进行重新编辑，使其适配显示设备。例如，在交互式屏幕共享应用(家庭应用的多屏切换)中，一幅图像可以分别从电脑，智能手机，智能电视等屏幕上进行观看。而由于不同显示设备的显示尺寸不一样，用户得到的观看体验质量也不完全相同。为了保证在不同的显示设备上观看同一幅图像都能得到最优的体验质量，研究人员提出了基于内容感知的图像重定向方法。即重新编辑图像内容，尽量保留或放大一些重要的、能引起观看者注意的内容，而挤压、去掉一些观看者不关注的内容。这种方法在一定程度上能够有效的改善同一幅图像在不同显示设备上的观看体验质量。目前主要有两类基于内容感知的图像显示适配方法。一种方法是基于图像变形的方法。这种方法连续的改变像素的位置关系，能够保持图像的整体结构，突出图像的显著区域。但是，很难做到大部分图像内容的一致性，也就是图像内容的自然协调性并不十分理想。另一种方法是一种以离散形式处理图像像素关系的方法，代表性的方法就是基于接缝雕刻的方法。这种方法用以不同的处理粒度对待相邻的像素，因此图像的像素之间的平滑性并不完美。目前的图像显示适配方法忽略了观看条件变化对观看体验质量的影响。观看条件，例如观看距离，屏幕的显示PPI(PixelsPerInch))等都会对观看体验造成影响。由于观看条件的不同，图像内容显示的最优尺寸大小并不一定与显示设备的大小一致。所以目前以显示设备为最优目标图像大小的图像显示适配方法并不能达到观看体验质量的最优。特别是图像内容中，受关注对象的保留程度与观看条件息息相关，其直接影响观看体验质量。另外，目前的基于内容感知的图像显示适配方法忽略了人类视觉系统对不同显示情况感知不同的因素。例如人类视觉系统与内容适配变换之间的关系，还没有被深刻认识。
技术实现思路
针对目前图像适配处理方法忽略了观看条件影响适配质量的问题，本专利技术的目的在于提供一种依赖观看条件的图像显示适配方法。本方法利用对比敏感性概念首先建立图像观看条件与人类视觉系统响应的关系。然后决策图像受关注区域的最优目标缩放比例。得到最优目标缩放比例后，对不同图像区域朝着目标显示尺寸进行变形变换处理，得到最优的适配观看条件和显示设备的图像显示。本
技术实现思路
主要分为两个环节：1)依赖观看条件的受关注区域的最优缩放比例的决策；2)保持最优关注区域尺寸的图像变形处理。本专利技术的技术方案为：一种依赖观看条件的图像显示适配方法，其步骤为：1)计算图像中傅里叶域中任一点(u,v)处对应的图像模式的真实对比度，得到该图像在空间频率域的对比度图MC，以及计算该图像任一点(u,v)处的空间频率f(u,v)，得到该图像在空间频率域的空间频率分布图MF；2)通过公式计算缩放处理的最优缩放比例SFopt，根据该最优缩放比例SFopt对该图像进行缩放，得到一中间图像；然后对该中间图像进行变形，在变形过程中尽可能保持每一受关注区域si形状不变，得到一与目标屏幕适配的目标图像；其中，SF为缩放因子，Pi表示在原观看环境下对第i个受关注区域si的感知，P′i表示在目标观看环境下将第i个受关注区域si按因子SF缩放之后的感知，N为受关注区域总数，其中，根据MC和MF共同刻画Mi(f)，Mi(f)表示第i个受关注区域中各位置对应的空间频率和真实对比度的综合描述；MCSF(f)表示CSF滤波矩阵，矩阵的每个元素由MF中对应位置的空间频率代入到CSF(f)滤波函数计算得到，计算出Mi(f)的过程表示为ξ(si)，ξ-1操作是与ξ操作相反的过程。进一步的，对该中间图像进行变形的方法为：1)对该中间图像进行网格划分；2)求出该中间图像中缩放后的受关注区域分布；3)基于网格对该中间图像进行变形。进一步的，对该中间图像进行变形的方法为：对受关注区域集合Ψ中的四边形网格和非受关注区域集合Φ中的四边形网格分别设定一不同的初始失真函数；然后计算按照当前设定的失真函数对该中间图像进行变形的加权失真总和Q，取Q最小化时对应的失真函数对该中间图像进行变形。进一步的，加权失真总和其中，为Ψ中索引为的四边形网格的权重，其值为该四边形网格的平均关注值；wφ为Φ中索引为φ的四边形网格的权重，为网格由变为过程中产生的失真，其中指索引为的四边形网格，为索引为的变形图像中的四边形网格；为网格由qφ变为q′φ过程中产生的失真，其中qφ指索引为φ的四边形网格，而q′φ为索引为φ′的变形图像中的四边形网格。进一步的，加权失真总和为Ψ中索引为四边形网格的顶点坐标集合，变形后为πφ为Φ中索引为φ四边形网格的顶点坐标集合，变形后为π′φ；t(·)为平移操作s(·)为相似性变换。进一步的，将公式中的min|s(πφ)-π′φ|2替换为min|R·ε-π′φ|2；其中，相似性变换s(·)用向量ε＝[α,β,τx,τy]来表征，α代表缩放变换参数，β代表旋转变换参数，τx和τy代表x方向和y方向的平移向量，s(πφ)＝R·ε，R为相似性变形变换矩阵；然后将最小化表达式|R·ε-π′φ|2的求解问题转换为求最优ε的问题，设R·ε＝π′φ，求得最优εopt＝(RTR)-1RTπ′φ；然后计算得到min|R·ε-π′φ|2＝|R·εopt-π′φ|2＝|Hs·π′φ|2，Hs＝R(RTR)-1RT-E，E为单位矩阵；最后通过最小线性二乘的方法求解进一步的，对Ψ中的四边形网格仅进行平移操作t(·)。进一步的，通过基于上下文感知的关注区域检测方法求出图像的关注区域分布。进一步的，滤波函数CSF(f)为CSF(f)＝2.6·(0.0192+0.114·f)·exp(-(0.114·f)1.1)。本专利技术的优点和积极效果如下：与传统的单纯基于内容感知的图像显示适配不同，本专利技术通过引入观看条件和用户观看体验质量的依赖关系，利用图像的对比敏感性概念，在图像显示适配过程中控制关注区域的最优尺寸，使得得到的图像能够在当前的现实条件下得到最优的观看体验。表1给出了从电脑屏幕(D1)到智能手机屏幕(D2)，电脑屏幕到智能电视屏幕(D3)的不同图像适配处理方法的观看体验质量评价的对比数据。对比数据显示的是平均体验分值(最小为0，代表最差；最大值为5，代表最好)其中ES代表对图像均匀缩放的方法，SC代表接缝雕刻的图像显示适配方法，SPR代表形状保持变形的图像显示适配的方法。Ours表示我们提出的依赖观看条件的图像显示适配方法。针对不同图像“Boats”，“Diving”的结果显示我们提出的方法能够获得更高的观看体验质量。表1不同图像显示适配处理方法的主观体验质量评价对比附图说明图1为本专利技术的方法流程图；图2为图像傅里叶变换处理图；(a)为图像的傅里叶域图，(b)为(0，0)处傅里叶反变换图，(c)为(0，0)、(k，0)处傅里叶反变换图，(d)为(k，0)、(k，k)处傅里叶反变换图；图3为在屏幕上观看图2(c)的示意图。具体实施方式下面结合附图详细说明本专利技术的技术方案，本专利技术的方法流程如图1所示本文档来自技高网...

【技术保护点】
一种依赖观看条件的图像显示适配方法，其步骤为：1)计算图像中傅里叶域中任一点(u,v)处对应的图像模式的真实对比度，得到该图像在空间频率域的对比度图MC，以及计算该图像任一点(u,v)处的空间频率f(u,v)，得到该图像在空间频率域的空间频率分布图MF；2)通过公式计算缩放处理的最优缩放比例SFopt，根据该最优缩放比例SFopt对该图像进行缩放，得到一中间图像；然后对该中间图像进行变形，在变形中保持每一受关注区域si形状不变，得到一与目标屏幕适配的目标图像；其中，SF为缩放因子，Pi表示在原观看环境下对第i个受关注区域si的感知，Pi′表示在目标观看环境下将第i个受关注区域si按因子SF缩放之后的感知，N为受关注区域总数，其中，根据MC和MF共同刻画Mi(f)，Mi(f)表示第i个受关注区域中各位置对应的空间频率和真实对比度的综合描述；MCSF(f)表示CSF滤波矩阵，矩阵的每个元素由滤波函数CSF(f)计算得到，滤波函数CSF(f)中的空间频率f为MF中的空间频率，计算出Mi(f)的过程表示为ξ(si)，ξ‑1操作是与ξ操作相反的过程。

【技术特征摘要】
1.一种依赖观看条件的图像显示适配方法，其步骤为：1)计算图像中傅里叶域中任一点(u,v)处对应的图像模式的真实对比度，得到该图像在空间频率域的对比度图MC，以及计算该图像任一点(u,v)处的空间频率f(u,v)，得到该图像在空间频率域的空间频率分布图MF；2)通过公式计算缩放处理的最优缩放比例SFopt，根据该最优缩放比例SFopt对该图像进行缩放，得到一中间图像；然后对该中间图像进行变形，在变形中保持每一受关注区域si形状不变，得到一与目标屏幕适配的目标图像；其中，SF为缩放因子，Pi表示在原观看环境下对第i个受关注区域si的感知，Pi′表示在目标观看环境下将第i个受关注区域si按因子SF缩放之后的感知，N为受关注区域总数，其中，根据MC和MF共同刻画Mi(f)，Mi(f)表示第i个受关注区域中各位置对应的空间频率和真实对比度的综合描述；MCSF(f)表示CSF滤波矩阵，矩阵的每个元素由滤波函数CSF(f)计算得到，滤波函数CSF(f)中的空间频率f为MF中的空间频率，计算出Mi(f)的过程表示为ξ(si)，ξ-1操作是与ξ操作相反的过程。2.如权利要求1所述的方法，其特征在于，对该中间图像进行变形的方法为：1)对该中间图像进行网格划分；2)求出该中间图像中缩放后的受关注区域分布；3)基于网格对该中间图像进行变形。3.如权利要求1或2所述的方法，其特征在于，对该中间图像进行变形的方法为：对受关注区域集合Ψ中的四边形网格和非受关注区域集合Φ中的四边形网格分别设定一不同的初始失真函数；然后计算按照当前设定的失真函数对该中间图像进行变形的加权失真总和Q，取Q最小化时对应的失真函数对该中间图像进行变形。4.如权利要求3所述的方法，其特征在于，加权失真总和其中，为Ψ中索引为的四边形网格的权重，...

【专利技术属性】
技术研发人员：刘延伟，要瑞宵，徐震，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：北京;11