一种立体图像视觉舒适度增强方法技术

本发明专利技术公开了一种立体图像视觉舒适度增强方法，其先分别计算左视点图像的相位一致性图、左视点图像的左视差图像的角视差图像的视差响应图、左视点图像的显著图；然后融合相位一致性图、视差响应图和显著图，得到左视点图像的视觉非舒适性图；接着根据左视点图像的视觉非舒适性图，确定零视差平面所在的坐标位置的汇聚平面值；再根据汇聚平面值调整左视点图像的左视差图像中的像素点的像素值；最后获得经调整后的右视点图像；优点是得到的视觉非舒适性图能较好地定量左视点图像的局部非舒适性程度，从而能较为精确地检测出左视点图像的零视差平面；汇聚平面改变了立体图像正视差与负视差的比重，能有效地提升观看者的视觉体验和增强视觉舒适性。

【技术实现步骤摘要】
一种立体图像视觉舒适度增强方法
本专利技术涉及一种图像信号的处理方法，尤其是涉及一种立体图像视觉舒适度增强方法。
技术介绍
随着立体视频显示技术和高质量立体视频内容获取技术的快速发展，立体视频的视觉体验质量(QoE,QualityofExperience)是立体视频系统设计中的一个重要问题，而视觉舒适度(VC,VisualComfort)是影响立体视频的视觉体验质量的重要因素。目前，对立体视频/立体图像的质量评价研究主要考虑了内容失真对于图像质量的影响，而很少考虑视觉舒适度等因素的影响。因此，为了提高观看者的视觉体验质量，研究立体视频/立体图像的视觉舒适度增强方法对3D内容制作和后期处理具有十分重要的指导作用。与常规的平面图像相比，观看基于视差形成的立体图像具有较强的立体感和沉浸感，但是长时间观看立体图像会出现头疼、视觉疲劳、视力模糊甚至恶心等症状。过大的双目视差、人眼焦点调节与辐辏机制冲突通常被认为是引起视觉不舒适的主要原因。人眼的双眼融合机制为具有水平视差的左、右眼物像融合成具有立体感的单一清晰物像提供了生理保证，然而如果水平视差过大，则会导致物像落在Panum融合区域外，人眼将无法正常形成双眼单视性，长时间观看容易造成严重的视觉疲劳；此外，不同于自然观看条件下人眼焦点调节与辐辏机制的一致性(调节距离和辐辏距离都在观看屏幕上)，在观看立体图像时，人眼焦点调节与辐辏机制会产生不同程度的冲突，同样会影响观看者的视觉体验质量。通过一定的措施，可以将视觉不舒适降低到可以承受的范围内。目前主要通过线性或非线性的视差重映射方法来调整(增强)立体图像的视觉舒适度，但这类方法会改变立体图像的视差范围，特别是当视差范围挤压过大时，会产生绘制重影。视差偏移是实现立体图像视觉舒适度调整(增强)的一种最简单的方法，但如何有效地表征立体图像视觉非舒适性区域、以及如何有效地对非舒适性进行调节，都是在对立体图像进行视觉舒适度增强过程中需要研究解决的问题。
技术实现思路
本专利技术所要解决的技术问题是提供一种立体图像视觉舒适度增强方法，其能够有效地提升观看者的视觉体验和增强视觉舒适性。本专利技术解决上述技术问题所采用的技术方案为：一种立体图像视觉舒适度增强方法，其特征在于包括以下步骤：①将待处理的立体图像的左视点图像、右视点图像及左深度图像对应记为{IL(x,y)}、{IR(x,y)}及{DL(x,y)}，其中，(x,y)表示待处理的立体图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W和H对应表示待处理的立体图像的宽度和高度，IL(x,y)表示{IL(x,y)}中坐标位置为(x,y)的像素点的像素值，IR(x,y)表示{IR(x,y)}中坐标位置为(x,y)的像素点的像素值，DL(x,y)表示{DL(x,y)}中坐标位置为(x,y)的像素点的像素值；②计算{IL(x,y)}的相位一致性图，记为{f1(x,y)}，其中，f1(x,y)表示{f1(x,y)}中坐标位置为(x,y)的像素点的像素值，f1(x,y)亦表示{IL(x,y)}中坐标位置为(x,y)的像素点的相位一致性特征；③计算{IL(x,y)}的左视差图像，记为{dL(x,y)}，其中，dL(x,y)表示{dL(x,y)}中坐标位置为(x,y)的像素点的像素值；然后利用视差转换算法计算{dL(x,y)}的角视差图像，记为{φL(x,y)}，其中，φL(x,y)表示{φL(x,y)}中坐标位置为(x,y)的像素点的像素值；再计算{φL(x,y)}的视差响应图，记为{f2(x,y)}，其中，f2(x,y)表示{f2(x,y)}中坐标位置为(x,y)的像素点的像素值；④将{IL(x,y)}分割成M个互不重叠的子块；然后通过计算{IL(x,y)}中的每个子块的特征对比度和空间紧密度，获取{IL(x,y)}中的每个子块的显著值，将{IL(x,y)}中的第h个子块的显著值记为Sh；再将{IL(x,y)}中的每个子块的显著值作为该子块中的所有像素点的显著值，从而得到{IL(x,y)}的显著图，记为{f3(x,y)}；其中，M≥1，h的初始值为1，1≤h≤M，f3(x,y)表示{f3(x,y)}中坐标位置为(x,y)的像素点的像素值，f3(x,y)亦表示{IL(x,y)}中坐标位置为(x,y)的像素点的显著值；⑤对{f1(x,y)}、{f2(x,y)}及{f3(x,y)}进行融合，得到{IL(x,y)}的视觉非舒适性图，记为{F(x,y)}，将{F(x,y)}中坐标位置为(x,y)的像素点的像素值记为F(x,y)，F(x,y)＝f1(x,y)×f2(x,y)×f3(x,y)；⑥计算{IL(x,y)}中的零视差平面所在的坐标位置，记为xZDP，其中，表示取使得F(x,y)的值最大的坐标值；⑦计算xZDP的汇聚平面值，记为然后计算{dL(x,y)}中的每个像素点经调整后的像素值，将{dL(x,y)}中坐标位置为x的像素点经调整后的像素值记为d(x)，其中，f表示水平相机阵列中的各个相机的焦距，L表示待处理的立体图像的左视点与右视点之间的水平基线距离，dZDP表示{IL(x,y)}中的零视差平面所在的坐标位置xZDP的视差值，DL(xZDP)表示{DL(x,y)}中坐标位置为xZDP的像素点的像素值，DL(x)表示{DL(x,y)}中坐标位置为x的像素点的像素值，x∈Ω，Ω表示{DL(x,y)}中的所有像素点的坐标位置的集合，Znear表示最小的场景深度值，Zfar表示最大的场景深度值；⑧计算经调整后的右视点图像，记为将中坐标位置为(x,y)的像素点的像素值记为然后将{IL(x,y)}和构成一幅新的立体图像；其中，IL(x+d(x,y),y)表示{IL(x,y)}中坐标位置为(x+d(x,y),y)的像素点的像素值，d(x,y)表示{dL(x,y)}中坐标位置为(x,y)的像素点经调整后的像素值。所述的步骤②中的{f1(x,y)}的获取过程为：②-1、对{IL(x,y)}进行滤波处理，得到{IL(x,y)}中的每个像素点在不同尺度因子和不同方向因子下的偶对称频率响应和奇对称频率响应，将{IL(x,y)}中坐标位置为(x,y)的像素点在尺度因子为α和方向因子为θ下的偶对称频率响应记为eα,θ(x,y)，将{IL(x,y)}中坐标位置为(x,y)的像素点在尺度因子为α和方向因子为θ下的奇对称频率响应记为oα,θ(x,y)，其中，α表示滤波处理所采用的滤波器的尺度因子，1≤α≤4，θ表示滤波处理所采用的滤波器的方向因子，1≤θ≤4；②-2、根据{IL(x,y)}中的每个像素点在不同尺度因子和不同方向因子下的偶对称频率响应和奇对称频率本文档来自技高网...

【技术保护点】
一种立体图像视觉舒适度增强方法，其特征在于包括以下步骤：①将待处理的立体图像的左视点图像、右视点图像及左深度图像对应记为{IL(x,y)}、{IR(x,y)}及{DL(x,y)}，其中，(x,y)表示待处理的立体图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W和H对应表示待处理的立体图像的宽度和高度，IL(x,y)表示{IL(x,y)}中坐标位置为(x,y)的像素点的像素值，IR(x,y)表示{IR(x,y)}中坐标位置为(x,y)的像素点的像素值，DL(x,y)表示{DL(x,y)}中坐标位置为(x,y)的像素点的像素值；②计算{IL(x,y)}的相位一致性图，记为{f1(x,y)}，其中，f1(x,y)表示{f1(x,y)}中坐标位置为(x,y)的像素点的像素值，f1(x,y)亦表示{IL(x,y)}中坐标位置为(x,y)的像素点的相位一致性特征；③计算{IL(x,y)}的左视差图像，记为{dL(x,y)}，其中，dL(x,y)表示{dL(x,y)}中坐标位置为(x,y)的像素点的像素值；然后利用视差转换算法计算{dL(x,y)}的角视差图像，记为{φL(x,y)}，其中，φL(x,y)表示{φL(x,y)}中坐标位置为(x,y)的像素点的像素值；再计算{φL(x,y)}的视差响应图，记为{f2(x,y)}，其中，f2(x,y)表示{f2(x,y)}中坐标位置为(x,y)的像素点的像素值；④将{IL(x,y)}分割成M个互不重叠的子块；然后通过计算{IL(x,y)}中的每个子块的特征对比度和空间紧密度，获取{IL(x,y)}中的每个子块的显著值，将{IL(x,y)}中的第h个子块的显著值记为Sh；再将{IL(x,y)}中的每个子块的显著值作为该子块中的所有像素点的显著值，从而得到{IL(x,y)}的显著图，记为{f3(x,y)}；其中，M≥1，h的初始值为1，1≤h≤M，f3(x,y)表示{f3(x,y)}中坐标位置为(x,y)的像素点的像素值，f3(x,y)亦表示{IL(x,y)}中坐标位置为(x,y)的像素点的显著值；⑤对{f1(x,y)}、{f2(x,y)}及{f3(x,y)}进行融合，得到{IL(x,y)}的视觉非舒适性图，记为{F(x,y)}，将{F(x,y)}中坐标位置为(x,y)的像素点的像素值记为F(x,y)，F(x,y)＝f1(x,y)×f2(x,y)×f3(x,y)；⑥计算{IL(x,y)}中的零视差平面所在的坐标位置，记为xZDP，xZDP=argmax1≤x≤W,1≤y≤HF(x,y),]]>其中，argmax1≤x≤W,1≤y≤HF(x,y)]]>表示取使得F(x,y)的值最大的坐标值；⑦计算xZDP的汇聚平面值，记为z(xZDP)=1DL(xZDP)255×(1znear-1zfar)+1zfar;]]>然后计算{dL(x,y)}中的每个像素点经调整后的像素值，将{dL(x,y)}中坐标位置为x的像素点经调整后的像素值记为d(x)，d(x)=f×L×(1z~c-1z(x)),]]>z(x)=1DL(x)255×(1znear-1zfar)+1zfar;]]>其中，f表示水平相机阵列中的各个相机的焦距，L表示待处理的立体图像的左视点与右视点之间的水平基线距离，dZDP表示{IL(x,y)}中的零视差平面所在的坐标位置xZDP的视差值，DL(xZDP)表示{DL(x,y)}中坐标位置为xZDP的像素点的像素值，DL(x)表示{DL(x,y)}中坐标位置为x的像素点的像素值，x∈Ω，Ω表示{DL(x,y)}中的所有像素点的坐标位置的集合，Znear表示最小的场景深度值，Zfar表示最大的场景深度值；⑧计算经调整后的右视点图像，记为将中坐标位置为(x,y)的像素点的像素值记为然后将{IL(x,y)}和构成一幅新的立体图像；其中，IL(x+d(x,y),y)表示{IL(x,y)}中坐标位置为(x+d(x,y),y)的像素点的像素值，d(x,y)表示{dL(x,y)}中坐标位置为(x,y)的像素点经调整后的像素值。...

【技术特征摘要】
1.一种立体图像视觉舒适度增强方法，其特征在于包括以下步骤：①将待处理的立体图像的左视点图像、右视点图像及左深度图像对应记为{IL(x,y)}、{IR(x,y)}及{DL(x,y)}，其中，(x,y)表示待处理的立体图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W和H对应表示待处理的立体图像的宽度和高度，IL(x,y)表示{IL(x,y)}中坐标位置为(x,y)的像素点的像素值，IR(x,y)表示{IR(x,y)}中坐标位置为(x,y)的像素点的像素值，DL(x,y)表示{DL(x,y)}中坐标位置为(x,y)的像素点的像素值；②计算{IL(x,y)}的相位一致性图，记为{f1(x,y)}，其中，f1(x,y)表示{f1(x,y)}中坐标位置为(x,y)的像素点的像素值，f1(x,y)亦表示{IL(x,y)}中坐标位置为(x,y)的像素点的相位一致性特征；③计算{IL(x,y)}的左视差图像，记为{dL(x,y)}，其中，dL(x,y)表示{dL(x,y)}中坐标位置为(x,y)的像素点的像素值；然后利用视差转换算法计算{dL(x,y)}的角视差图像，记为{φL(x,y)}，其中，φL(x,y)表示{φL(x,y)}中坐标位置为(x,y)的像素点的像素值；再计算{φL(x,y)}的视差响应图，记为{f2(x,y)}，其中，f2(x,y)表示{f2(x,y)}中坐标位置为(x,y)的像素点的像素值，max()为取最大值函数；④将{IL(x,y)}分割成M个互不重叠的子块；然后通过计算{IL(x,y)}中的每个子块的特征对比度和空间紧密度，获取{IL(x,y)}中的每个子块的显著值，将{IL(x,y)}中的第h个子块的显著值记为Sh；再将{IL(x,y)}中的每个子块的显著值作为该子块中的所有像素点的显著值，从而得到{IL(x,y)}的显著图，记为{f3(x,y)}；其中，M≥1，h的初始值为1，1≤h≤M，f3(x,y)表示{f3(x,y)}中坐标位置为(x,y)的像素点的像素值，f3(x,y)亦表示{IL(x,y)}中坐标位置为(x,y)的像素点的显著值；⑤对{f1(x,y)}、{f2(x,y)}及{f3(x,y)}进行融合，得到{IL(x,y)}的视觉非舒适性图，记为{F(x,y)}，将{F(x,y)}中坐标位置为(x,y)的像素点的像素值记为F(x,y)，F(x,y)＝f1(x,y)×f2(x,y)×f3(x,y)；⑥计算{IL(x,y)}中的零视差平面所在的坐标位置，记为xZDP，其中，表示取使得F(x,y)的值最大的坐标值；⑦计算xZDP的汇聚平面值，记为然后计算{dL(x,y)}中的每个像素点经调整后的像素值，将{dL(x,y)}中坐标位置为x的像素点经调整后的像素值记为d(x)，其中，f表示水平相机阵列中的各个相机的焦距，L表示待处理的立体图像的左视点与右视点之间的水平基线距离，dZDP表示{IL(x,y)}中的零视差平面所在的坐标位置xZDP的视差值，DL(xZDP)表示{DL(x,y)}中坐标位置为xZDP的像素点的像素值，DL(x)表示{DL(x,y)}中坐标位置为x的像素点的像素值，x∈Ω，Ω表示{DL(x,y)}中的所有像素点的坐标位置的集合，Znear表示最小的场景深度值，Zfar表示最大的场景深度值；⑧计算经调整后的右视点图像，记为将中坐标位置为(x,y)的像素点的像素值记为然后将{IL(x,y)}和构成一幅新的立体图像；其中，IL(x+d(x,y),y)表示{IL(x,y)}中坐标位置为(x+d(x,y),y)的像素点的像素值，d(x,y)表示{dL(x,y)}中坐标位置为(x,y)的像素点经调整后的像素值。2.根据权利要求1所述的一种立体图像视觉舒适度增强方法，其特征在于所述的步骤②中的{f1(x,y)}的获取过程为：②-1、对{IL(x,y)}进行滤波处理，得到{IL(x,y)}中的每个像素点在不同尺度因子和不同方向因子下的偶对称频率响应和奇对称频率响应，将{IL(x,y)}中坐标位置为(x,y)的像素点在尺度因子为α和方向因子为θ下的偶对称频率响应记为eα,θ(x,y)，将{IL(x,y)}中坐标位置为(x,y)的像素点在尺...

【专利技术属性】
技术研发人员：邵枫，李祖团，李福翠，
申请(专利权)人：宁波大学，
类型：发明
国别省市：浙江;33