一种新型立体图像舒适度预测方法技术

本发明专利技术公开了一种新型立体图像舒适度预测方法，包括以下步骤：从彩色图提取亮度矩特征和色度矩特征；对彩色图进行小波变换，提取结构复杂度特征；对视差图进行小波变换，提取多层视差幅值和多方向视差纹理特征；利用GBRT渐进梯度回归树进行舒适度预测获得立体图像舒适度得分。上述技术方案通过将彩色图和视差图进行小波变换，从两层小波系数中获得更丰富的图像信息，并且具有良好的空间性，从不同方向的细节信息提取不适特征，更详细地描述不适特征并进行舒适度预测。

【技术实现步骤摘要】
一种新型立体图像舒适度预测方法
本专利技术涉及立体图像舒适度预测领域，尤其涉及一种新型立体图像舒适度预测方法。
技术介绍
相较于二维图像，立体图像能给用户带来更多的视觉信息和更逼真的视觉体验，但同时由于双目竞争与视差等因素，会给观众带来视觉不适，降低视觉体验。有资料显示，观看者观看立体视频时容易产生头晕、眼疲劳、恶心、肩颈疼痛等不适感。为给用户带来更多有益的视觉信息，需要探索立体图像舒适度预测方法。通常情况下通过左右视图合成来获得立体图像，有的研究利用左右视图提取彩色信息作为预测特征进行舒适度预测。有的研究在显著性的基础上对立体图像进行提取不适因子。还有部分研究结合人类神经活动机制，与视觉皮层相结合进行舒适度预测。视差信息会给观看者带来距离感，产生立体感。但是不合理的视差信息会影响立体视觉，当视差过小时，人类的立体感知会降低，视差过大时会给观看者带来不舒适。因此有学者将人类神经元模型与视差信息节后进行不适预测，也有直接利用水平视差与垂直视差进行视觉舒适度预测。中国专利文献CN103581661B公开了一种“立体图像视觉舒适度评价方法”。首先通过提取右视点图像的图像显著图和右视差图像的深度显著图，得到右视点图像的立体显著图，然后根据立体显著图加权提取出视差幅度、视差梯度和空间频率特征，得到立体图像的特征矢量，再利用支持向量回归对立体图像集合中的所有立体图像的特征矢量进行训练，最后利用训练得到的支持向量回归训练模型对立体图像集合中的每幅立体图像进行测试，得到每幅立体图像的客观视觉舒适度评价预测值。上述技术方案在原始彩色图与视差图中提取特征后进行立体图像舒适度预测，所提特征描述简单，获取图像信息量少，预测结果适用性不足。
技术实现思路
本专利技术主要解决原有的提取特征描述简单，用于分析的图像信息少的技术问题，提供一种新型立体图像舒适度预测方法，通过将彩色图和视差图进行小波变换，从两层小波系数中获得更丰富的图像信息，并且具有良好的空间性，从不同方向的细节信息提取不适特征，更详细地描述不适特征并进行舒适度预测。本专利技术的上述技术问题主要是通过下述技术方案得以解决的：本专利技术包括以下步骤：(1)从彩色图提取亮度矩特征和色度矩特征；低阶矩可以描述图像的主要信息，因此采用一阶矩、二阶矩和三阶矩描述亮度分量与色度分量的主要信息。(2)对彩色图进行小波变换，提取结构复杂度特征；通过对彩色图进行小波变换后进行重构提取结构复杂度。(3)对视差图进行小波变换，提取多层视差幅值和多方向视差纹理特征；在视差图的两层小波变换的相似图像中提取多层视差幅值特征和多方向视差纹理特征。(4)利用GBRT渐进梯度回归树进行舒适度预测获得立体图像舒适度得分。因为图像边缘细节主要体现在高频信息中，当边缘细节越丰富，图像存在的剧烈变化越多，结构与纹理越复杂。观察者在观看立体图像时，双目越难合成立体感，增加视觉不适。彩色图像进行小波变换后，在频域内除去低频信息后，获得高频与原始图像的关系，可以表示影响舒适度的结构复杂度。视差图进行小波变换后，使用小波系数对图像进行描述，可以获得水平、垂直、对角不同方向的信息，从中提取水平、垂直、对角三个方向的纹理特征，详细描述影响舒适度的多方向视差纹理特征。作为优选，所述的步骤1首先将RGB颜色空间的左右视点彩色图转化到HSV颜色空间，然后在HSV颜色空间中提取亮度矩和色度矩，采用一阶矩、二阶矩和三阶矩描述亮度分量与色度分量的主要信息，其中亮度矩为左右视图的亮度分量所对应的三阶矩，色度矩为左右视图的亮度分量所对应的三阶矩。作为优选，所述的步骤1中亮度矩和色度矩提取的具体过程为：提取亮度矩，即亮度一阶矩：μV＝(Iv)mean亮度二阶矩：亮度三阶矩：其中，IH为亮度感知图像，μH为亮度一阶矩，σH为亮度二阶矩，sH为亮度三阶矩，P为图像像素总个数，故包含左右彩色图的亮度矩表示为：其中，l代表左视图，r代表右视图；提取色度矩，即色度一阶矩：μH＝(IH)mean色度二阶矩：色度三阶矩：其中，IH为色度感知图像，μH为色度一阶矩，σH为色度二阶矩，sH为色度三阶矩，P为图像像素总个数，故包含左右彩色图的色度矩表示为：其中，l代表左视图，r代表右视图。作为优选，所述的步骤2将左视图IC进行小波变换，其中小波基选择bior4.4，变换层数为两级，经小波变换获得第一层水平低频垂直高频分量CLH1、水平高频垂直低频分量CHL1、水平高频垂直高频分量CHH1，第二层水平低频垂直高频分量CLH2、水平高频垂直低频分量CHL2、水平高频垂直高频分量CHH2和原始图像的相似图像CLL2。作为优选，所述的步骤2利用小波重构，通过比较高频图像与原始图像的关系表示结构复杂度，具体过程如下，首先取第一层小波变换系数的均值M1与第二层小波变换系数的均值M2，使每层小波系数低于此层均值的设置为0，即然后对保留下来的系数进行重构获得只包含低频信息的彩色图将原始图像与重构后的图像相减，获得只包含高频信息的图像，故结构复杂度表示为：作为优选，所述的步骤3将视差图进行小波变换，其中小波基选择bior4.4，变换层数为两级，获得第一层水平低频垂直高频分量DLH1、水平高频垂直低频分量DHL1、水平高频垂直高频分量DHH1，第二层水平低频垂直高频分量DLH2、水平高频垂直低频分量DHL2、水平高频垂直高频分量DHH2和原始图像的相似图像DLL2。作为优选，所述的步骤3从变换后的相似图像提取多层视差幅值，其中通过还原获得第一层的相似图像DLL1，即其中，为第一层视差幅值，为第二层视差幅值，多层视差幅值表示为：在水平低频垂直高频分量与水平高频垂直低频分量采用阈值法提取纹理特征，在不同层小波分解选择合适的阈值，设置大于T的值为零，保留三个方向的高频信息，即多方向视差纹理，计算过程如下：其中，T1和T2为在一层和二层小波分解下取的合适阈值，表示第一层水平纹理分量，表示第一层垂直纹理分量，表示第二层水平纹理分量，表示第二层垂直纹理分量。接下来将三个方向的纹理分量进行特征提取：其中，为第一层水平纹理特征，为第一层垂直纹理特征，为第一层对角纹理特征，为第二层水平纹理特征，为第二层垂直纹理特征，为第二层对角纹理特征，最终视差纹理表示为：最后所提取特征为：f＝[fV，fH，fSC，fDM，fDT]。作为优选，所述的步骤4将特征输入GBRT渐进梯度回归树获得舒适度预测值，采用GBRT渐进梯度回归树，将提取的特征作为输入值，对应的MOS值作为输出值进本文档来自技高网...

【技术保护点】
1.一种新型立体图像舒适度预测方法，其特征在于，包括以下步骤：/n(1)从彩色图提取亮度矩特征和色度矩特征；/n(2)对彩色图进行小波变换，提取结构复杂度特征；/n(3)对视差图进行小波变换，提取多层视差幅值和多方向视差纹理特征；/n(4)利用GBRT渐进梯度回归树进行舒适度预测获得立体图像舒适度得分。/n

【技术特征摘要】
1.一种新型立体图像舒适度预测方法，其特征在于，包括以下步骤：
(1)从彩色图提取亮度矩特征和色度矩特征；
(2)对彩色图进行小波变换，提取结构复杂度特征；
(3)对视差图进行小波变换，提取多层视差幅值和多方向视差纹理特征；
(4)利用GBRT渐进梯度回归树进行舒适度预测获得立体图像舒适度得分。


2.根据权利要求1所述的一种新型立体图像舒适度预测方法，其特征在于，所述步骤1首先将RGB颜色空间的左右视点彩色图转化到HSV颜色空间，然后在HSV颜色空间中提取亮度矩和色度矩，采用一阶矩、二阶矩和三阶矩描述亮度分量与色度分量的主要信息，其中亮度矩为左右视图的亮度分量所对应的三阶矩，色度矩为左右视图的亮度分量所对应的三阶矩。


3.根据权利要求2所述的一种新型立体图像舒适度预测方法，其特征在于，所述步骤1中亮度矩和色度矩提取的具体过程为：
提取亮度矩，即
亮度一阶矩：
μV＝(IV)mean
亮度二阶矩：



亮度三阶矩：



其中，IH为亮度感知图像，μH为亮度一阶矩，σH为亮度二阶矩，sH为亮度三阶矩，P为图像像素总个数，故包含左右彩色图的亮度矩表示为：



其中，l代表左视图，r代表右视图；
提取色度矩，即
色度一阶矩：
μH＝(IH)mean
色度二阶矩：



色度三阶矩：



其中，IH为色度感知图像，μH为色度一阶矩，σH为色度二阶矩，sH为色度三阶矩，P为图像像素总个数，故包含左右彩色图的色度矩表示为：



其中，l代表左视图，r代表右视图。


4.根据权利要求1所述的一种新型立体图像舒适度预测方法，其特征在于，所述步骤2将左视图IC进行小波变换，其中小波基选择bior4.4，变换层数为两级，经小波变换获得第一层水平低频垂直高频分量CLH1、水平高频垂直低频分量CHL1、水平高频垂直高频分量CHH1，第二层水平低频垂直高频分量CLH2、水平高频垂直低频分量CHL2、水平高频垂直高频分量CHH2和原始图像的相似图像CLL2。


5.根据权利要求4所述的一种新型立体图像舒适度预测方法，其特征在于，所述步骤2利用小波重构，通过比较高频图像与原始图像的关系表示结构复杂度，具体过程如下，首先取第一层小波变换系数的均值M1与第二层小波变换系数的均值M2，使每层小波系数低于此层均值的设置为0，即









<...

【专利技术属性】
技术研发人员：梁文青，周洋，崔金鹏，张博文，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33