一种立体图像视觉显著提取方法技术

本发明专利技术公开了一种立体图像视觉显著提取方法，其将测试立体图像的左视点图像转换到Lab颜色空间，并将三通道图像和左视差图像的归一化图像缩放到200×200像素尺寸；然后获取四幅图像各自的梯度幅值图，并进行对数计算；接着利用中心偏好图对四幅对数计算后的图像进行中心四周加强，再根据中心四周加强后的图像组成四元数矩阵，对四元数矩阵实施四元数傅里叶变换得到频域矩阵；之后利用频域滤波模板图对频域矩阵进行低通滤波，再对得到的低通特征图实施四元数傅里叶反变换；最后根据反变换得到的四元数矩阵获取初步视觉显著图，对初步视觉显著图归一化处理和缩放到W×H像素尺寸，得到最终视觉显著图；优点是具有较强的提取稳定性和较高的提取准确性。

A visual significant extraction method for stereoscopic image

The invention discloses a method for extracting significant stereo vision, which will test the three-dimensional images of the left view image is converted to Lab color space, and the three channel normalized image zoom image and left parallax images to 200 x 200 pixels size; and then obtain four images of each gradient map, and logarithmic calculation; then use the center image preference of four images of logarithmic calculated around the center to strengthen, then according to the image around the center to strengthen four yuan number matrix, the implementation of four yuan to four yuan the number of Fourier transform matrix to obtain frequency domain matrix; after using frequency domain filtering template for the low-pass filtering of the frequency domain matrix, then the implementation of four element inverse Fourier transform low-pass characteristic diagram is obtained; according to the number of four yuan to get the inverse transform matrix to obtain preliminary saliency map, the initial visual saliency map Normalized processing and scaling to W x H pixel size, the final visual significant map is obtained; the advantage is that it has strong extraction stability and higher extraction accuracy.

【技术实现步骤摘要】
一种立体图像视觉显著提取方法
本专利技术涉及一种图像信号的处理方法，尤其是涉及一种立体图像视觉显著提取方法。
技术介绍
在人类视觉接收与信息处理中，由于大脑资源有限以及外界环境信息重要性区别，因此在处理过程中人脑对外界环境信息并不是一视同仁的，而是表现出选择特征。人们在观看图像或者视频片段时注意力并非均匀分布到图像的每个区域，而是对某些显著区域关注度更高。如何将视频中视觉注意度高的显著区域检测并提取出来是计算机视觉以及基于内容的视频检索领域的一个重要的研究内容。而随着立体视频显示技术和高质量立体视频内容获取技术的快速发展，针对立体图像/视频的显著区域检测及建模也是一个非常重要的研究内容。然而，立体图像并不是平面图像的空间维度拓展，人眼感知物体时利用视差的方法与颜色大不相同，因此，用平面图像特征简单拓展得到立体图像特征不是特别的合适。然而，现有的立体图像显著图仍然停留在平面图像显著提取方法的简单拓展上。因此，要找到一种符合人类视觉系统的立体视觉显著性特征是立体图像显著性研究方向需要解决的必不可少的问题。
技术实现思路
本专利技术所要解决的技术问题是提供一种符合显著语义特征的立体图像视觉显著提取方法，其具有较强的提取稳定性和较高的提取准确性。本专利技术解决上述技术问题所采用的技术方案为：一种立体图像视觉显著提取方法，其特征在于包括以下步骤：①对于任意一幅测试立体图像Stest，将Stest的左视点图像记为{LRGB(x,y)}，将Stest的左视差图像记为{D(x,y)}；其中，1≤x≤W，1≤y≤H，W表示Stest的宽度，H表示Stest的高度，LRGB(x,y)表示{LRGB(x,y)}中坐标位置为(x,y)的像素点的像素值，D(x,y)表示{D(x,y)}中坐标位置为(x,y)的像素点的像素值；②将{LRGB(x,y)}从RGB颜色空间转换到Lab颜色空间，并将数据类型转换到实数类型，得到Lab颜色空间的左视点图像，记为{LLab(x,y)}；然后将{LLab(x,y)}的L通道图像记为{LLab,L(x,y)}，将{LLab(x,y)}的a通道图像记为{LLab,a(x,y)}，将{LLab(x,y)}的b通道图像记为{LLab,b(x,y)}；再将{LLab,L(x,y)}、{LLab,a(x,y)}和{LLab,b(x,y)}均缩放到200×200像素尺寸，将{LLab,L(x,y)}、{LLab,a(x,y)}和{LLab,b(x,y)}缩放后得到的图像对应记为{L200,L(x1,y1)}、{L200,a(x1,y1)}和{L200,b(x1,y1)}；其中，LLab(x,y)表示{LLab(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,L(x,y)表示{LLab,L(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,a(x,y)表示{LLab,a(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,b(x,y)表示{LLab,b(x,y)}中坐标位置为(x,y)的像素点的像素值，1≤x1≤200，1≤y1≤200，L200,L(x1,y1)表示{L200,L(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，L200,a(x1,y1)表示{L200,a(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，L200,b(x1,y1)表示{L200,b(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值；对{D(x,y)}进行归一化处理，将归一化处理后得到的图像记为{D0,1(x,y)}；然后将{D0,1(x,y)}缩放到200×200像素尺寸，将缩放后得到的图像记为{D200(x1,y1)}；其中，D0,1(x,y)∈[0,1]，D0,1(x,y)表示{D0,1(x,y)}中坐标位置为(x,y)的像素点的像素值，D200(x1,y1)表示{D200(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值；③对{D200(x1,y1)}进行梯度提取，得到{D200(x1,y1)}的梯度幅值图，记为{G200,D(x1,y1)}；同样，对{L200,L(x1,y1)}进行梯度提取，得到{L200,L(x1,y1)}的梯度幅值图，记为{G200,L(x1,y1)}；对{L200,a(x1,y1)}进行梯度提取，得到{L200,a(x1,y1)}的梯度幅值图，记为{G200,a(x1,y1)}；对{L200,b(x1,y1)}进行梯度提取，得到{L200,b(x1,y1)}的梯度幅值图，记为{G200,b(x1,y1)}；其中，G200,D(x1,y1)表示{G200,D(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200,L(x1,y1)表示{G200,L(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200,a(x1,y1)表示{G200,a(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200,b(x1,y1)表示{G200,b(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值；④对{G200,D(x1,y1)}中的每个像素点的像素值进行对数计算，将对数计算后得到的图像记为{GQ200,D(x1,y1)}，将{GQ200,D(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200,D(x1,y1)，GQ200,D(x1,y1)＝log10(1+2000×G200,D(x1,y1))；同样，对{G200,L(x1,y1)}中的每个像素点的像素值进行对数计算，将对数计算后得到的图像记为{GQ200,L(x1,y1)}，将{GQ200,L(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200,L(x1,y1)，GQ200,L(x1,y1)＝log10(1+100×G200,L(x1,y1))；对{G200,a(x1,y1)}中的每个像素点的像素值进行对数计算，将对数计算后得到的图像记为{GQ200,a(x1,y1)}，将{GQ200,a(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200,a(x1,y1)，GQ200,a(x1,y1)＝log10(1+100×G200,a(x1,y1))；对{G200,b(x1,y1)}中的每个像素点的像素值进行对数计算，将对数计算后得到的图像记为{GQ200,b(x1,y1)}，将{GQ200,b(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200,b(x1,y1)，GQ200,b(x1,y1)＝log10(1+100×G200,b(x1,y1))；⑤利用200×200像素尺寸的中心偏好图{Csaliency200(x1,y1)}对{GQ200,D(x1,y1)}进行中心四周加强，将中心四周加强后得到的图像记为{GQ200CS,D(x1,y1)}，将{GQ200CS,D(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为DQ200CS,D(x1,y1)，GQ200CS,D(x1,y1)＝GQ200,D(x1,y1)×Csaliency200(x1,y1)×0.5；同样，利用2本文档来自技高网...

【技术保护点】
一种立体图像视觉显著提取方法，其特征在于包括以下步骤：①对于任意一幅测试立体图像Stest，将Stest的左视点图像记为{LRGB(x,y)}，将Stest的左视差图像记为{D(x,y)}；其中，1≤x≤W，1≤y≤H，W表示Stest的宽度，H表示Stest的高度，LRGB(x,y)表示{LRGB(x,y)}中坐标位置为(x,y)的像素点的像素值，D(x,y)表示{D(x,y)}中坐标位置为(x,y)的像素点的像素值；②将{LRGB(x,y)}从RGB颜色空间转换到Lab颜色空间，并将数据类型转换到实数类型，得到Lab颜色空间的左视点图像，记为{LLab(x,y)}；然后将{LLab(x,y)}的L通道图像记为{LLab,L(x,y)}，将{LLab(x,y)}的a通道图像记为{LLab,a(x,y)}，将{LLab(x,y)}的b通道图像记为{LLab,b(x,y)}；再将{LLab,L(x,y)}、{LLab,a(x,y)}和{LLab,b(x,y)}均缩放到200×200像素尺寸，将{LLab,L(x,y)}、{LLab,a(x,y)}和{LLab,b(x,y)}缩放后得到的图像对应记为{L200,L(x1,y1)}、{L200,a(x1,y1)}和{L200,b(x1,y1)}；其中，LLab(x,y)表示{LLab(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,L(x,y)表示{LLab,L(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,a(x,y)表示{LLab,a(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,b(x,y)表示{LLab,b(x,y)}中坐标位置为(x,y)的像素点的像素值，1≤x1≤200，1≤y1≤200，L200,L(x1,y1)表示{L200,L(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，L200,a(x1,y1)表示{L200,a(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，L200,b(x1,y1)表示{L200,b(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值；对{D(x,y)}进行归一化处理，将归一化处理后得到的图像记为{D0,1(x,y)}；然后将{D0,1(x,y)}缩放到200×200像素尺寸，将缩放后得到的图像记为{D200(x1,y1)}；其中，D0,1(x,y)∈[0,1]，D0,1(x,y)表示{D0,1(x,y)}中坐标位置为(x,y)的像素点的像素值，D200(x1,y1)表示{D200(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值；③对{D200(x1,y1)}进行梯度提取，得到{D200(x1,y1)}的梯度幅值图，记为{G200,D(x1,y1)}；同样，对{L200,L(x1,y1)}进行梯度提取，得到{L200,L(x1,y1)}的梯度幅值图，记为{G200,L(x1,y1)}；对{L200,a(x1,y1)}进行梯度提取，得到{L200,a(x1,y1)}的梯度幅值图，记为{G200,a(x1,y1)}；对{L200,b(x1,y1)}进行梯度提取，得到{L200,b(x1,y1)}的梯度幅值图，记为{G200,b(x1,y1)}；其中，G200,D(x1,y1)表示{G200,D(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200,L(x1,y1)表示{G200,L(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200,a(x1,y1)表示{G200,a(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200,b(x1,y1)表示{G200,b(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值；④对{G200,D(x1,y1)}中的每个像素点的像素值进行对数计算，将对数计算后得到的图像记为{GQ200,D(x1,y1)}，将{GQ200,D(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200,D(x1,y1)，GQ200,D(x1,y1)＝log10(1+2000×G200,D(x1,y1))；同样，对{G200,L(x1,y1)}中的每个像素点的像素值进行对数计算，将对数计算后得到的图像记为{GQ200,L(x1,y1)}，将{GQ200,L(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200,L(x1,y1)，GQ200,L(x1,y1)＝log10(1+100×G200,L(x1,y1))；对{G200,a(x1,y1)}中的每个像素点的像素值进行对数计算，将对数计算后得到的图像记为{GQ200,a(x1,y1)}，将{GQ200,a(x1,y1)}中坐标位置...

【技术特征摘要】
1.一种立体图像视觉显著提取方法，其特征在于包括以下步骤：①对于任意一幅测试立体图像Stest，将Stest的左视点图像记为{LRGB(x,y)}，将Stest的左视差图像记为{D(x,y)}；其中，1≤x≤W，1≤y≤H，W表示Stest的宽度，H表示Stest的高度，LRGB(x,y)表示{LRGB(x,y)}中坐标位置为(x,y)的像素点的像素值，D(x,y)表示{D(x,y)}中坐标位置为(x,y)的像素点的像素值；②将{LRGB(x,y)}从RGB颜色空间转换到Lab颜色空间，并将数据类型转换到实数类型，得到Lab颜色空间的左视点图像，记为{LLab(x,y)}；然后将{LLab(x,y)}的L通道图像记为{LLab,L(x,y)}，将{LLab(x,y)}的a通道图像记为{LLab,a(x,y)}，将{LLab(x,y)}的b通道图像记为{LLab,b(x,y)}；再将{LLab,L(x,y)}、{LLab,a(x,y)}和{LLab,b(x,y)}均缩放到200×200像素尺寸，将{LLab,L(x,y)}、{LLab,a(x,y)}和{LLab,b(x,y)}缩放后得到的图像对应记为{L200,L(x1,y1)}、{L200,a(x1,y1)}和{L200,b(x1,y1)}；其中，LLab(x,y)表示{LLab(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,L(x,y)表示{LLab,L(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,a(x,y)表示{LLab,a(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,b(x,y)表示{LLab,b(x,y)}中坐标位置为(x,y)的像素点的像素值，1≤x1≤200，1≤y1≤200，L200,L(x1,y1)表示{L200,L(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，L200,a(x1,y1)表示{L200,a(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，L200,b(x1,y1)表示{L200,b(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值；对{D(x,y)}进行归一化处理，将归一化处理后得到的图像记为{D0,1(x,y)}；然后将{D0,1(x,y)}缩放到200×200像素尺寸，将缩放后得到的图像记为{D200(x1,y1)}；其中，D0,1(x,y)∈[0,1]，D0,1(x,y)表示{D0,1(x,y)}中坐标位置为(x,y)的像素点的像素值，D200(x1,y1)表示{D200(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值；③对{D200(x1,y1)}进行梯度提取，得到{D200(x1,y1)}的梯度幅值图，记为{G200,D(x1,y1)}；同样，对{L200,L(x1,y1)}进行梯度提取，得到{L200,L(x1,y1)}的梯度幅值图，记为{G200,L(x1,y1)}；对{L200,a(x1,y1)}进行梯度提取，得到{L200,a(x1,y1)}的梯度幅值图，记为{G200,a(x1,y1)}；对{L200,b(x1,y1)}进行梯度提取，得到{L200,b(x1,y1)}的梯度幅值图，记为{G200,b(x1,y1)}；其中，G200,D(x1,y1)表示{G200,D(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200,L(x1,y1)表示{G200,L(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200,a(x1,y1)表示{G200,a(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值，G200,b(x1,y1)表示{G200,b(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值；④对{G200,D(x1,y1)}中的每个像素点的像素值进行对数计算，将对数计算后得到的图像记为{GQ200,D(x1,y1)}，将{GQ200,D(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200,D(x1,y1)，GQ200,D(x1,y1)＝log10(1+2000×G200,D(x1,y1))；同样，对{G200,L(x1,y1)}中的每个像素点的像素值进行对数计算，将对数计算后得到的图像记为{GQ200,L(x1,y1)}，将{GQ200,L(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200,L(x1,y1)，GQ200,L(x1,y1)＝log10(1+100×G200,L(x1,y1))；对{G200,a(x1,y1)}中的每个像素点的像素值进行对数计算，将对数计算后得到的图像记为{GQ200,a(x1,y1)}，将{GQ200,a(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200,a(x1,y1)，GQ200,a(x1,y1)＝log10(1+100×G200,a(x1,y1))；对{G200,b(x1,y1)}中的每个像素点的像素值进行对数计算，将对数计算后得到的图像记为{GQ200,b(x1,y1)}，将{GQ200,b(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200,b(x1,y1)，GQ200,b(x1,y1)＝log10(1+100×G200,b(x1,y1))；⑤利用200×200像素尺寸的中心偏好图{Csaliency200(x1,y1)}对{GQ200,D(x1,y1)}进行中心四周加强，将中心四周加强后得到的图像记为{GQ200CS,D(x1,y1)}，将{GQ200CS,D(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为DQ200CS,D(x1,y1)，GQ200CS,D(x1,y1)＝GQ200,D(x1,y1)×Csaliency200(x1,y1)×0.5；同样，利用200×200像素尺寸的中心偏好图{Csaliency200(x1,y1)}对{GQ200,L(x1,y1)}进行中心四周加强，将中心四周加强后得到的图像记为{GQ200CS,L(x1,y1)}，将{GQ200CS,L(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200CS,L(x1,y1)，GQ200CS,L(x1,y1)＝GQ200,L(x1,y1)×Csaliency200(x1,y1)；利用200×200像素尺寸的中心偏好图{Csaliency200(x1,y1)}对{GQ200,a(x1,y1)}进行中心四周加强，将中心四周加强后得到的图像记为{GQ200CS,a(x1,y1)}，将{GQ200CS,a(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200CS,a(x1,y1)，GQ200CS,a(x1,y1)＝GQ200,a(x1,y1)×Csaliency200(x1,y1)；利用200×200像素尺寸的中心偏好图{Csaliency200(x1,y1)}对{GQ200,b(x1,y1)}进行中心四周加强，将中心四周加强后得到的图像记为{GQ200CS,b(x1,y1)}，将{GQ200CS,b(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值记为GQ200CS,b(x1,y1)，GQ200CS,b(x1,y1)＝GQ200,b(x1,y1)×Csaliency200(x1,y1)；其中，Csaliency200(x1,y1)表示{Csaliency200(x1,y1)}中坐标位置为(x1,y1)的像素点的像素值；⑥将{GQ200C...

【专利技术属性】
技术研发人员：周武杰，蔡星宇，岑岗，邱薇薇，周扬，赵颖，何成，葛丁飞，金国英，陈寿法，郑卫红，李鑫，吴洁雯，王昕峰，施祥，
申请(专利权)人：浙江科技学院，
类型：发明
国别省市：浙江,33