一种基于稀疏表示的立体图像视觉显著提取方法技术

本发明专利技术公开了一种基于稀疏表示的立体图像视觉显著提取方法，其在字典学习阶段，先获取每幅立体图像的左视点图像的左视点视觉特征图和右视点图像的右视点视觉特征图，然后根据左视点图像和右视点图像及两者之间的视差图像、左视点视觉特征图和右视点视觉特征图，获取每幅立体图像的左右视点融合图像，接着根据所有左右视点融合图像进行联合字典训练操作得到融合图像字典表；在显著预测阶段，以相同的方式获取待视觉显著提取的立体图像的左右视点融合图像，然后根据融合图像字典表对左右视点融合图像进行处理得到融合稀疏特征图，进而提取得到视觉显著图；优点是符合显著语义特征，且具有较强的提取稳定性和较高的提取准确性。

A stereo image saliency extraction method based on sparse representation

The invention discloses a significant extraction method based on sparse representation of stereo vision, the dictionary learning stage, right view visual feature map left view and right view point image visual feature map to get the left view per image stereo image, then according to the image between the left view and right view images and their parallax image, left view and right view point of visual feature map visual feature map, get around each view stereo image fusion image, then according to the viewpoint about all fused image fusion image is obtained by the joint dictionary training operation table in the dictionary; predict stage, to acquire the visual saliency extraction of stereo image fusion image to the left and right viewpoints the same way, then according to the fusion image dictionary table about view fusion image processing to get fusion sparse feature map, and then extract The visual saliency map is obtained. The advantage is that it conforms to the significant semantic features, and has better extraction stability and higher extraction accuracy.

【技术实现步骤摘要】
一种基于稀疏表示的立体图像视觉显著提取方法
本专利技术涉及一种图像信号的处理方法，尤其是涉及一种基于稀疏表示的立体图像视觉显著提取方法。
技术介绍
在人类视觉接收与信息处理中，由于大脑资源有限以及外界环境信息重要性区别，因此在处理过程中人脑对外界环境信息并不是一视同仁的，而是表现出选择特征。人们在观看图像或者视频片段时注意力并非均匀分布到图像的每个区域，而是对某些显著区域关注度更高。如何将视频中视觉注意度高的显著区域检测并提取出来是计算机视觉以及基于内容的视频检索领域的一个重要的研究内容。而随着立体视频显示技术和高质量立体视频内容获取技术的快速发展，针对立体图像/视频的显著区域检测及建模也是一个非常重要的研究内容。然而，立体图像并不是平面图像的简单空间拓展，因此人眼感知立体图像产生立体视觉的过程也不是简单的左视点图像和右视点图像叠加的过程，因此，立体视觉特征(例如：三维视觉注意力)并不是平面视觉特性的简单拓展。然而，现有的立体图像显著提取方法还停留在平面图像显著提取方法的简单拓展上。因此，如何从立体图像中有效地提取出立体视觉特征、如何使得提取出的立体视觉特征符合人眼三维观看行为都是在对立体图像进行视觉显著图提取过程中需要研究解决的问题。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于稀疏表示的立体图像视觉显著提取方法，其符合显著语义特征，且具有较强的提取稳定性和较高的提取准确性。本专利技术解决上述技术问题所采用的技术方案为：一种基于稀疏表示的立体图像视觉显著提取方法，其特征在于包括字典学习阶段和显著预测阶段两个过程；所述的字典学习阶段的具体步骤如下：①_1、选取K幅宽度为W且高度为H的立体图像，将第k幅立体图像记为SRGB,k，将SRGB,k的左视点图像记为{LRGB,k(x,y)}，将SRGB,k的右视点图像记为{RRGB,k(x,y)}，其中，1≤K≤100，1≤k≤K，1≤x≤W,1≤y≤H，LRGB,k(x,y)表示{LRGB,k(x,y)}中坐标位置为(x,y)的像素点的像素值，RRGB,k(x,y)表示{RRGB,k(x,y)}中坐标位置为(x,y)的像素点的像素值；①_2、根据每幅立体图像的左视点图像和右视点图像，并采用块匹配方法，计算每幅立体图像的左视点图像与右视点图像之间的视差图像，将{LRGB,k(x,y)}与{RRGB,k(x,y)}之间的视差图像记为{dk(x,y)}，其中，dk(x,y)表示{dk(x,y)}中坐标位置为(x,y)的像素点的像素值；①_3、采用LOG滤波方法，对每幅立体图像的左视点图像进行操作，得到每幅立体图像的左视点图像的左视点视觉特征图，将{LRGB,k(x,y)}的左视点视觉特征图记为{LLOG,k(x,y)}，其中，LLOG,k(x,y)表示{LLOG,k(x,y)}中坐标位置为(x,y)的像素点的像素值；同样，采用LOG滤波方法，对每幅立体图像的右视点图像进行操作，得到每幅立体图像的右视点图像的右视点视觉特征图，将{RRGB,k(x,y)}的右视点视觉特征图记为{RLOG,k(x,y)}，其中，RLOG,k(x,y)表示{RLOG,k(x,y)}中坐标位置为(x,y)的像素点的像素值；①_4、根据每幅立体图像的左视点图像和右视点图像、左视点图像与右视点图像之间的视差图像、左视点图像的左视点视觉特征图和右视点图像的右视点视觉特征图，计算每幅立体图像的左右视点融合图像，将SRGB,k的左右视点融合图像记为{RL,R,k(x,y)}，其中，RL,R,k(x,y)表示{RL,R,k(x,y)}中坐标位置为(x,y)的像素点的像素值；①_5、采用K-SVD方法，对所有立体图像的左右视点融合图像进行联合字典训练操作，得到融合图像字典表，记为{Dc(x,y)}，其中，Dc(x,y)表示{Dc(x,y)}中坐标位置为(x,y)的像素点的像素值；所述的显著预测阶段的具体步骤如下：②_1、令SRGB表示宽度为W且高度为H的待视觉显著提取的立体图像，将SRGB的左视点图像记为{LRGB(x,y)}，将SRGB的右视点图像记为{RRGB(x,y)}，其中，1≤x≤W,1≤y≤H，LRGB(x,y)表示{LRGB(x,y)}中坐标位置为(x,y)的像素点的像素值，RRGB(x,y)表示{RRGB(x,y)}中坐标位置为(x,y)的像素点的像素值；②_2、根据{LRGB(x,y)}和{RRGB(x,y)}，采用块匹配方法，计算{LRGB(x,y)}与{RRGB(x,y)}之间的视差图像，记为{d(x,y)}，其中，d(x,y)表示{d(x,y)}中坐标位置为(x,y)的像素点的像素值；②_3、采用LOG滤波方法，对{LRGB(x,y)}进行操作，得到{LRGB(x,y)}的左视点视觉特征图，记为{LLOG(x,y)}，其中，LLOG(x,y)表示{LLOG(x,y)}中坐标位置为(x,y)的像素点的像素值；同样，采用LOG滤波方法，对{RRGB(x,y)}进行操作，得到{RRGB(x,y)}的右视点视觉特征图，记为{RLOG(x,y)}，其中，RLOG(x,y)表示{RLOG(x,y)}中坐标位置为(x,y)的像素点的像素值；②_4、根据{LRGB(x,y)}和{RRGB(x,y)}、{d(x,y)}、{LLOG(x,y)}和{RLOG(x,y)}，计算SRGB的左右视点融合图像，记为{RL,R(x,y)}，其中，RL,R(x,y)表示{RL,R(x,y)}中坐标位置为(x,y)的像素点的像素值；②_5、根据字典学习阶段得到的融合图像字典表{Dc(x,y)}，并采用K-SVD求解方法对{RL,R(x,y)}进行处理，得到SRGB的融合稀疏特征图，记为{SR(x,y)}，其中，SR(x,y)表示{SR(x,y)}中坐标位置为(x,y)的像素点的像素值；②_6、采用中央周边差操作对{SR(x,y)}中的所有像素点的像素值进行处理，得到SRGB的视觉显著图，记为{S(x,y)}，其中，S(x,y)表示{S(x,y)}中坐标位置为(x,y)的像素点的像素值。所述的步骤①_4中的其中，RRGB,k(x+dk(x,y),y)表示{RRGB,k(x,y)}中坐标位置为(x+dk(x,y),y)的像素点的像素值，RLOG,k(x+dk(x,y),y)表示{RLOG,k(x,y)}中坐标位置为(x+dk(x,y),y)的像素点的像素值。所述的步骤②_4中的其中，RRGB(x+d(x,y),y)表示{RRGB(x,y)}中坐标位置为(x+d(x,y),y)的像素点的像素值，RLOG(x+d(x,y),y)表示{RLOG(x,y)}中坐标位置为(x+d(x,y),y)的像素点的像素值。与现有技术相比，本专利技术的优点在于：1)本专利技术方法采用双目融合模型对左右视点进行融合，左右视点融合图像很好的模拟了双目视觉特性，为提高视觉显著值预测的准确性和稳定性做了准备。2)本专利技术方法采用稀疏表示的方法提取融合稀疏特征图，提取的融合稀疏特征图能够较好地反映各种因素的显著变化情况，符合显著语义特征。3)本专利技术方法采用了中央周边差操作对融合稀疏特征图中的所有像素点的像素值进行处理，并最终获得立体图像的视觉显著图，本文档来自技高网...

【技术保护点】
一种基于稀疏表示的立体图像视觉显著提取方法，其特征在于包括字典学习阶段和显著预测阶段两个过程；所述的字典学习阶段的具体步骤如下：①_1、选取K幅宽度为W且高度为H的立体图像，将第k幅立体图像记为S

【技术特征摘要】
1.一种基于稀疏表示的立体图像视觉显著提取方法，其特征在于包括字典学习阶段和显著预测阶段两个过程；所述的字典学习阶段的具体步骤如下：①_1、选取K幅宽度为W且高度为H的立体图像，将第k幅立体图像记为SRGB,k，将SRGB,k的左视点图像记为{LRGB,k(x,y)}，将SRGB,k的右视点图像记为{RRGB,k(x,y)}，其中，1≤K≤100，1≤k≤K，1≤x≤W,1≤y≤H，LRGB,k(x,y)表示{LRGB,k(x,y)}中坐标位置为(x,y)的像素点的像素值，RRGB,k(x,y)表示{RRGB,k(x,y)}中坐标位置为(x,y)的像素点的像素值；①_2、根据每幅立体图像的左视点图像和右视点图像，并采用块匹配方法，计算每幅立体图像的左视点图像与右视点图像之间的视差图像，将{LRGB,k(x,y)}与{RRGB,k(x,y)}之间的视差图像记为{dk(x,y)}，其中，dk(x,y)表示{dk(x,y)}中坐标位置为(x,y)的像素点的像素值；①_3、采用LOG滤波方法，对每幅立体图像的左视点图像进行操作，得到每幅立体图像的左视点图像的左视点视觉特征图，将{LRGB,k(x,y)}的左视点视觉特征图记为{LLOG,k(x,y)}，其中，LLOG,k(x,y)表示{LLOG,k(x,y)}中坐标位置为(x,y)的像素点的像素值；同样，采用LOG滤波方法，对每幅立体图像的右视点图像进行操作，得到每幅立体图像的右视点图像的右视点视觉特征图，将{RRGB,k(x,y)}的右视点视觉特征图记为{RLOG,k(x,y)}，其中，RLOG,k(x,y)表示{RLOG,k(x,y)}中坐标位置为(x,y)的像素点的像素值；①_4、根据每幅立体图像的左视点图像和右视点图像、左视点图像与右视点图像之间的视差图像、左视点图像的左视点视觉特征图和右视点图像的右视点视觉特征图，计算每幅立体图像的左右视点融合图像，将SRGB,k的左右视点融合图像记为{RL,R,k(x,y)}，其中，RL,R,k(x,y)表示{RL,R,k(x,y)}中坐标位置为(x,y)的像素点的像素值；①_5、采用K-SVD方法，对所有立体图像的左右视点融合图像进行联合字典训练操作，得到融合图像字典表，记为{Dc(x,y)}，其中，Dc(x,y)表示{Dc(x,y)}中坐标位置为(x,y)的像素点的像素值；所述的显著预测阶段的具体步骤如下：②_1、令SRGB表示宽度为W且高度为H的待视觉显著提取的立体图像，将SRGB的左视点图像记为{LRGB(x,y)}，将SRGB的右视点图像记为{RRGB(x,y)}，其中，1≤x≤W,1≤y≤H，LRGB(x,y)表示{LR...

【专利技术属性】
技术研发人员：周武杰，顾鹏笠，张爽爽，潘婷，蔡星宇，邱薇薇，周扬，赵颖，陈芳妮，陈寿法，
申请(专利权)人：浙江科技学院，
类型：发明
国别省市：浙江,33