基于立方体投影格式的立体全景图像显著区域预测方法技术

本发明专利技术公开了一种基于立方体投影格式的立体全景图像显著区域预测方法，其将立体全景图像处理成立方体投影格式；构建立方体投影格式的立体全景图像的水平局部面、水平全局面、垂直面；计算水平局部面、水平全局面、垂直面各自的显著图；将水平局部面的显著图加权水平全局面的显著图获取水平面显著图，将垂直面的显著图作为垂直面显著图；根据水平面显著图和垂直面显著图获取立方体投影格式的立体全景图像的显著图，将该显著图处理成等矩形投影格式，再使用纬度增强权重加权，得到待处理的立体全景图像的显著图；优点是其能够有效准确地预测出立体全景图像的显著区域，且显著区域与主观感知的一致性高。

Salient region prediction of stereo panoramic image based on cube projection

【技术实现步骤摘要】
基于立方体投影格式的立体全景图像显著区域预测方法
本专利技术涉及一种图像显著区域预测方法，尤其是涉及一种基于立方体投影格式的立体全景图像显著区域预测方法。
技术介绍
追求沉浸式视觉体验以模拟真实世界一直是一个热门的话题，随着360°相机如Surround360相机的上市，立体全景视觉内容已逐渐吸引越来越多研究者以及消费者的关注。与传统图像相比，立体全景图像的显著特点是具有较广的视野范围，360°相机可以拍摄覆盖整个内球面的整个视场，观看者通过佩戴HMD(HeadMountedDisplay)以视口的形式自由地选择并观看立体全景图像的局部区域。人类视觉系统(HVS)的视觉注意机制往往是有选择地关注较为感兴趣的内容而忽略视觉环境中的其他部分，从而有效地分配有限的视觉处理资源。显著性预测是对人眼的这一机制进行模拟，从而将后续更多的关注以及更复杂的操作应用到显著区域，近年来在图像压缩、质量评价、图像分割等领域都有较为广泛的应用。现有的全景图像显著性预测模型大多先直接将平面全景图像处理成等矩形(EquirectangularProject本文档来自技高网...

【技术保护点】
1.一种基于立方体投影格式的立体全景图像显著区域预测方法，其特征在于包括以下步骤：/n步骤1：将待处理的宽度为W且高度为H的立体全景图像处理成立方体投影格式的立体全景图像，记为I

【技术特征摘要】
1.一种基于立方体投影格式的立体全景图像显著区域预测方法，其特征在于包括以下步骤：
步骤1：将待处理的宽度为W且高度为H的立体全景图像处理成立方体投影格式的立体全景图像，记为ICMP，ICMP由6个面组成，ICMP表述为ICMP＝(V1,V2,V3,V4,V5,V6)；其中，V1表示ICMP的左部面，V2表示ICMP的前部面，V3表示ICMP的右部面，V4表示ICMP的后部面，V5表示ICMP的顶部面，V6表示ICMP的底部面；
步骤2：构建ICMP的水平局部面，记为Vhl；并构建ICMP的水平全局面，记为Vhg；
步骤3：计算Vhl的显著图，记为Shl；并计算Vhg的显著图，记为Shg；其中，Shl和Shg的宽度一致且高度一致；
步骤4：使用Shl加权Shg，得到ICMP的水平面显著图，记为Shv；其中，Shv的宽度为4M且高度为M，M表示V1、V2、V3、V4、V5、V6的宽和高；
步骤5：构建ICMP的垂直面，记为Vv；
步骤6：计算Vv的显著图；然后将Vv的显著图作为ICMP的垂直面显著图，记为Svv；其中，的宽度为M且高度为3M；
步骤7：将Shv在宽度方向上从左往右以M个像素点为距离进行切分，获得四个面，将Shv表述为Shv＝(S1,S'2,S3,S4)；并将Svv在高度方向上从上往下以M个像素点为距离进行切分，获得三个面，将Svv表述为Svv＝(S5,S”2,S6)；然后计算ICMP的显著图，记为SCMP，SCMP＝(S1,S2,S3,S4,S5,S6)，其中，令(x1,x2)表示Shv中的像素点的坐标位置，1≤x1≤4M,1≤x2≤M，S1表示Shv中坐标位置在1≤x1≤M，1≤x2≤M范围内的所有像素点构成的面，S'2表示Shv中坐标位置在M+1≤x1≤2M，1≤x2≤M范围内的所有像素点构成的面，S3表示Shv中坐标位置在2M+1≤x1≤3M，1≤x2≤M范围内的所有像素点构成的面，S4表示Shv中坐标位置在3M+1≤x1≤4M，1≤x2≤M范围内的所有像素点构成的面，令(x'1,x'2)表示Svv中的像素点的坐标位置，1≤x'1≤M,1≤x'2≤3M，S5表示Svv中坐标位置在1≤x'1≤M，1≤x'2≤M范围内的所有像素点构成的面，S”2表示Svv中坐标位置在1≤x'1≤M，M+1≤x'2≤2M范围内的所有像素点构成的面，S6表示Svv中坐标位置在1≤x'1≤M，2M+1≤x'2≤3M范围内的所有像素点构成的面，S1表示SCMP的左部面，S2表示SCMP的前部面，S3表示SCMP的右部面，S4表示SCMP的后部面，S5表示SCMP的顶部面，S6表示SCMP的底部面；
步骤8：将SCMP处理成等矩形投影格式的图像，记为SERP；然后使用纬度增强权重w加权SERP，得到待处理的立体全景图像的显著图，记为Sw，将Sw中坐标位置为(a,b)的像素点的像素值记为Sw(a,b)，Sw(a,b)＝SERP(a,b)×w(a,b)；其中，1≤a≤W,1≤b≤H，SERP(a,b)表示SERP中坐标位置为(a,b)的像素点的像素值，w(a,b)表示w中下标为(a,b)的元素的值，


2.根据权利要求1所述的基于立方体投影格式的立体全景图像显著区域预测方法，其特征在于所述的步骤2中，Vhl由8个面组成，Vhl表述为Vhl＝(V1,V2,V3,V4,V1',V2',V3',V4')；Vhg由2个面组成，Vhg表述为Vhg＝(Vhg1,Vhg2)；其中，V1'表示V1向左移动L1个像素点距离后得到的面，V2'表示V2向左移动L1个像素点距离后得到的面，V3'表示V3向左移动L1个像素点距离后得到的面，V4'表示V4向左移动L1个像素点距离后得到的面，M表示V1、V2、V3、V4、V5、V6的宽和高，Vhg1由V1、V2、V3、V4按顺序拼接成一行而成，Vhg1的宽度为4M且高度为M，Vhg2表示Vhg1向左移动L2个像素点距离后得到的面，M'表示Vhg1的宽度，即M'＝4M。


3.根据权利要求2所述的基于立方体投影格式的立体全景图像显著区域预测方法，其特征在于所述的步骤3的具体过程为：
步骤3_1：将Vhl中的每个面和Vhg中的每个面均作为待处理的面；
步骤3_2：将当前待处理的面定义为当前面；
步骤3_3：对当前面进行超像素分割，分割得到多个超像素块；
步骤3_4：对当前面中的每个超像素块进行张量分解，得到当前面中的每个超像素块的张量域第一子带；然后将当前面中的每个超像素块的张量域第一子带中的所有像素点的像素值的均值作为该超像素块的颜色特征；再计算当前面中的每两个超像素块的颜色特征之间的距离，将当前面中的第i个超像素块的颜色特征与第j个超像素块的颜色特征之间的距离记为distci,j，distci,j＝||ci-cj||2；其中，1≤i≤Num，1≤j≤Num，i≠j，Num表示当前面中的超像素块的个数，Num＞1，ci表示当前面中的第i个超像素块的颜色特征，cj表示当前面中的第j个超像素块的颜色特征，符号“||||2”为求2-范数符号；
步骤3_5：计算当前面的左视图与右视图的视差图；然后将视差图中的每个超像素块中的所有像素点的像素值的均值作为当前面中的每个超像素块的深度特征，即将视差图中的第i个超像素块中的所有像素点的像素值的均值作为当前面中的第i个超像素块的深度特征；再计算当前面中的每两个超像素块的深度特征之间的距离，将当前面中的第i个超像素块的深度特征与第j个超像素块的深度特征之间的距离记为distdi,j，distdi,j＝||di-dj||2；其中，di表示当前面中的第i个超像素块的深度特征，cj表示当前面中的第j个超像素块的深度特征；
步骤3_6：计算当前面中的每两个超像素块之间的特征距离，将当前面中的第i个超像素块与第j个超像素块之间的特征距离记为disti,j，disti,j＝λc×distci,j+λd×distdi,j；其中，λc表示distci,j的权重，λd表示distdi,j的权重，λc+λd＝1；
步骤3_7：计算当前面中的每两个超像素块之间的边权重，将当前面中的第i个超像素块与第j个超像素块之间的边权重记为wti,j，其中，e表示自然基数，σ为常数，符号“||||”为求欧氏距离符号；
步骤3_8：以当前面中的每个超像素块为节点构造图模型，记为G，G＝(X,E)；其中，X表示所有节点构成的集合，即当前面中的所有超像素块构成的集合，E表示所有边构成的集合，当前面中的第i个超像素块与第j个超像素块之间的边的边权重为wti,j；
步骤3_9：计算G的关联矩阵和度矩阵，对应记为WT和D，WT＝[w...

【专利技术属性】
技术研发人员：蒋刚毅，张君君，陈华，宋洋，郁梅，
申请(专利权)人：宁波大学，
类型：发明
国别省市：浙江;33