一种立体视频重定位方法技术

本发明专利技术公开了一种立体视频重定位方法，其通过提取立体视频每个时刻的左视点视频图像和右视点视频图像中的所有四边形网格对应的目标四边形网格的深度运动能量、形状保持能量、时域一致能量、空间一致能量、视差保持能量，并通过优化获取最佳相似变换矩阵，这样使得获得的重定位立体视频能够较好地保留重要的显著语义信息、较好地保持时域一致性、有效地调整立体视频尺寸大小且保持视觉舒适性。

A Stereo Video Relocation Method

【技术实现步骤摘要】
一种立体视频重定位方法
本专利技术涉及一种图像信号的处理方法，尤其是涉及一种立体视频重定位方法。
技术介绍
随着立体显示技术的快速发展，各种具有不同立体显示功能的立体显示终端也广泛出现了，但是，由于立体显示终端的种类繁多，宽/高比规格不一，因此若将宽/高比一定的立体视频放在不同的立体显示终端上显示，则必须先对立体视频的尺寸进行调整，以达到立体显示的效果。传统的视频缩放方法是通过裁剪或者是按固定比例进行缩放，然而这样做可能会出现视频中的内容减少或者导致显著物体形变。对于立体视频，如果直接对左视点视频和右视点视频分别采用相同的视频重定位方法，即单独处理立体视频中的左视点视频和右视点视频，则会造成错误的深度信息；同时，当立体视频有较快的深度运动时，传统的深度保持会使得重定位后的立体视频仍然有不舒适的深度运动，进而会造成视觉不舒适，影响观看体验。因此，如何对立体视频进行缩放以优化深度运动、减少图像形变、避免时域抖动、突出显著内容，从而降低视觉不舒适，都是在对立体视频进行重定位过程中需要研究解决的问题。
技术实现思路
本专利技术所要解决的技术问题是提供一种立体视频重定位方法，其符合显著语义特征，且能够有效地调整立体视频的尺寸大小。本专利技术解决上述技术问题所采用的技术方案为：一种立体视频重定位方法，其特征在于包括以下步骤：步骤一：将待处理的原始立体视频序列中当前待处理的第t帧左视点视频图像和第t帧右视点视频图像对应定义为当前左视点视频图像和当前右视点视频图像；其中，t为正整数，t的初始值为1，1≤t≤T-1，T表示待处理的原始立体视频序列中包含的宽度为W且高度为H的左视点视频图像的总帧数和包含的宽度为W且高度为H的右视点视频图像的总帧数，T为正整数，T＞1，W和H均能被8整除；步骤二：将当前左视点视频图像和当前右视点视频图像对应记为和然后采用基于光流的视差估计方法，计算与的左视差图像，记为其中，1≤x≤W，1≤y≤H，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；步骤三：将分割成个互不重叠的尺寸大小为8×8的四边形网格，将中的第k个四边形网格记为并将中的所有四边形网格构成的集合记为然后根据中的所有四边形网格和获取中的所有互不重叠的尺寸大小为8×8的四边形网格，将中的第k个四边形网格记为并将中的所有四边形网格构成的集合记为其中，k为正整数，k的初始值为1，1≤k≤M，M表示中包含的四边形网格的总个数和中包含的四边形网格的总个数，通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，表示中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示中坐标位置为的像素点的像素值；步骤四：采用基于图论的视觉显著模型提取出的显著图，记为然后根据和获取的三维显著图，记为再根据和获取的三维显著图，记为其中，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；步骤五：采用基于光流的估计方法，计算与的运动矢量，记为将中坐标位置为(x,y)的像素点的运动矢量记为同样，采用基于光流的估计方法，计算与的运动矢量，记为将中坐标位置为(x,y)的像素点的运动矢量记为其中，用于表示水平方向，用于表示垂直方向，表示的水平偏移量，表示的垂直偏移量，表示的水平偏移量，表示的垂直偏移量，表示待处理的原始立体视频序列中的第t+1帧左视点视频图像，表示中坐标位置为(x,y)的像素点的像素值，表示待处理的原始立体视频序列中的第t+1帧右视点视频图像，表示中坐标位置为(x,y)的像素点的像素值；步骤六：根据中的所有四边形网格和获取中的所有互不重叠的尺寸大小为8×8的四边形网格，将中的第k个四边形网格记为并将中的所有四边形网格构成的集合记为同样，根据中的所有四边形网格和获取中的所有互不重叠的尺寸大小为8×8的四边形网格，将中的第k个四边形网格记为并将中的所有四边形网格构成的集合记为其中，通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，表示中坐标位置为的像素点的运动矢量的水平偏移量，表示中坐标位置为的像素点的运动矢量的垂直偏移量，以的水平坐标位置和垂直坐标位置来描述，表示中坐标位置为的像素点的运动矢量的水平偏移量，表示中坐标位置为的像素点的运动矢量的垂直偏移量，以的水平坐标位置和垂直坐标位置来描述，表示中坐标位置为的像素点的运动矢量的水平偏移量，表示中坐标位置为的像素点的运动矢量的垂直偏移量，以的水平坐标位置和垂直坐标位置来描述，表示中坐标位置为的像素点的运动矢量的水平偏移量，表示中坐标位置为的像素点的运动矢量的垂直偏移量；通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，表示中坐标位置为的像素点的运动矢量的水平偏移量，表示中坐标位置为的像素点的运动矢量的垂直偏移量，以的水平坐标位置和垂直坐标位置来描述，表示中坐标位置为的像素点的运动矢量的水平偏移量，表示中坐标位置为的像素点的运动矢量的垂直偏移量，以的水平坐标位置和垂直坐标位置来描述，表示中坐标位置为的像素点的运动矢量的水平偏移量，表示中坐标位置为的像素点的运动矢量的垂直偏移量，以的水平坐标位置和垂直坐标位置来描述，表示中坐标位置为的像素点的运动矢量的水平偏移量，表示中坐标位置为的像素点的运动矢量的垂直偏移量；步骤七：计算和中的所有四边形网格对应的目标四边形网格的深度运动能量，记为计算和中的所有四边形网格对应的目标四边形网格的形状保持能量，记为计算和中的所有四边形网格对应的目标四边形网格的时域一致能量，记为计算和中的所有四边形网格对应的目标四边形网格的空间一致能量，记为计算和中的所有四边形网格对应的目标四边形网格的视差保持能量，记为步骤八：根据和计算和中的所有四边形网格对应的目标四边形网格的总能量，记为Etotal，然后通过最小二乘优化求解得到中的所有四边形网格对应的最佳目标四边形网格构成的集合及中的本文档来自技高网...

【技术保护点】
1.一种立体视频重定位方法，其特征在于包括以下步骤：步骤一：将待处理的原始立体视频序列中当前待处理的第t帧左视点视频图像和第t帧右视点视频图像对应定义为当前左视点视频图像和当前右视点视频图像；其中，t为正整数，t的初始值为1，1≤t≤T‑1，T表示待处理的原始立体视频序列中包含的宽度为W且高度为H的左视点视频图像的总帧数和包含的宽度为W且高度为H的右视点视频图像的总帧数，T为正整数，T＞1，W和H均能被8整除；步骤二：将当前左视点视频图像和当前右视点视频图像对应记为

【技术特征摘要】
1.一种立体视频重定位方法，其特征在于包括以下步骤：步骤一：将待处理的原始立体视频序列中当前待处理的第t帧左视点视频图像和第t帧右视点视频图像对应定义为当前左视点视频图像和当前右视点视频图像；其中，t为正整数，t的初始值为1，1≤t≤T-1，T表示待处理的原始立体视频序列中包含的宽度为W且高度为H的左视点视频图像的总帧数和包含的宽度为W且高度为H的右视点视频图像的总帧数，T为正整数，T＞1，W和H均能被8整除；步骤二：将当前左视点视频图像和当前右视点视频图像对应记为和然后采用基于光流的视差估计方法，计算与的左视差图像，记为其中，1≤x≤W，1≤y≤H，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；步骤三：将分割成个互不重叠的尺寸大小为8×8的四边形网格，将中的第k个四边形网格记为并将中的所有四边形网格构成的集合记为然后根据中的所有四边形网格和获取中的所有互不重叠的尺寸大小为8×8的四边形网格，将中的第k个四边形网格记为并将中的所有四边形网格构成的集合记为其中，k为正整数，k的初始值为1，1≤k≤M，M表示中包含的四边形网格的总个数和中包含的四边形网格的总个数，通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，表示中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示中坐标位置为的像素点的像素值；步骤四：采用基于图论的视觉显著模型提取出的显著图，记为然后根据和获取的三维显著图，记为再根据和获取的三维显著图，记为其中，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；步骤五：采用基于光流的估计方法，计算与的运动矢量，记为将中坐标位置为(x,y)的像素点的运动矢量记为同样，采用基于光流的估计方法，计算与的运动矢量，记为将中坐标位置为(x,y)的像素点的运动矢量记为其中，用于表示水平方向，用于表示垂直方向，表示的水平偏移量，表示的垂直偏移量，表示的水平偏移量，表示的垂直偏移量，表示待处理的原始立体视频序列中的第t+1帧左视点视频图像，表示中坐标位置为(x,y)的像素点的像素值，表示待处理的原始立体视频序列中的第t+1帧右视点视频图像，表示中坐标位置为(x,y)的像素点的像素值；步骤六：根据中的所有四边形网格和获取中的所有互不重叠的尺寸大小为8×8的四边形网格，将中的第k个四边形网格记为并将中的所有四边形网格构成的集合记为同样，根据中的所有四边形网格和获取中的所有互不重叠的尺寸大小为8×8的四边形网格，将中的第k个四边形网格记为并将中的所有四边形网格构成的集合记为其中，通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，表示中坐标位置为的像素点的运动矢量的水平偏移量，表示中坐标位置为的像素点的运动矢量的垂直偏移量，以的水平坐标位置和垂直坐标位置来描述，表示中坐标位置为的像素点的运动矢量的水平偏移量，表示中坐标位置为的像素点的运动矢量的垂直偏移量，以的水平坐标位置和垂直坐标位置来描述，表示中坐标位置为的像素点的运动矢量的水平偏移量，表示中坐标位置为的像素点的运动矢量的垂直偏移量，以的水平坐标位置和垂直坐标位置来描述，表示中坐标位置为的像素点的运动矢量的水平偏移量，表示中坐标位置为的像素点的运动矢量的垂直偏移量；通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，表示中坐标位置为的像素点的运动矢量的水平偏移量，表示中坐标位置为的像素点的运动矢量的垂直偏移量，以的水平坐标位置和垂直坐标位置来描述，表示中坐标位置为的像素点的运动矢量的水平偏移量，表示中坐标位置为的像素点的运动矢量的垂直偏移量，以的水平坐标位置和垂直坐标位置来描述，表示中坐标位置为的像素点的运动矢量的水平偏移量，表示中坐标位置为的像素点的运动矢量的垂直偏移量，以的水平坐标位置和垂直坐标位置来描述，表示中坐标位置为的像素点的运动矢量的水平偏移量，表示中坐标位置为的像素点的运动矢量的垂直偏移量；步骤七：计算和中的所有四边形网格对应的目标四边形网格的深度运动能量，记为计算和中的所有四边形网格对应的目标四边形网格的形状保持能量，记为计算和中的所有四边形网格对应的目标四边形网格的时域一致能量，记为计算和中的所有四边形网格对应的目标四边形网格的空间一致能量，记为计算和中的所有四边形网格对应的目标四边形网格的视差保持能量，记为步骤八：根据和计算和中的所有四边形网格对应的目标四边形网格的总能量，记为Etotal，然后通过最小二乘优化求解得到中的所有四边形网格对应的最佳目标四边形网格构成的集合及中的所有四边形网格对应的最佳目标四边形网格构成的集合，对应记为及接着根据计算中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵，将对应的最佳...

【专利技术属性】
技术研发人员：邵枫，李鹏飞，李福翠，
申请(专利权)人：宁波大学，
类型：发明
国别省市：浙江,33