一种三维视频图像重定位方法技术

本发明专利技术公开了一种三维视频图像重定位方法，其通过提取左视点彩色图像的形状保护能量项、边界弯曲度能量项和舒适度保持能量项，并通过优化获取最佳相似变换矩阵，这样使得获得的重定位三维视频图像能够较好地保留重要的显著语义信息且保持视觉舒适性；其对三维视频图像在三维显示空间的水平坐标位置、垂直坐标位置和深度坐标位置同时进行调整，这样能保证重定位后的深度图像的深度值与重定位后的像素点的坐标位置是匹配的，从而能够保证重定位后的三维视频图像的舒适性。

【技术实现步骤摘要】
一种三维视频图像重定位方法
本专利技术涉及一种图像信号的处理方法，尤其是涉及一种三维视频图像重定位方法。
技术介绍
随着立体显示技术的快速发展，各种具有不同立体显示功能的立体显示终端也广泛出现，但是，由于立体显示终端的种类繁多，宽/高比规格不一，因此若将宽/高比一定的图像放在不同的立体显示终端上显示，则必须先对图像的尺寸进行调整，以达到立体显示的效果。传统的图像缩放方法是通过裁剪或者是按固定比例进行缩放，然而这样做可能会出现图像中的内容减少或者导致显著物体形变。对于三维视频图像而言，如果将彩色图像的缩放关系直接应用到深度图像，则由于重定位后相机场景几何已发生严重变化，而若还保持深度值不变则会严重影响虚拟视点绘制效果，从而引起立体深度感发生变化，严重时会导致视觉不舒适，因此，如何对三维视频图像的彩色图像和深度图像同时进行缩放以减少图像形变、突出显著内容，同时如何保证缩放后的彩色图像和深度图像的视差/深度分布的一致性，从而降低视觉不舒适、增强深度感，都是在对三维视频图像进行重定位过程中需要研究解决的问题。
技术实现思路
本专利技术所要解决的技术问题是提供一种符合显著语义特征，且能够有效地调整三维视频图像尺寸大小的三维视频图像重定位方法。本专利技术解决上述技术问题所采用的技术方案为：一种三维视频图像重定位方法，其特征在于包括以下步骤：①将待处理的三维视频图像的左视点彩色图像、右视点彩色图像、左视点深度图像及右视点深度图像对应记为{IL(x,y)}、{IR(x,y)}、{DL(x,y)}及{DR(x,y)}，其中，(x,y)表示待处理的三维视频图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示待处理的三维视频图像的宽度，H表示待处理的三维视频图像的高度，IL(x,y)表示{IL(x,y)}中坐标位置为(x,y)的像素点的像素值，IR(x,y)表示{IR(x,y)}中坐标位置为(x,y)的像素点的像素值，DL(x,y)表示{DL(x,y)}中坐标位置为(x,y)的像素点的像素值，DR(x,y)表示{DR(x,y)}中坐标位置为(x,y)的像素点的像素值；②将{IL(x,y)}和{DL(x,y)}分割成个互不重叠的尺寸大小为40×40的四边形网格；然后以{IL(x,y)}中的每个四边形网格的左上、左下、右上和右下4个网格顶点的集合来描述{IL(x,y)}中的每个四边形网格，将{IL(x,y)}中的第k个四边形网格记为UL,k，其中，1≤k≤M，对应表示UL,k的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，③计算{DL(x,y)}中的每个像素点的场景深度值，将{DL(x,y)}中坐标位置为(x,y)的像素点的场景深度值记为zL(x,y)，然后计算{IL(x,y)}中的每个像素点在{IR(x,y)}中的对应坐标位置，将{IL(x,y)}中坐标位置为(x,y)的像素点在{IR(x,y)}中的对应坐标位置记为(xR,yR)，xR＝x'/w'，yR＝y'/w'，接着计算{IL(x,y)}中的每个像素点的水平视差值，将{IL(x,y)}中坐标位置为(x,y)的像素点的水平视差值记为dL(x,y)，dL(x,y)＝xR-x；其中，znear表示最小的场景深度值，zfar表示最大的场景深度值，R1为左视点相机的旋转矩阵，A1为左视点相机的内参矩阵，T1为左视点相机的平移矩阵，R2为右视点相机的旋转矩阵，A2为右视点相机的内参矩阵，T2为右视点相机的平移矩阵，A1-1为A1的逆矩阵，R2-1为R2的逆矩阵；④根据{IL(x,y)}中的每个四边形网格，获取对应的三维曲面网格，以{IL(x,y)}中的每个三维曲面网格的左上、左下、右上和右下4个网格顶点的集合来描述{IL(x,y)}中的每个三维曲面网格，将根据UL,k获取的对应的三维曲面网格记为VL,k，其中，对应表示VL,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以在三维显示空间的水平坐标位置垂直坐标位置和深度坐标位置来描述，以在三维显示空间的水平坐标位置垂直坐标位置和深度坐标位置来描述，以在三维显示空间的水平坐标位置垂直坐标位置和深度坐标位置来描述，以在三维显示空间的水平坐标位置垂直坐标位置和深度坐标位置来描述，de表示待处理的三维视频图像的左视点与右视点之间的水平基线距离，LD表示待处理的三维视频图像的左视点和右视点与显示器之间的观看距离，Wd表示显示器的水平宽度，R表示显示器的水平分辨率，表示{IL(x,y)}中坐标位置为的像素点的水平视差值，表示{IL(x,y)}中坐标位置为的像素点的水平视差值，表示{IL(x,y)}中坐标位置为的像素点的水平视差值，表示{IL(x,y)}中坐标位置为的像素点的水平视差值；⑤根据{IL(x,y)}中的所有三维曲面网格对应的P个候选目标三维曲面网格，对{IL(x,y)}中的每个三维曲面网格的各个网格顶点分别进行相似变换，使得原三维曲面网格与原三维曲面网格经过相似变换后得到的候选目标三维曲面网格的变换误差最小，得到{IL(x,y)}中的每个三维曲面网格对应的各个候选目标三维曲面网格的相似变换矩阵，将VL,k对应的第p个候选目标三维曲面网格的相似变换矩阵记为其中，1≤p≤P，表示VL,k对应的第p个候选目标三维曲面网格，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，表示的第i个网格顶点，i＝1,2,3,4，和对应表示的水平坐标位置、垂直坐标位置和深度坐标位置，和对应表示的水平坐标位置、垂直坐标位置和深度坐标位置，和对应表示的水平坐标位置、垂直坐标位置和深度坐标位置，和对应表示的水平坐标位置、垂直坐标位置和深度坐标位置，(AL,k)T为AL,k的转置，((AL,k)TAL,k)-1为(AL,k)TAL,k的逆；⑥获取{DL(x,y)}中的每个像素点的左方向最大可容忍失真值和右方向最大可容忍失真值；然后根据{DL(x,y)}中的每个像素点的左方向最大可容忍失真值和右方向最大可容忍失真值，提取出{DL(x,y)}的最大可容忍失真分布图像，记为{SL(x,y)}；其中，SL(x,y)表示{SL(x,y)}中坐标位置为(x,y)的像素点的像素值，亦表示{DL(x,y)}中坐标位置为(x,y)的像素点的最大可容忍失真值；⑦采用基于图论的视觉显著模型提取出{IL(x,y)}的显著图，记为{ML(x,y)}；然后根据{ML(x,y)}和{SL(x,y)}，获取{IL(x,y)}的视觉显著图，记为将中坐标位置为(x,y)的像素点的像素值记为其中，ML(x,y)表示{ML(x,y)}中坐标位置为(x,y)的像素点的像素值，λ1表示ML(x,y)的权重，λ2表示SL(x,y)的权重，λ1+λ2＝1；⑧根据{IL(x,y)}中的每个三维曲面网格对应的各个候选目标三维曲面网格的相似变换矩阵，并结合计算在{IL(x,本文档来自技高网...

【技术保护点】
一种三维视频图像重定位方法，其特征在于包括以下步骤：①将待处理的三维视频图像的左视点彩色图像、右视点彩色图像、左视点深度图像及右视点深度图像对应记为{IL(x,y)}、{IR(x,y)}、{DL(x,y)}及{DR(x,y)}，其中，(x,y)表示待处理的三维视频图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示待处理的三维视频图像的宽度，H表示待处理的三维视频图像的高度，IL(x,y)表示{IL(x,y)}中坐标位置为(x,y)的像素点的像素值，IR(x,y)表示{IR(x,y)}中坐标位置为(x,y)的像素点的像素值，DL(x,y)表示{DL(x,y)}中坐标位置为(x,y)的像素点的像素值，DR(x,y)表示{DR(x,y)}中坐标位置为(x,y)的像素点的像素值；②将{IL(x,y)}和{DL(x,y)}分割成

【技术特征摘要】
1.一种三维视频图像重定位方法，其特征在于包括以下步骤：①将待处理的三维视频图像的左视点彩色图像、右视点彩色图像、左视点深度图像及右视点深度图像对应记为{IL(x,y)}、{IR(x,y)}、{DL(x,y)}及{DR(x,y)}，其中，(x,y)表示待处理的三维视频图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示待处理的三维视频图像的宽度，H表示待处理的三维视频图像的高度，IL(x,y)表示{IL(x,y)}中坐标位置为(x,y)的像素点的像素值，IR(x,y)表示{IR(x,y)}中坐标位置为(x,y)的像素点的像素值，DL(x,y)表示{DL(x,y)}中坐标位置为(x,y)的像素点的像素值，DR(x,y)表示{DR(x,y)}中坐标位置为(x,y)的像素点的像素值；②将{IL(x,y)}和{DL(x,y)}分割成个互不重叠的尺寸大小为40×40的四边形网格；然后以{IL(x,y)}中的每个四边形网格的左上、左下、右上和右下4个网格顶点的集合来描述{IL(x,y)}中的每个四边形网格，将{IL(x,y)}中的第k个四边形网格记为UL,k，其中，1≤k≤M，对应表示UL,k的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，③计算{DL(x,y)}中的每个像素点的场景深度值，将{DL(x,y)}中坐标位置为(x,y)的像素点的场景深度值记为zL(x,y)，然后计算{IL(x,y)}中的每个像素点在{IR(x,y)}中的对应坐标位置，将{IL(x,y)}中坐标位置为(x,y)的像素点在{IR(x,y)}中的对应坐标位置记为(xR,yR)，xR＝x'/w'，yR＝y'/w'，接着计算{IL(x,y)}中的每个像素点的水平视差值，将{IL(x,y)}中坐标位置为(x,y)的像素点的水平视差值记为dL(x,y)，dL(x,y)＝xR-x；其中，znear表示最小的场景深度值，zfar表示最大的场景深度值，R1为左视点相机的旋转矩阵，A1为左视点相机的内参矩阵，T1为左视点相机的平移矩阵，R2为右视点相机的旋转矩阵，A2为右视点相机的内参矩阵，T2为右视点相机的平移矩阵，A1-1为A1的逆矩阵，R2-1为R2的逆矩阵；④根据{IL(x,y)}中的每个四边形网格，获取对应的三维曲面网格，以{IL(x,y)}中的每个三维曲面网格的左上、左下、右上和右下4个网格顶点的集合来描述{IL(x,y)}中的每个三维曲面网格，将根据UL,k获取的对应的三维曲面网格记为VL,k，其中，对应表示VL,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以在三维显示空间的水平坐标位置垂直坐标位置和深度坐标位置来描述，以在三维显示空间的水平坐标位置垂直坐标位置和深度坐标位置来描述，以在三维显示空间的水平坐标位置垂直坐标位置和深度坐标位置来描述，以在三维显示空间的水平坐标位置垂直坐标位置和深度坐标位置来描述，de表示待处理的三维视频图像的左视点与右视点之间的水平基线距离，LD表示待处理的三维视频图像的左视点和右视点与显示器之间的观看距离，Wd表示显示器的水平宽度，R表示显示器的水平分辨率，表示{IL(x,y)}中坐标位置为的像素点的水平视差值，表示{IL(x,y)}中坐标位置为的像素点的水平视差值，表示{IL(x,y)}中坐标位置为的像素点的水平视差值，表示{IL(x,y)}中坐标位置为的像素点的水平视差值；⑤根据{IL(x,y)}中的所有三维曲面网格对应的P个候选目标三维曲面网格，对{IL(x,y)}中的每个三维曲面网格的各个网格顶点分别进行相似变换，使得原三维曲面网格与原三维曲面网格经过相似变换后得到的候选目标三维曲面网格的变换误差最小，得到{IL(x,y)}中的每个三维曲面网格对应的各个候选目标三维曲面网格的相似变换矩阵，将VL,k对应的第p个候选目标三维曲面网格的相似变换矩阵记为其中，表示VL,k对应的第p个候选目标三维曲面网格，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，表示的第i个网格顶点，i＝1,2,3,4，和对应表示的水平坐标位置、垂直坐标位置和深度坐标位置，和对应表示的水平坐标位置、垂直坐标位置和深度坐标位置，和对应表示的水平坐标位置、垂直坐标位置和深度坐标位置，和对应表示的水平坐标位置、垂直坐标位置和深度坐标位置，(AL,k)T为AL,k的转置，((AL,k)TAL,k)-1为(AL,k)TAL,k的逆；⑥获取{DL(x,y)}中的每个像素点的左方向最大可容忍失真值和右方向最大可容忍失真值；然后根据{DL(x,y)}中的每个像素点的左方向最大可容忍失真值和右方向最大可容忍失真值，提取出{DL(x,y)}的最大可容忍失真分布图像，记为{SL(x,y)}；其中，SL(x,y)表示{SL(x,y)}中坐标位置为(x,y)的像素点的像素值，亦表示{DL(x,y)}中坐标位置为(x,y)的像素点的最大可容忍失真值；⑦采用基于图论的视觉显著模型提取出{IL(x,y)}的显著图，记为{ML(x,y)}；然后根据{ML(x,y)}和{SL(x,y)}，获取{IL(x,y)}的视觉显著图，记为将中坐标位置为(x,y)的像素点的像素值记为其中，ML(x,y)表示{ML(x,y)}中坐标位置为(x,y)的像素点的像素值，λ1表示ML(x,y)的权重，λ2表示SL(x,y)的权重，λ1+λ2＝1；⑧根据{IL(x,y)}中的每个三维曲面网格对应的各个候选目标三维曲面网格的相似变换矩阵，并结合计算在{IL(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{IL(x,y)}的形状保护能量项，将在{IL(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似变换矩阵下{IL(x,y)}的形状保护能量项记为其中，表示VL,k中的所有像素点的视觉显著值的均值，也即表示中与VL,k对应的区域中的所有像素点的像素值的均值，符号“||||”为求欧氏距离符号；⑨根据{IL(x,y)}中的每个三维曲面网格的各个网格顶点的边缘和{IL(x,y)}中的每个三维曲面网格经过每次相似变换后得到的候选目标三维曲面网格的各个网格顶点的边缘，计算在{IL(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{IL(x,y)}的边界弯曲度能量项，将在{IL(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似变换矩阵下{IL(x,y)}的边界弯曲度能量项记为其中，符号“||||”为求欧氏距离符号，eL,k表示VL,k的所有网格顶点的边缘组成的矩阵，(eL,k)T为eL,k的转置，((eL,k)TeL,k)-1为(eL,k)TeL,k的逆，表示的所有网格顶点的边缘组成的矩阵，

【专利技术属性】
技术研发人员：邵枫，林文崇，李福翠，
申请(专利权)人：宁波大学，
类型：发明
国别省市：浙江,33