一种立体图像重定位方法技术

本发明专利技术公开了一种立体图像重定位方法，其在VGG16的基础上构建重定位网络，将训练集中的宽度为320且高度为240的左、右视点图像输入到重定位网络中进行训练，最终得到原始左、右视点图像的显著图；根据显著图计算低分辨率水平比例因子、低分辨率垂直比例因子、高分辨率水平比例因子、高分辨率垂直比例因子，进而得到原始左、右视点图像的低分辨率重定位图像和高分辨率重定位图像，再将宽度调整为320且高度调整为240后作为输入图像，进行训练，重复上述过程，在训练过程中增加内容感知损失，得到训练好的重定位网络模型；测试时直接利用重定位网络模型即可，重定位过程不需要任何监督，能模拟立体图像重定位过程，且能较好地保留重要的显著语义信息。要的显著语义信息。要的显著语义信息。

【技术实现步骤摘要】
一种立体图像重定位方法


[0001]本专利技术涉及一种图像信号的处理方法，尤其是涉及一种立体图像重定位方法。

技术介绍

[0002]随着立体显示技术的快速发展，各种具有不同立体显示功能的终端设备也广泛出现，但由于立体显示终端种类繁多，宽/高比规格不一，因此若将宽/高比一定的立体图像放在不同的立体显示终端上显示，则必须先对立体图像的尺寸进行调整，以达到立体显示的效果。传统的图像缩放方法是通过裁剪或者是按固定比例进行缩放，这样做可能会导致图像中的内容减少或者导致显著物体形变。
[0003]立体图像重定位的主要方法有接缝雕刻和网格变形，然而，因去除像素点，接缝雕刻可能会产生锯齿状边缘，造成不连续变形，网格变形在形状保持和深度保持之间可能会产生不一致的物体变形或视差畸变，对于立体图像而言，其要保留输入图像中视觉感兴趣的区域，防止目标图像中的严重失真和伪影并使视差/深度得到保持，以提供令人满意的3D观看体验。因此，如何设计一种深度学习框架训练出立体重定向模型，实现对立体图像进行缩放以保留视觉感兴趣区域、减少图像形变并使视差得到保持，是在对立体图像进行重定位过程中需要研究解决的问题。

技术实现思路

[0004]本专利技术所要解决的技术问题是提供一种立体图像重定位方法，其符合显著语义特征，且能够有效地调整立体图像的尺寸大小。
[0005]本专利技术解决上述技术问题所采用的技术方案为：一种立体图像重定位方法，其特征在于包括以下步骤：
[0006]步骤1：选取N幅宽度为W且高度为H的原始立体图像，将第u幅原始立体图像的左视点图像和右视点图像对应记为{L
u
(x,y)}和{R
u
(x,y)}；然后采用等比例缩放方法将所有原始立体图像的左视点图像和右视点图像的宽度调整为320、高度调整为240，并将尺寸调整后的所有左视点图像和右视点图像构成训练集；其中，N为正整数，N＞1，u为正整数，1≤u≤N，1≤x≤W，1≤y≤H，L
u
(x,y)表示{L
u
(x,y)}中坐标位置为(x,y)的像素点的像素值，R
u
(x,y)表示{R
u
(x,y)}中坐标位置为(x,y)的像素点的像素值；
[0007]设定每幅原始立体图像的水平方向和垂直方向的缩放比对应为φ
w
和φ
h
，则将每幅原始立体图像对应的低分辨率重定位立体图像的宽度和高度对应记为W
LR
和H
LR
，将每幅原始立体图像对应的高分辨率重定位立体图像的宽度和高度对应记为其中，0＜φ
w
≤1，0＜φ
h
≤1，符号
“”
为向下取整符号；
[0008]步骤2：构建重定位网络：该重定位网络在VGG16网络的基础上，保留VGG16网络中
的5个Group并保持5个Group的结构及参数配置不变，增加7个卷积层和1个全连接层，将5个Group、7个卷积层和1个全连接层对应记为Group1、Group2、Group3、Group4、Group5、Conv6、Conv7、Conv8、Conv9、Conv10、Conv11、Conv12和FC4，其中，Conv6、Conv7、Conv8、Conv9、Conv10、Conv11、Conv12的卷积核大小均为3
×
3、滑动步长均为1、自动填充参数均为1，Conv6、Conv7、Conv8、Conv9、Conv10、Conv11、Conv12各自的卷积核个数对应为128、64、32、64、64、32、32；Group1的输入端接收一幅宽度为320且高度为240的输入图像，Conv6的输入端接收Group4中的第1个卷积层Conv4_1的输出端输出的一幅特征图，Conv7的输入端接收Conv6的输出端输出的一幅特征图，Conv8的输入端接收Conv7的输出端输出的一幅特征图，将Conv8的输出端输出的一幅特征图作为初始特征图，Conv9的输入端接收初始特征图，Conv9的输出端输出一个权重参数，Conv10的输入端接收Conv9的输出端输出的权重参数，Conv11的输入端接收Conv10的输出端输出的一个权重参数，Conv11的输出端输出一个权重参数，将该权重参数作为第一权重参数，并记为θ1，Conv12的输入端接收Conv10的输出端输出的一个权重参数，FC4的输入端接收Conv11的输出端输出的一个权重参数，FC4的输出端输出一个权重参数，将该权重参数作为第二权重参数，并记为θ2；
[0009]步骤3：将训练集中的所有左视点图像和右视点图像作为输入图像输入到步骤2构建的重定位网络中进行训练，得到每幅输入图像对应的初始特征图、第一权重参数θ1、第二权重参数θ2，即得到训练集中的每幅左视点图像对应的初始特征图、第一权重参数θ1、第二权重参数θ2，及每幅右视点图像对应的初始特征图、第一权重参数θ1、第二权重参数θ2；
[0010]步骤4：计算训练集中的每幅左视点图像和每幅右视点图像各自的显著图，针对训练集中的任一幅左视点图像或任一幅右视点图像，其显著图中的任一个像素点的像素值等于其对应的初始特征图中相同坐标位置的像素点的像素值乘以其对应的第一权重参数θ1后再乘以其对应的第二权重参数θ2；
[0011]步骤5：采用等比例缩放方法将训练集中的每幅左视点图像和每幅右视点图像各自的显著图的宽度调整为W、高度调整为H，对应作为每幅原始立体图像的左视点图像和右视点图像各自的显著图，将{L
u
(x,y)}的显著图记为将{R
u
(x,y)}的显著图记为其中，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；
[0012]步骤6：采用m列和n行组成的均匀网格覆盖每幅原始立体图像的左视点图像和右视点图像，将每幅原始立体图像的左视点图像和右视点图像分别划分成m
×
n个宽度为且高度为的网格单元；然后根据每幅原始立体图像的左视点图像的显著图，计算每幅原始立体图像的左视点图像中的每个网格单元的低分辨率水平比例因子和低分辨率垂直比例因子，将{L
u
(x,y)}中属于第j列的所有网格单元的低分辨率水平比例因子记为将{L
u
(x,y)}中属于第i行的所有网格单元的低
分辨率垂直比例因子记为并根据每幅原始立体图像的右视点图像的显著图，计算每幅原始立体图像的右视点图像中的每个网格单元的低分辨率水平比例因子和低分辨率垂直比例因子，将{R
u
(x,y)}中属于第j列的所有网格单元的低分辨率水平比例因子记为将{R
u
(x,y)}中属于第i行的所有网格单元的低分辨率垂直比例因子记为于第i行的所有网格单元的低分辨率垂直比例因子记为再计算每幅原始立体图像的左视点图像中的每个网格单元的高分辨率水平比例因子和高分辨率垂直比例因子，将{L
u
(x本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种立体图像重定位方法，其特征在于包括以下步骤：步骤1：选取N幅宽度为W且高度为H的原始立体图像，将第u幅原始立体图像的左视点图像和右视点图像对应记为{L
u
(x,y)}和{R
u
(x,y)}；然后采用等比例缩放方法将所有原始立体图像的左视点图像和右视点图像的宽度调整为320、高度调整为240，并将尺寸调整后的所有左视点图像和右视点图像构成训练集；其中，N为正整数，N＞1，u为正整数，1≤u≤N，1≤x≤W，1≤y≤H，L
u
(x,y)表示{L
u
(x,y)}中坐标位置为(x,y)的像素点的像素值，R
u
(x,y)表示{R
u
(x,y)}中坐标位置为(x,y)的像素点的像素值；设定每幅原始立体图像的水平方向和垂直方向的缩放比对应为φ
w
和φ
h
，则将每幅原始立体图像对应的低分辨率重定位立体图像的宽度和高度对应记为W
LR
和H
LR
，将每幅原始立体图像对应的高分辨率重定位立体图像的宽度和高度对应记为W
HR
和H
HR
，其中，0＜φ
w
≤1，0＜φ
h
≤1，符号为向下取整符号；步骤2：构建重定位网络：该重定位网络在VGG16网络的基础上，保留VGG16网络中的5个Group并保持5个Group的结构及参数配置不变，增加7个卷积层和1个全连接层，将5个Group、7个卷积层和1个全连接层对应记为Group1、Group2、Group3、Group4、Group5、Conv6、Conv7、Conv8、Conv9、Conv10、Conv11、Conv12和FC4，其中，Conv6、Conv7、Conv8、Conv9、Conv10、Conv11、Conv12的卷积核大小均为3
×
3、滑动步长均为1、自动填充参数均为1，Conv6、Conv7、Conv8、Conv9、Conv10、Conv11、Conv12各自的卷积核个数对应为128、64、32、64、64、32、32；Group1的输入端接收一幅宽度为320且高度为240的输入图像，Conv6的输入端接收Group4中的第1个卷积层Conv4_1的输出端输出的一幅特征图，Conv7的输入端接收Conv6的输出端输出的一幅特征图，Conv8的输入端接收Conv7的输出端输出的一幅特征图，将Conv8的输出端输出的一幅特征图作为初始特征图，Conv9的输入端接收初始特征图，Conv9的输出端输出一个权重参数，Conv10的输入端接收Conv9的输出端输出的权重参数，Conv11的输入端接收Conv10的输出端输出的一个权重参数，Conv11的输出端输出一个权重参数，将该权重参数作为第一权重参数，并记为θ1，Conv12的输入端接收Conv10的输出端输出的一个权重参数，FC4的输入端接收Conv11的输出端输出的一个权重参数，FC4的输出端输出一个权重参数，将该权重参数作为第二权重参数，并记为θ2；步骤3：将训练集中的所有左视点图像和右视点图像作为输入图像输入到步骤2构建的重定位网络中进行训练，得到每幅输入图像对应的初始特征图、第一权重参数θ1、第二权重参数θ2，即得到训练集中的每幅左视点图像对应的初始特征图、第一权重参数θ1、第二权重参数θ2，及每幅右视点图像对应的初始特征图、第一权重参数θ1、第二权重参数θ2；步骤4：计算训练集中的每幅左视点图像和每幅右视点图像各自的显著图，针对训练集中的任一幅左视点图像或任一幅右视点图像，其显著图中的任一个像素点的像素值等于其对应的初始特征图中相同坐标位置的像素点的像素值乘以其对应的第一权重参数θ1后再乘以其对应的第二权重参数θ2；步骤5：采用等比例缩放方法将训练集中的每幅左视点图像和每幅右视点图像各自的
显著图的宽度调整为W、高度调整为H，对应作为每幅原始立体图像的左视点图像和右视点图像各自的显著图，将{L
u
(x,y)}的显著图记为将{R
u
(x,y)}的显著图记为其中，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；步骤6：采用m列和n行组成的均匀网格覆盖每幅原始立体图像的左视点图像和右视点图像，将每幅原始立体图像的左视点图像和右视点图像分别划分成m
×
n个宽度为且高度为的网格单元；然后根据每幅原始立体图像的左视点图像的显著图，计算每幅原始立体图像的左视点图像中的每个网格单元的低分辨率水平比例因子和低分辨率垂直比例因子，将{L
u
(x,y)}中属于第j列的所有网格单元的低分辨率水平比例因子记为(x,y)}中属于第j列的所有网格单元的低分辨率水平比例因子记为将{L
u
(x,y)}中属于第i行的所有网格单元的低分辨率垂直比例因子记为比例因子记为并根据每幅原始立体图像的右视点图像的显著图，计算每幅原始立体图像的右视点图像中的每个网格单元的低分辨率水平比例因子和低分辨率垂直比例因子，将{R
u
(x,y)}中属于第j列的所有网格单元的低分辨率水平比例因子记为水平比例因子记为将{R
u
(x,y)}中属于第i行的所有网格单元的低分辨率垂直比例因子记为有网格单元的低分辨率垂直比例因子记为再计算每幅原始立体图像的左视点图像中的每个网格单元的高分辨率水平比例因子和高分辨率垂直比例因子，将{L
u
(x,y)}中属于第j列的所有网格单元的高分辨率水平比例因子记...

【专利技术属性】
技术研发人员：邵枫，李恬，
申请(专利权)人：宁波大学，
类型：发明
国别省市：