一种基于卷积神经网络的无参考立体图像质量评价方法技术

技术编号:20050176 阅读:30 留言:0更新日期:2019-01-09 05:56
本发明专利技术公开了一种基于卷积神经网络的无参考立体图像质量评价方法,其利用卷积神经网络提取出失真立体图像的左视点图像和右视点图像各自的归一化图像的特征图;然后利用全卷积神经网络提取出两类特征图的联合特征图,并将联合特征图展平成一维向量作为特征向量;接着利用深度神经网络对用于训练的失真立体图像各自的主观评分及特征向量进行训练,得到全局最优的深度神经网络模型;最后利用全局最优的深度神经网络模型对用于测试的失真立体图像的特征向量进行测试,预测得到用于测试的失真立体图像的客观质量评价预测值;优点是其能够充分考虑到立体图像的多种特性对视觉质量的影响,从而能够有效地提高客观评价结果与双目主观感知之间的相关性。

【技术实现步骤摘要】
一种基于卷积神经网络的无参考立体图像质量评价方法
本专利技术涉及一种图像质量评价方法,尤其是涉及一种基于卷积神经网络的无参考立体图像质量评价方法。
技术介绍
随着三维(3D)技术的快速发展,越来越多的3D内容电影产生,同时也给人们带来了许多新的问题和挑战。在数字信息大爆炸的今天,立体技术不断成熟,立体产品也不断丰富着人们的生活。越来越多的立体电影占据了荧幕,使人们能更加生动形象地感受到画面,视频电话、3D游戏、手机、电视也越来越多的运用立体技术获得更好的视觉体验。除此之外,立体图像/视频技术还广泛应用于医疗、农业、智能生活、教育、军事等领域。然而,常见的立体图像处理技术包括立体图像/视频的采集、编码、传输、显示和评价等,这一系列的过程会不可避免地引入失真,从而影响了立体图像/视频的立体感及观看舒适度,并有可能带给人们错误的认知,这也严重制约着立体产品的推广及普及。因此,建立一套有效的系统来衡量立体图像的质量是非常有必要的。立体图像质量评价技术作为促进立体图像/视频技术发展的重要技术,已经成为了立体图像处理
的研究热点之一。现有的大多数立体图像质量评价方法都无法精确判断出立体图像的质量,并且现有的无参考立体图像质量评价方法还是无参考平面图像质量评价方法的简单扩展,没有考虑双目视觉特性,也没有充分学习特征数据的能力,因此,如何在评价过程中有效地提取特征信息,并有效地学习特征信息,在评价过程中进行双目视觉特性结合,并使用有效的特征学习模型,使得客观评价结果更加符合人类视觉感知系统,是对立体图像进行客观质量评价过程中需要研究解决的问题。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于卷积神经网络的无参考立体图像质量评价方法,其能够充分考虑到立体图像的多种特性对视觉质量的影响,从而能够有效地提高客观评价结果与双目主观感知之间的相关性。本专利技术解决上述技术问题所采用的技术方案为:一种基于卷积神经网络的无参考立体图像质量评价方法,其特征在于包括以下步骤:步骤一:令Sdis表示待评价的失真立体图像,将Sdis的左视点图像记为{Ldis(x,y)},将Sdis的右视点图像记为{Rdis(x,y)};其中,1≤x≤W,1≤y≤H,W表示Sdis的宽度,H表示Sdis的高度,Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值,Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值;步骤二:采用归一化方法对{Ldis(x,y)}进行归一化处理,得到{Ldis(x,y)}的归一化图像,记为将中坐标位置为(x,y)的像素点的像素值记为同样,采用归一化方法对{Rdis(x,y)}进行归一化处理,得到{Rdis(x,y)}的归一化图像,记为将中坐标位置为(x,y)的像素点的像素值记为步骤三:利用卷积神经网络提取出的特征图,记为同样,利用卷积神经网络提取出的特征图,记为其中,卷积神经网络包括依次设置的第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第三卷积层、第三最大池化层,第一卷积层的卷积核的个数为16、卷积核的尺寸大小为3×3,第一卷积层使用的激活函数为ReLU,第一最大池化层的步长为2,第二卷积层的卷积核的个数为32、卷积核的尺寸大小为3×3,第二卷积层使用的激活函数为ReLU,第二最大池化层的步长为2,第三卷积层的卷积核的个数为32、卷积核的尺寸大小为3×3,第三卷积层使用的激活函数为ReLU,第三最大池化层的步长为2,1≤mconv3≤Mconv3,1≤nconv3≤Nconv3,Mconv3=W/23,Nconv3=H/23,表示中坐标位置为(mconv3,nconv3)的像素点的像素值,表示中坐标位置为(mconv3,nconv3)的像素点的像素值;步骤四:利用全卷积神经网络提取出和的联合特征图,记为{Fdis,FullConv4(m,n)};其中,全卷积神经网络包括依次设置的第一卷积层、第二卷积层、第三卷积层、第四卷积层,第一卷积层的卷积核的个数为64、卷积核的尺寸大小为3×3,第一卷积层使用的激活函数为ReLU,第二卷积层的卷积核的个数为32、卷积核的尺寸大小为3×3,第二卷积层使用的激活函数为ReLU,第三卷积层的卷积核的个数为16、卷积核的尺寸大小为3×3,第三卷积层使用的激活函数为ReLU,第四卷积层的卷积核的个数为1、卷积核的尺寸大小为3×3,第四卷积层使用的激活函数为ReLU,1≤m≤M,1≤n≤N,M=W/2,N=H/2,Fdis,FullConv4(m,n)表示{Fdis,FullConv4(m,n)}中坐标位置为(m,n)的像素点的像素值;步骤五:将{Fdis,FullConv4(m,n)}展平为一维向量,作为Sdis的特征向量,记为Fdis;其中,Fdis的维数为1×(M×N),Fdis中的第i个元素为{Fdis,FullConv4(m,n)}中的第i个像素点的像素值,i为正整数,1≤i≤(M×N);步骤六:选取n幅原始的无失真立体图像,建立其在不同失真类型不同失真程度下的失真立体图像集合,将该失真立体图像集合作为训练集,训练集包括多幅失真立体图像;然后采用主观质量评价方法评价出训练集中的每幅失真立体图像的主观评分,将训练集中的第j幅失真立体图像的主观评分记为DMOSj;再按照步骤一至步骤五的操作,以相同的方式获取训练集中的每幅失真立体图像的特征向量,将训练集中的第j幅失真立体图像的特征向量记为Fdis,j;其中,n>1,j的初始值为1,j为正整数,1≤j≤N',N'表示训练集中包含的失真立体图像的总幅数,0≤DMOSj≤100,Fdis,j的维数为1×(M×N);步骤七:利用深度神经网络对训练集中的所有失真立体图像各自的主观评分及特征向量进行训练,使得经过训练得到的回归函数值与主观评分之间的误差最小,得到全局最优的深度神经网络模型;其中,深度神经网络包括依次设置的第一全连接层、第二全连接层、第三全连接层,第一全连接层的神经元节点的个数为128、使用的激活函数为ReLU,第二全连接层的神经元节点的个数为64、使用的激活函数为ReLU,第三全连接层的神经元节点的个数为1,第三全连接层作为输出层;步骤八:利用全局最优的深度神经网络模型对Fdis进行预测,预测得到Sdis的客观质量评价预测值,记为Q,其中,f()为函数表示形式,α2(Fdis)表示全局最优的深度神经网络模型中的第二全连接层的输出,α1(Fdis)表示全局最优的深度神经网络模型中的第一全连接层的输出,为ω3的转置,ω3表示全局最优的深度神经网络模型中的第三全连接层的权重参数,为ω2的转置,ω2表示全局最优的深度神经网络模型中的第二全连接层的权重参数,为ω1的转置,ω1表示全局最优的深度神经网络模型中的第一全连接层的权重参数,b3表示全局最优的深度神经网络模型中的第三全连接层的偏置参数,b2表示全局最优的深度神经网络模型中的第二全连接层的偏置参数,b1表示全局最优的深度神经网络模型中的第一全连接层的偏置参数。所述的步骤三中,的获取过程为:A1、将作为输入,输入到第一卷积层中;然后第一卷积层的输出输入到第一最大池化层中,将第一最大池化层的输出记为其中,1≤mco本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的无参考立体图像质量评价方法,其特征在于包括以下步骤:步骤一:令Sdis表示待评价的失真立体图像,将Sdis的左视点图像记为{Ldis(x,y)},将Sdis的右视点图像记为{Rdis(x,y)};其中,1≤x≤W,1≤y≤H,W表示Sdis的宽度,H表示Sdis的高度,Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值,Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值;步骤二:采用归一化方法对{Ldis(x,y)}进行归一化处理,得到{Ldis(x,y)}的归一化图像,记为

【技术特征摘要】
1.一种基于卷积神经网络的无参考立体图像质量评价方法,其特征在于包括以下步骤:步骤一:令Sdis表示待评价的失真立体图像,将Sdis的左视点图像记为{Ldis(x,y)},将Sdis的右视点图像记为{Rdis(x,y)};其中,1≤x≤W,1≤y≤H,W表示Sdis的宽度,H表示Sdis的高度,Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值,Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值;步骤二:采用归一化方法对{Ldis(x,y)}进行归一化处理,得到{Ldis(x,y)}的归一化图像,记为将中坐标位置为(x,y)的像素点的像素值记为同样,采用归一化方法对{Rdis(x,y)}进行归一化处理,得到{Rdis(x,y)}的归一化图像,记为将中坐标位置为(x,y)的像素点的像素值记为步骤三:利用卷积神经网络提取出的特征图,记为同样,利用卷积神经网络提取出的特征图,记为其中,卷积神经网络包括依次设置的第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第三卷积层、第三最大池化层,第一卷积层的卷积核的个数为16、卷积核的尺寸大小为3×3,第一卷积层使用的激活函数为ReLU,第一最大池化层的步长为2,第二卷积层的卷积核的个数为32、卷积核的尺寸大小为3×3,第二卷积层使用的激活函数为ReLU,第二最大池化层的步长为2,第三卷积层的卷积核的个数为32、卷积核的尺寸大小为3×3,第三卷积层使用的激活函数为ReLU,第三最大池化层的步长为2,1≤mconv3≤Mconv3,1≤nconv3≤Nconv3,Mconv3=W/23,Nconv3=H/23,表示中坐标位置为(mconv3,nconv3)的像素点的像素值,表示中坐标位置为(mconv3,nconv3)的像素点的像素值;步骤四:利用全卷积神经网络提取出和的联合特征图,记为{Fdis,FullConv4(m,n)};其中,全卷积神经网络包括依次设置的第一卷积层、第二卷积层、第三卷积层、第四卷积层,第一卷积层的卷积核的个数为64、卷积核的尺寸大小为3×3,第一卷积层使用的激活函数为ReLU,第二卷积层的卷积核的个数为32、卷积核的尺寸大小为3×3,第二卷积层使用的激活函数为ReLU,第三卷积层的卷积核的个数为16、卷积核的尺寸大小为3×3,第三卷积层使用的激活函数为ReLU,第四卷积层的卷积核的个数为1、卷积核的尺寸大小为3×3,第四卷积层使用的激活函数为ReLU,1≤m≤M,1≤n≤N,M=W/2,N=H/2,Fdis,FullConv4(m,n)表示{Fdis,FullConv4(m,n)}中坐标位置为(m,n)的像素点的像素值;步骤五:将{Fdis,FullConv4(m,n)}展平为一维向量,作为Sdis的特征向量,记为Fdis;其中,Fdis的维数为1×(M×N),Fdis中的第i个元素为{Fdis,FullConv4(m,n)}中的第i个像素点的像素值,i为正整数,1≤i≤(M×N);步骤六:选取n幅原始的无失真立体图像,建立其在不同失真类型不同失真程度下的失真立体图像集合,将该失真立体图像集合作为训练集,训练集包括多幅失真立体图像;然后采用主观质量评价方法评价出训练集中的每幅失真立体图像的主观评分,将训练集中的第j幅失真立体图像的主观评分记为DMOSj;再按照步骤一至步骤五的操作,以相同的方式获取训练集中的每幅失真立体图像的特征向量,将训练集中的第j幅失真立体图像的特征向量记为Fdis,j;其中,n>1,j的初始值为1,j为正整数,1≤j≤N',N'表示训练集中包含的失真立体图像的总幅数,0≤DMOSj≤100,Fdis,j的维数为1×(M×N);步骤七:利用深度神经网络对训练集中的所有失真立体图像各自的主观评分及特征向量进行训练,使得经过训练得到的回归函数值与主观评分之间的误差最小,得到全局最优的深度神经网络模型;其中,深度神经网络包括依次设置的第一全连接层、第二全连接层、第三全连接层,第一全连接层的神经元节点的个数为128、使用的激活函数为ReLU,第二全连接层的神经元节点的个数为64、使用的激活函数为ReLU,第三全连接层的神经元节点的个数为1,第三全连接...

【专利技术属性】
技术研发人员:周武杰张爽爽张宇来邱薇薇周扬向坚
申请(专利权)人:浙江科技学院
类型:发明
国别省市:浙江,33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1