基于卷积神经网络的3D图像质量检测方法技术

本发明专利技术公开了一种基于卷积神经网络的3D图像质量检测方法。本发明专利技术方法在训练阶段，构建包括特征提取网络，特种融合网络以及质量权重预测网络的卷积神经网络，同时融合图像低级、中级、高级特征，让网络学习更高层次的抽象；考虑双目竞争，通过网络训练出自适应的质量和权重，提升非对称失真3D图像质量预测的准确性；由于人眼对图像区域的关注度不同，显著区域的图像质量对整体3D图像的影响较大，我们在训练阶段使用显著区域选择，测试阶段使用显著加权来得到整体的图像质量。本发明专利技术不使用人的主观分数进行监督，不存在由于人的主观因素造成的训练误差，可以使预测结果更为客观，准确。

3D image quality detection method based on convolutional neural network

【技术实现步骤摘要】
基于卷积神经网络的3D图像质量检测方法
本专利技术涉及一种深度学习相关的3D图像质量检测方法，尤其是涉及一种基于卷积神经网络的3D图像质量检测方法。
技术介绍
客观图像质量的检测是计算视觉的基本问题。随着立体3D成像技术的飞速发展，越来越多的3D图像出现在我们的日常生活中，例如，我们可以在电影院看3D电影，戴着AR眼镜玩3D游戏等等。图像的处理、压缩和传输可能会导致图像质量的下降，从而影响用户的视觉体验。3D图像失真类型包括对称失真和非对称失真。对称失真的3D图像左右视点有相同的失真类型的失真等级，非对称的3D图像左右视点可能包含不同的失真类型和失真等级。3D视觉质量检测包括主观预测和客观预测。主观预测是一种费时耗力的预测方法，目前已不能满足如此大量的图像数据，其结果受环境等因素的影响。此外，主观预测不能嵌入到多媒体应用中。因此，开发能够自动预测3D图像视觉质量的客观检测方法具有重要意义。如今，很多图像质量(IQA)检测算法被提出，主要分为三类：全参考图像质量评估算法(FR-IQA)，半参考图像质量评估算法(RR-IQA)，无参考图像质本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的3D图像质量检测方法，其特征在于，包括以下步骤：/n步骤1：选取J幅失真3D图像，使用大小为a×a、步长为a/2的滑动窗口对每幅失真3D图像的左视点图像和右视点图像进行区域分割后得到P对小图像，分割后得到的J*P对小图像作为训练集；/n步骤2：通过GBVS显著图计算方法计算每幅失真3D图像的显著图像，使用与步骤1相同的滑动窗口对所有显著图像进行区域分割后得到每对小图像所对应的同样大小的显著小图像；/n步骤3：构建卷积神经网络；/n步骤4：计算步骤2中显著小图像的显著系数，选取显著系数不小于显著性阈值的显著小图像对构建的卷积神经网络进行监督训练，计算均方误差得到损失函数...

【技术特征摘要】
1.一种基于卷积神经网络的3D图像质量检测方法，其特征在于，包括以下步骤：
步骤1：选取J幅失真3D图像，使用大小为a×a、步长为a/2的滑动窗口对每幅失真3D图像的左视点图像和右视点图像进行区域分割后得到P对小图像，分割后得到的J*P对小图像作为训练集；
步骤2：通过GBVS显著图计算方法计算每幅失真3D图像的显著图像，使用与步骤1相同的滑动窗口对所有显著图像进行区域分割后得到每对小图像所对应的同样大小的显著小图像；
步骤3：构建卷积神经网络；
步骤4：计算步骤2中显著小图像的显著系数，选取显著系数不小于显著性阈值的显著小图像对构建的卷积神经网络进行监督训练，计算均方误差得到损失函数值；采用反向传播算法不断迭代调整网络参数；
步骤5：选取M幅待预测失真3D图像，使用与步骤1相同的滑动窗口对每幅待预测失真3D图像的左视点图像和右视点图像进行区域分割后得到P对待预测小图像；
通过GBVS显著图计算方法计算每幅待预测失真3D图像的显著图像，使用与步骤1相同的滑动窗口对每幅待预测失真3D图像的显著图像进行区域分割得到每对待预测小图像对应的显著区域块，计算显著区域块的显著系数；
步骤6：将步骤5分割后的M*P对待预测小图像输入步骤4训练后的卷积神经网络预测得到每对待预测小图像的质量分数，对每对待预测小图像的质量分数使用对应的步骤5计算得到的显著区域块的显著系数进行加权平均得到待预测失真3D图像的最终质量分数。


2.根据权利要求1所述的一种基于卷积神经网络的3D图像质量检测方法，其特征在于，所述步骤3具体为：
卷积神经网络包括输入层、特征提取模块、特征融合模块、质量权重预测模块和输出层；输入层包括左视点输入层和右视点输入层，左视点输入层和右视点输入层分别输入失真3D图像的左视点图和右视点图；
特征提取模块包括左视点特征提取模块和右视点特征提取模块，左视点特征提取模块包括五个依次连接的卷...

【专利技术属性】
技术研发人员：周武杰，林鑫杨，潘思佳，雷景生，何成，王海江，
申请(专利权)人：浙江科技学院，
类型：发明
国别省市：浙江;33