一种基于深度学习的针对移动端拍摄低分辨率图片评分的方法技术

本发明专利技术公开了一种基于深度学习针对移动端拍摄低分辨率图片打分方法，该方法主要包括：收集各式图片并使用用户打分数据产生标签，形成一个训练数据集合；构造轻量化深度卷机神经网络；利用训练数据集，运用图像处理技术，将其中部分数据处理成符合移动端拍摄图片分布，训练深度神经网络，最后利用神经网络模型，针对移动端设备拍摄得低分辨率图片打分。本发明专利技术通过处理训练集图片分布以适应移动端拍摄低分辨率图片分布和模拟用户真实打分分布给出评分,评分结果更加贴近人类视角。

【技术实现步骤摘要】
一种基于深度学习的针对移动端拍摄低分辨率图片评分的方法
本专利技术涉及一种基于深度学习的针对移动端拍摄低分辨率图片评分的方法，属于图像处理

技术介绍
目前，图片AI自动打分越来越受到关注。决定一张图片的好坏有很多元素，例如：饱和度，对比度，色调，构图，这些抽象元素很难被非专业人士发现，从而打出一个客观，合理的分数。传统的图片打分方法主要基于机器学习框架，手动提取人工设计特征，最后使用分类或回归模型给出分数，此方法虽然速度较快，但根据先验知识设计的手工设计特征往往会遇到准确性较差的瓶颈，很难达到最优结果，通常只能得到次优的结果。深度学习可以自动提取图像特征，将简单的特征组合组合成更加复杂的高级特征，从而实现图像分类，目标检测等复杂任务。目前，卷机神经网络(CNN)已被广泛运用。依靠大量的训练数据，卷机神经网络可以学习出数据中大量隐藏的特征，结合这些特征，打出相应的分数。然而深度学习技术同样存在如下问题：(1)训练数据数量问题：通常想要得到一个泛化效果较好的结果，需要在海量数据上进行训练，导致训练时间长，硬件需求高，计算复杂度高，同时如何大量获得带有标签的海量数据也成为难点之一；(2)简单讲特征识别当作分类或者回归问题，选择交叉熵当作损失函数来训练深度网络，对于各个特征之间存在连续性的问题，不能取得较好效果；(3)无法提取更深层次的特征，如图片表达的深度情感信息。目前，市面有多种基于CNN的图片打分模型,然而其中大部分模型均针对开源数据集提供数据集进行训练，这些数据集数量巨大，但共同点为均取自专业摄影网站，从而导致图片质量较高，不符合实际应用场景下，用户用移动端设备拍摄出的低质量图片的情况，从而导致模型对低质量图片分布适应性差，故而适用性和实用性受到限制，难以满足市场的需求。
技术实现思路
本专利技术是针对现有技术存在的不足，提供一种基于深度学习的针对移动端拍摄低分辨率图片评分的方法，评分结果更加贴近人类视角，满足实际使用要求。为解决上述问题，本专利技术所采取的技术方案如下：一种基于深度学习的针对移动端拍摄低分辨率图片评分的方法，该方法包括如下步骤：步骤1：数据收集；步骤2：根据图片质量，人工分类，模拟用户人数分布进行区间分配；步骤3：将训练集中的图片在不同高斯核尺寸做高斯模糊，并分别适当添加高斯噪声与椒盐噪声；步骤4：构造深度神经网络；步骤5：预处理训练集图片，输入神经网络中进行训练；步骤6：根据神经网络模型，预测图片分数。作为上述技术方案的改进，在步骤1中，通过分类关键字收集图片，将收集图片分为好、中、差三类，使用部分开源数据集AVA于photonet中的数据，因开源数据集往往图片质量比手动收集图片质量高，需要适当调整数据集中自带标签，使之图片分布于爬取图片分布大致吻合。作为上述技术方案的改进，在步骤2中，人工打分，分数范围为0-10分，最后得到的标签为每个不同分数段下打分的人数，由于人力成本受限，此标签方法只适用于小部分数据；对于其他收集图片，采用模拟人工打分方法，分数范围为0-10分，最后得到的标签为每个不同分数段下打分的人数，其他收集图片以人工判定方式分为按好，中偏好，中，差偏中，差5类，模拟人工打分模式，将好，中偏好，中，中偏差，差5类转换为0-10分区间，具体步骤为好图片对应分数区间为8至10分，中偏好图片对应分数区间7至8分，中图片对应区间为5-7分，差偏中对应区间为3至5分，差图片对应区间为1至3分，此区间划分准侧基于一定先验知识。作为上述技术方案的改进，在步骤3中，将公开数据源中图片进行gamma校正，在不同高斯核尺寸做高斯模糊，适当加入高斯噪声与椒盐噪声，实现数据增强。作为上述技术方案的改进，在步骤4中，在将数据输入深度学习神经网络输入之前，需要对图片做大量的预处理，由于获取图片多为质量较高，分辨率较高图片，而真实应用情况多为用户用手机拍摄的质量中低，分辨率较低图片，需对训练数据需要做一定前处理，采用高斯模糊等方法使训练数据图片分布尽可能与真实场景使用下的图片分布接近，使模型可做到适应低分辨率图片，将处理好后的图片输入神经网络中进行训练，损失函数为预测分布于实际分布均方差；并构建测试集用以选择损失函数值最小的模型为最终模型。作为上述技术方案的改进，步骤5中，测试集构建步骤为：(1)收集用户用移动端设备拍摄实际图片；(2)对测试集数据进行人工打分；(3)选择在测试集上损失函数值最小的模型为最终模型。本专利技术与现有技术相比较，本专利技术的实施效果如下：本专利技术通过处理训练集图片分布以适应移动端拍摄低分辨率图片分布和模拟用户真实打分分布给出评分，评分结果更加贴近人类视角，满足实际使用要求。附图说明图1为本专利技术所述基于深度学习的针对移动端拍摄低分辨率图片评分的方法的流程结构框图。具体实施方式下面将结合具体的实施例来说明本专利技术的内容。如图1所示：为本专利技术所述基于深度学习的针对移动端拍摄低分辨率图片评分的方法的结构流程框图。一种基于深度学习的图片打分方法，方法包括如下步骤步骤1：数据收集步骤2：根据图片质量，人工分类，模拟用户人数分布进行区间分配；步骤3：将训练集中的图片进行gamma校正，不同高斯核尺寸做高斯模糊，并分别适当添加高斯噪声与椒盐噪声，实现数据增强；步骤4：构造深度神经网络；步骤5；预处理训练集图片，输入神经网络中进行训练；步骤6根据神经网络模型，预测图片分数。在步骤1中：通过分类关键字收集图片，将收集图片分为好，中偏好，中，差三类，使用部分开源数据集AVA于photonet中的数据，然而开源数据集往往图片质量比手动收集图片质量高，因此需要适当调整数据集中自带标签，使之图片分布于收集图片分布大致吻合。在步骤2中：人工打分，分数范围为0-10分，最后得到的标签为每个不同分数段下打分的人数，然而由于人力成本受限，此标签方法之适用于小部分数据；对于其他收集图片，本专利技术采用模拟人工打分方法，分数范围为0-10分，最后得到的标签为每个不同分数段下打分的人数，网络爬取图片以人工判定方式分为按好，中偏好，中，差偏中，差5类，模拟人工打分模式，将好，中偏好，中，中偏差，差5类转换为0-10分区间；具体步骤为好图片对应分数区间为8至10分，中偏好图片对应分数区间7至8分，中图片对应区间为5-7分，差偏中对应区间为3至5分，差图片对应区间为1至3分，此区间划分准侧基于一定先验知识。在步骤3中：将公开数据源中图片进行gamma校正，在不同高斯核尺寸做高斯模糊，并适当加入高斯噪声与椒盐噪声，以实现数据增强。在步骤4中：构造深度神经网络，因本专利技术的最终应用在手机端，因此需要轻量级神经网络，本专利技术构造轻量级神经网络，将常规卷机核拆分使用，从而减少模型参数量，缩减模型大小。在步骤5中：在将数据输入深度学习神经网络输入之前，需要对图片做大量的预处理，由于本专利技术获取图片多为质量较高，分辨率较高图片，而真实应用情况多为用户用手机拍摄的质量中低，分辨率较低图片，因此对训练数据需要做一定前处理，采用高斯模糊等方法使训练数据图片分布尽可能与真实场景使用下的图片分布接近，使模型可以做到适应低分辨率图片；将处理好后的图片输入神经网络中进行训练，损失函数为预测分布于实际分布的均方差；构建测试集用以选择损失函数值最小的模型为最终模本文档来自技高网...

【技术保护点】
1.基于深度学习的针对移动端拍摄低分辨率图片评分的方法，其特征在于：该方法包括如下步骤：步骤1：数据收集；步骤2：根据图片质量，人工分类，模拟用户人数分布进行区间分配步骤3：将训练集中的图片在不同高斯核尺寸做高斯模糊，并分别适当添加高斯噪声与椒盐噪声；步骤4：构造深度神经网络；步骤5：预处理训练集图片，输入神经网络中进行训练；步骤6：根据神经网络模型，预测图片分数。

【技术特征摘要】
1.基于深度学习的针对移动端拍摄低分辨率图片评分的方法，其特征在于：该方法包括如下步骤：步骤1：数据收集；步骤2：根据图片质量，人工分类，模拟用户人数分布进行区间分配步骤3：将训练集中的图片在不同高斯核尺寸做高斯模糊，并分别适当添加高斯噪声与椒盐噪声；步骤4：构造深度神经网络；步骤5：预处理训练集图片，输入神经网络中进行训练；步骤6：根据神经网络模型，预测图片分数。2.根据权利要求1所述基于深度学习的针对移动端拍摄低分辨率图片评分的方法，其特征在于：在步骤1中，通过分类关键字收集图片，将收集图片分为好、中、差三类，使用部分开源数据集AVA于photonet中的数据，因开源数据集往往图片质量比手动收集图片质量高，需要适当调整数据集中自带标签，使之图片分布于爬取图片分布大致吻合。3.根据权利要求2所述基于深度学习的针对移动端拍摄低分辨率图片评分的方法，其特征在于：在步骤2中，人工打分，分数范围为0-10分，最后得到的标签为每个不同分数段下打分的人数，由于人力成本受限，此标签方法只适用于小部分数据；对于其他收集图片，采用模拟人工打分方法，分数范围为0-10分，最后得到的标签为每个不同分数段下打分的人数，其他收集图片以人工判定方式分为按好，中偏好，中，差偏中，差5类，模拟人工打分模式，将好，中偏好，中，中偏差，差5类转换为0-10分区间，具...

【专利技术属性】
技术研发人员：袁子意，
申请(专利权)人：上海城诗信息科技有限公司，
类型：发明
国别省市：上海,31