本发明专利技术提供一种基于多尺度特征融合的素描作品评级方法及模型，用于对复杂素描作品进行评分，通过提取了素描作品在多尺度特征网络的各个阶段生成的多尺度特征，并对底层特征进行上采样，使得融合的特征图融合了具有定位信息的高分辨率的底层特征与具有语义信息的抽象高层特征，充分考虑到复杂素描图像的特点，捕获不同尺度下的目标特征，从而提高分类准确率，利用层间双线性交叉池化的方法聚合特征图的信息，最后使用特征拼接去融合多个特征，经过这种多尺度特征融合方法，最终提升了评级的准确性，且结果具有可靠性。且结果具有可靠性。且结果具有可靠性。
【技术实现步骤摘要】
一种基于多尺度特征融合的素描作品评级方法及模型
[0001]本专利技术涉及人工智能领域，特别是涉及一种基于多尺度特征融合的素描作品评级方法领域。
技术介绍
[0002]随着人工智能技术的普及，教育系统为了提升自身的系统化水平，也逐渐引入了人工智能技术。例如书法智能评分系统集合图像处理技术、深度学习技术、增强现实技术、智能机器人技术为一体，达到了为智能书法学习、书法等级考试训练提供一套完整解决方案的目的。
[0003]但是，在各个领域已步入智能时代的同时，当前艺考中素描作品评分工作仍采用人工检阅的方式，即评委手工评卷。评委首先对所有素描作品进行分档评级，分为优良中差四个档次，确定好作品所属档次后，后续的作品评分则不能超过档次所在的分数范围。评委再在各个档次的作品堆中，手持评分表，在摊开在地面上的素描作品答卷旁来回走动，逐个作品进行评分，属于极为繁琐的方式。这种人工评阅方式在我国美术院校招生录取工作中仍然普遍采用，对于评卷工作的压力与开销很大；同时后期录入评分表的工作量很大，周期也很长，还存在评分表的手写字体潦草、难以辨认导致的错录、漏录问题。
[0004]因此，为了提高评阅试卷的效率、保护考试作品，利用人工智能技术对素描作品进行快速、准确、智能阅卷评级的需求已然迫在眉睫。
[0005]素描作品评级的问题本质上可以转化为图像多分类问题。随着机器学习在实际场景应用的日趋频繁，然而监督学习方法需要大量标注数据来训练模型，但标注数据的获取是一项耗时且繁琐的任务。深度学习算法是主流的人工智能算法之一，它提供了一种自动学习模式特征的方法，并将特征学习融入模型建立的过程中，从而减少了人工设计特征所带来的不完备性。在特定条件下，现基于深度学习的某些机器学习应用已经取得了超越现有算法的识别或分类性能。在此基础上，现有技术通常基于卷积神经网络进行构建。
[0006]现有的素描评级方法有：
[0007]基于VGG
‑
16的双线性卷积特征方法：利用在ImageNet数据集上预训练的AlexNet模型，提取其第6层全连接层的输出作为卷积特征，在此基础上进行双线性池化，对得到的高维特征使用tensor sketch进行特征降维，对最终得到的特征进行分类。
[0008]基于Resnet50的迁移学习方法：通过迁移学习再将模型的高层和低层的特征融合在一起，增强模型对图片细节的感知能力。
[0009]上述方法虽然能够对素描作品进行评级分类，但也存在着各自的不足之处，主要有：
[0010](1)基于VGG
‑
16的双线性卷积特征方法使用的分类算法为线性SVM，而SVM理论都使用固定惩罚系数C，但是正负样本的两种错误造成的损失是不一样的，正确率不够高，数据集的标注也未提及，导致最终结果不可靠。
[0011](2)基于Resnet50的迁移学习方法数据集偏少，只由一位美术老师进行数据集的
标注致使其主观性太强，结果不可靠。利用五折交叉验证得到的每一折的结果不稳定，相差较大。
[0012]以上方法对于复杂素描作品无法充分、有效提取其中的特征，因此无法适应对复杂素描作品的准确评级。
技术实现思路
[0013]因此，本专利技术提出一种基于多尺度特征融合的素描作品评级方法，其基于多尺度特征融合技术，来完成素描作品不同尺度下的特征之间的融合与交互，从而使得到的特征图能够让高层特征图利用底层特征图的细节信息，从而能准确的对素描作品进行评级。
[0014]本申请是通过如下技术方案实现的：
[0015]一方面，本申请提供一种基于多尺度特征融合的素描作品评级方法，其包括：
[0016]对一数据集中的素描作品进行预处理，并对预处理后的素描作品进行特征提取，得到素描作品不同分辨率的第一特征集C＝{C1，C2...Cn}，n＝1，2，....k....；其中k为正整数，所述第一特征集中的第一特征按照分辨率从高到低排序；
[0017]对第一特征集中分辨率最低的第一特征Cn进行卷积，得到对应的第二特征Mn；
[0018]对第m个第一特征进行卷积后，与上采样处理后的第二特征Mm+1进行特征融合处理，得到对应的第二特征Mm；其中，m初始值为n
‑
1；
[0019]判断判断m是否小于等于1，是，则完成特征提取；否，则m赋值m
‑
1，并重复前一个步骤；
[0020]对所述第二特征集中的每一第二特征逐一进行平滑处理，得到第三特征集；
[0021]对第三特征集中的每一第三特征两两之间进行逐元素积，得到的所有特征组成第四特征集；
[0022]将所述第四特征集中的每一第四特征进行池化，实现特征的展平处理；
[0023]对所述第四特征集中池化后的所有第四特征进行拼接，得到最终特征；
[0024]将最终特征经过softmax函数处理，得到作品分类。
[0025]进一步地，在将所述第四特征集中的每一第四特征进行池化，实现特征的展平处理前，还包括：
[0026]将所述第四特征集中的每一第四特征通过注意力机制分配权重。
[0027]进一步地，所述第一特征集中不包括分辨率最高的第一特征C1。
[0028]进一步地，在模型训练阶段，将最终特征经过softmax函数处理前，还包括：
[0029]最终特征经过dropout处理，在训练过程中随机地关闭一部分神经元。
[0030]进一步地，所述第二特征集中不同分辨率的第二特征通过特征金字塔进行上采样。
[0031]另一方面，本申请还提供一种基于多尺度特征融合的素描作品评级模型，其包括：
[0032]预处理层：对一数据集中的素描作品进行预处理，并对预处理后的素描作品进行特征提取，得到素描作品不同分辨率的第一特征集C＝{C1，C2...Cn}，n＝1，2，....k....；其中k为正整数，所述第一特征集中的第一特征按照分辨率从高到低排序；
[0033]特征卷积层：用于对第一特征集中分辨率最低的第一特征Cn进行卷积，得到对应的第二特征Mn；
[0034]特征融合层：用于对第m个第一特征进行卷积后，与上采样处理后的第二特征Mm+1进行特征融合处理，得到对应的第二特征Mm；其中，m初始值为n
‑
1；
[0035]判断层：用于判断判断m是否小于等于1，是，则完成特征提取；否，则m赋值m
‑
1，并重复前一个步骤；
[0036]平滑处理层：用于对所述第二特征集中的每一第二特征逐一进行平滑处理，得到第三特征集；
[0037]特征捕获层：用于对第三特征集中的每一第三特征两两之间进行逐元素积，得到的所有特征组成第四特征集；
[0038]池化层：将所述第四特征集中的每一第四特征进行池化，实现特征的展平处理；
[0039]特征拼接层：用于对所述第四特征集中池化后的所有第四特征进行拼接，得到最终特征；
[0040]分本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于多尺度特征融合的素描作品评级方法，其特征在于，包括：对一数据集中的素描作品进行预处理，并对预处理后的素描作品进行特征提取，得到素描作品不同分辨率的第一特征集C＝{C1，C2...Cn}，n＝1，2，....k....；其中k为正整数，所述第一特征集中的第一特征按照分辨率从高到低排序；对第一特征集中分辨率最低的第一特征Cn进行卷积，得到对应的第二特征Mn；对第m个第一特征进行卷积后，与上采样处理后的第二特征Mm+1进行特征融合处理，得到对应的第二特征Mm；其中，m初始值为n
‑
1；判断判断m是否小于等于1，是，则完成特征提取；否，则m赋值m
‑
1，并重复前一个步骤；对所述第二特征集中的每一第二特征逐一进行平滑处理，得到第三特征集；对第三特征集中的每一第三特征两两之间进行逐元素积，得到的所有特征组成第四特征集；将所述第四特征集中的每一第四特征进行池化，实现特征的展平处理；对所述第四特征集中池化后的所有第四特征进行拼接，得到最终特征；将最终特征经过softmax函数处理，得到作品分类。2.根据权利要求1所述的一种基于多尺度特征融合的素描作品评级方法，其特征在于，在将所述第四特征集中的每一第四特征进行池化，实现特征的展平处理前，还包括：将所述第四特征集中的每一第四特征通过注意力机制分配权重。3.根据权利要求2所述的一种基于多尺度特征融合的素描作品评级方法，其特征在于：所述第一特征集中不包括分辨率最高的第一特征C1。4.根据权利要求3所述的一种基于多尺度特征融合的素描作品评级方法，其特征在于，在模型训练阶段，将最终特征经过softmax函数处理前，还包括：最终特征经过dropout处理，在训练过程中随机地关闭一部分神经元。5.根据权利要求4所述的一种基于多尺度特征融合的素描作品评级方法，其特征在于，所述第二特征集中不同分辨率的第二特征通过特征金字塔进行上采样。6.一种基于多尺度特征融合的素描作品评级模型，其特征在于，包括：预处理层：对一数据集中的素描作品进行预处理，并对预处理后的素描作品...
【专利技术属性】
技术研发人员：陈壹华，李俊杰，梁军，余松森，
申请(专利权)人：华南师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。