【技术实现步骤摘要】
一种抽象图像情感识别方法
本专利技术涉及人工智能领域，具体涉及抽象图像情感识别方法。
技术介绍
通过计算机自动识别绘画的情感语义具有重要的意义：一方面，博物馆不仅能够有效地管理海量的数据，也能减少领域专家的介入，从而节省人力物力；另一方面，用户能够快速地检索相关绘画作品，并将相同情感的作品联系起来，方便解读绘画的含义。与传统绘画不同的是，抽象艺术家直接用颜色，形状和纹理等视觉元素以“非具象”的方式表达情感：“艺术家试图在作品中仅表达内在真理，因此放弃对外部形式的所有考虑”。而如何弥合底层视觉元素与高层情感语义之间的鸿沟，成为抽象图像情感识别的一个研究难题。传统的抽象图像情感识别方法大多将艺术理论和计算机视觉技术结合起来，使用人工设计的特征配合统计机器学习方法来识别抽象图像唤起的情感反应。但是与自然图像不同的是，由于抽象图像数据集的标注需要聘请高水平专家，以及设计专业的标注工具，从而导致了数据集中可用于训练的样本数量不足以充分训练深层的深度学习模型。且小样本数据集会导致深度学习模型出现严重的过拟合问题。解决小样本数据集下深度学习对学习任务的过拟合问题是计算机视觉领域...
【技术保护点】
1.一种抽象图像情感识别方法，其特征在于：包括以下步骤：S1：使用自然图像数据集对卷积神经网络进行预训练；S2：使用预训练后的卷积神经网络对自然图像情感识别数据集和抽象图像情感识别数据集进行风格特征提取，并计算所述抽象图像情感识别数据集中每个样本与所述自然图像情感识别数据集中各个样本的风格差异；S3：根据所述抽象图像情感识别数据集中的风格特征，按风格差异递增的顺序动态地选择与所述抽象图像情感识别数据集的风格特征最相似的自然图像情感识别数据集子集，使用所述自然图像情感识别数据集子集与所述抽象图像情感识别数据集进行两层迁移联合精调，得到抽象图像情感识别模型。
【技术特征摘要】
1.一种抽象图像情感识别方法，其特征在于：包括以下步骤：S1：使用自然图像数据集对卷积神经网络进行预训练；S2：使用预训练后的卷积神经网络对自然图像情感识别数据集和抽象图像情感识别数据集进行风格特征提取，并计算所述抽象图像情感识别数据集中每个样本与所述自然图像情感识别数据集中各个样本的风格差异；S3：根据所述抽象图像情感识别数据集中的风格特征，按风格差异递增的顺序动态地选择与所述抽象图像情感识别数据集的风格特征最相似的自然图像情感识别数据集子集，使用所述自然图像情感识别数据集子集与所述抽象图像情感识别数据集进行两层迁移联合精调，得到抽象图像情感识别模型。2.如权利要求1所述的抽象图像情感识别方法，其特征在于:步骤S1具体包括如下步骤：S11：构建卷积神经网络，并随机初始化网络参数，所述卷积神经网络包括若干层卷积模块和全连接层，每一层所述卷积模块由一层卷积层构成或者由一层卷积层和一层池化层组成；S12：输入自然图像数据集至所述卷积神经网络进行前向传播，使用交叉熵损失函数计算预测标签与真实标签的概率分布的差异；S13：使用Adam优化方法优化交叉熵损失函数，更新网络参数。3.如权利要求2所述的抽象图像情感识别方法，其特征在于:所述卷积模块的层数为5层，所述全连接层的层数为3层。4.如权利要求2所述的抽象图像情感识别方法，其特征在于，步骤S2具体包括如下步骤：S21：将自然图像情感识别数据集和抽象图像情感识别数据集输入到预训练后的卷积神经网络中进行前向传播，得到对应所述自然图像情感识别数据集和所述抽象图像情感识别数据集的每个样本在所述卷积神经网络前L层卷积模块的输出集合F(F＝{F1，F2，…FL}),其中为第l层卷积模块输出的特征图集合，Dl为特征图的个数，Ml＝(Wl×Hl)，Wl为特征图的宽度，Hl为特征图的高度；S22：计算特征图集合Fl的Gram矩阵：其中，为第l层特征图集合中第i个特征图与第j个特征图的内积，k为对应特征图的第k个元素，S23：计算所述抽象图像情感识别数据集中每个样本与所述自然图像情感识别数据集中各个样本间的风格差异，其公式如下：其中，为所述抽象图像情感识别数据集的第m个样本，为所述自然图像情感识别数据集的第n个样本。5.如权利要求4所述的抽象图像情感识别方法，其特征在于:步骤S3具体包括如下步骤：S31：为每个所述抽象图像情感识别数据集中的样本选取个风格差异最小的所述自然图像情感识别数据集的样本；S32：去除冗余样本，得到选择后的自然图像情感识别数据集子集；S33：冻结步骤S21中预训练后的卷积神经网络前L层的卷积模块参数，以迁移自然图像分类任务的底层通用视觉特征的提取能力；S34：将所述自然图像情感识别数据集子集输入至冻结后的所述卷积神经网络，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。