一种基于模糊知识神经网络的图像情感识别方法技术

本发明专利技术公开了一种基于模糊知识神经网络的图像情感识别方法利用模糊知识和神经网络相结合的方法，完成图像特征到情感语义的映射，减小了复杂度及训练数据量，具有过程可解释性，提高图像情感识别的准确性和鲁棒性，属于图像内容分析领域。本发明专利技术提取相关文献中图像情感映射知识，定义图像情感映射知识的规则形式，建立情感映射规则库；利用深度卷积神经网络提取图像特征，提出基于模糊K近邻算法的隶属函数，计算给定图像特征对多个模糊集的隶属度；基于情感映射规则初始化构建模糊知识神经网络，完成知识到网络的转换；利用后向传播算法训练模糊知识神经网络完成模型优化；从训练好的模型中提取更新优化后的情感映射规则，并进行图像的情感识别。

【技术实现步骤摘要】
一种基于模糊知识神经网络的图像情感识别方法
本专利技术涉及图像内容分析领域，尤其涉及一种基于模糊知识神经网络的图像情感识别方法。
技术介绍
情感是人们适应生存的心理工具，实现情感的传递是人与人之间的各种交流活动中至关重要的目标之一。为了构建一个和谐的人机环境，使计算机更好地完成人类指派的任务，人工智能学术界一直致力于情感计算的实现。实现情感计算的首要问题就是情感识别，情感识别直接影响能否实现情感计算。随着数字文化创意产业的不断发展，数字图像已经成为了情感传递的主要媒介之一。图像作为重要的情感信息载体，以此为对象进行情感识别的研究在以人为中心的社会文化生活中起着至关重要的作用：其不仅可以实现借助机器对图像进行自动的分类、管理与检索，还有助于机器分析图像的情感影响以甄别不适宜信息或实现自动化创作。因此，如何进行图像情感识别已经成为近年来学术界和工业界共同关注的热点研究问题。虽然目前图像情感识别研究的成果颇为丰富，但仍存在不少技术上的弊端：其一，多数研究采用经验学习方法，需要大量的、多样的训练数据，存在效率低、过程不可解释等问题；其二，缺少能够有效地减小图像特征与情感语义之间语义鸿沟的中层语义表示，难以处理图像情感语义映射关系之间的复杂性，在细粒度层次的情感识别任务上表现并不优越；其三，图像情感本身具有一定的模糊性，目前的方法较少考虑到该属性。
技术实现思路
针对现有图像情感内容分析技术上存在的上述缺陷，本专利技术提出一种基于模糊知识神经网络的图像情感识别方法，使用模糊知识神经网络完成图像特征到图像情感语义的映射过程，其不仅考虑了情感的模糊属性，引入了有效地中层语义缩短“语义鸿沟”，并且结合模糊知识和神经网络的方式提高了图像情感语义识别的准确性和鲁棒性。为达到上述专利技术目的，本专利技术采用下述技术方案：一种基于模糊知识神经网络的图像情感识别方法，利用模糊知识和神经网络相结合的方法，完成图像特征到情感语义的映射，包括以下步骤：步骤1：收集相关文献并进行图像情感映射知识的提取，将提取的图像情感映射知识转化为变量值逻辑形式化的情感映射规则，建立情感映射规则库；步骤2：利用深度卷积神经网络进行图像特征提取，定义基于改进的模糊K近邻算法的模糊隶属函数，利用隶属函数刻画图像特征与模糊集之间的模糊关系，并以隶属度表示；步骤3：基于情感映射规则库初始化构建模糊知识神经网络，以图像特征对模糊集的隶属度为网络输入，以情感隶属度为网络输出，完成模糊知识嵌入到神经网络，模拟图像与情感语义的映射；步骤4：根据最小二乘法理论，利用反向传播误差进行模糊知识神经网络的训练，通过模型参数优化实现规则的自学习；步骤5：在训练好的模糊知识神经网络中提取精炼优化后的规则，更新情感映射规则库；步骤6：采用训练好的模糊知识神经网络来识别测试图像所表达的情感。优选地，在步骤1中，定义图像与情感的映射知识和形式化规则，建立情感映射规则库；收集大量相关文献，人工提取图像情感表达知识，将提取得到的具有语言表达形式的知识，转换为基于模糊集覆盖理论的变量值逻辑规则，以此建立规范化的情感映射规则库。优选地，在步骤2中，利用深度卷积神经网络提取图像特征，根据情感映射规则库构建具有层级关系的属性模糊集和属性变量模糊集作为图像的中层语义，为每一个属性模糊集构建一个模糊K近邻分类器作为隶属函数，用以计算图像特征对该属性模糊集下其所有属性变量模糊集的隶属度。优选地，在步骤3中，根据构建的情感映射规则库，初始化构造模糊知识神经网络模型；情感映射规则库提供了大量的形式化图像情感映射规则，根据情感映射规则，在不同层构造不同的神经元实现不同的逻辑操作，建立各层神经元之间的连接，实现将模糊知识到神经网络的转化过程。优选地，在步骤4中，基于最小二乘法建立损失函数，通过后向传播算法实现模糊知识神经网络的自学习，完成图像特征到情感语义输出的映射；利用已标记的训练数据，基于反向传播算法对构建的模糊知识神经网络进行训练，实现网络参数优化及图像情感映射规则的自学习。优选地，在步骤5中，设计规则提取算法，在训练好的模型中提取精炼优化后的规则，并对情感映射规则库进行更新。训练完成的模糊知识神经网络蕴含了图像特征与情感语义的多种映射规则，通过判断神经元的激励程度可以进行规则提取，实现情感识别过程的可解释化。优选地，所述步骤1中的图像情感映射知识，其形式化规则以变量值逻辑规则形式存在，根据模糊集覆盖理论，其表现形式如下：attributei＝[symboli1]∨…∨[symbolij]其中，定义attribute为属性模糊集，定义symbol为属性模糊集包含的属性变量模糊集，又称为视觉符号模糊集，每个属性模糊集包含一个或多个属性变量模糊集上的析取运算v，IF部分为情感映射规则的前提部分，包含一个或多个属性模糊集attributei上的合取运算∧，αth为此规则的隶属度阈值，THEN部分为情感映射规则的后因部分，包含一个图像情感模糊集emotionk。优选地，所述步骤2中的基于模糊K近邻算法的隶属函数在于，基于图像数据集中已标记的图像数据对每一个属性模糊集建立一个模糊K近邻分类器，计算输入图像特征对该属性模糊集中包含的所有属性变量模糊集的隶属度，待分类数据x0对模糊集cj的隶属度计算如下：其中，α为模糊参数，xt为已标记的第t个数据，为模糊集中分类cj的最近邻个数，为待标记数据x0对分类cj的隶属度；为已标记数据xt对分类cj的隶属度。优选地，所述步骤3中模糊知识神经网络的初始化构建，通过定义模糊知识神经网络中的不同神经元单元功能和实现层与层之间的连接来完成情感映射规则到网络的嵌入；每个神经元包含一个线性函数f(x)＝wx+b和一个激活函数y，通过设置不同的参数固定权重w，偏置b，激活参数μ实现不同的功能：f(x)＝wx+b优选地，所述步骤4中模糊知识神经网络模型的训练学习方法具体为：通过后向传播，最小均方差优化网络，模糊知识神经网络模型通过情感映射规则进行权重初始化，在监督学习的条件下加入真实数据训练自适应网络，减小主观性使映射更贴近真实数据，定义本网络的损失函数为L，第p层的损失函数为Lp，输出神经元的个数为Nout，定义k的含义为情感类别，yk为真实输出标签，为网络预测输出标签，第p层的损失函数Lp如下：L＝∑Lp利用已标注的图像数据基于反向传播对构建的模糊知识神经网络进行训练，实现网络参数优化及规则的自学习。优选地，所述步骤5中在优化后的模糊知识神经网络中进行规则提取的具体方式如下：在基于后向传播训练的模糊知识神经网络中，定义其每个规则神经元定义的输出是激活后的加权输入f(x)＝∑hw*x+b，由模糊知识神经网络的激活函数定义得规则神经元的输入x都具有趋于0或者1的激活值，简化规则神经元的加权输入为f(x)＝∑hw+b，通过寻找权重w与偏置b总和大于0的输入实现自学习规本文档来自技高网...

【技术保护点】
1.一种基于模糊知识神经网络的图像情感识别方法，利用模糊知识和神经网络相结合的方法，完成图像特征到情感语义的映射，其特征在于，操作步骤如下：/n步骤1：收集相关文献并进行图像情感映射知识的提取，将提取的图像情感映射知识转化为变量值逻辑形式化的情感映射规则，建立情感映射规则库；/n步骤2：利用深度卷积神经网络进行图像特征提取，定义基于改进的模糊K近邻算法的模糊隶属函数，利用隶属函数刻画图像特征与模糊集之间的模糊关系，并以隶属度表示；/n步骤3：基于情感映射规则库初始化构建模糊知识神经网络，以图像特征对模糊集的隶属度为网络输入，以情感隶属度为网络输出，完成模糊知识嵌入到神经网络，模拟图像与情感语义的映射；/n步骤4：根据最小二乘法理论，利用反向传播误差进行模糊知识神经网络的训练，通过模型参数优化实现规则的自学习；/n步骤5：在训练好的模糊知识神经网络中提取精炼优化后的规则，更新情感映射规则库；/n步骤6：采用训练好的模糊知识神经网络来识别测试图像所表达的情感。/n

【技术特征摘要】
1.一种基于模糊知识神经网络的图像情感识别方法，利用模糊知识和神经网络相结合的方法，完成图像特征到情感语义的映射，其特征在于，操作步骤如下：
步骤1：收集相关文献并进行图像情感映射知识的提取，将提取的图像情感映射知识转化为变量值逻辑形式化的情感映射规则，建立情感映射规则库；
步骤2：利用深度卷积神经网络进行图像特征提取，定义基于改进的模糊K近邻算法的模糊隶属函数，利用隶属函数刻画图像特征与模糊集之间的模糊关系，并以隶属度表示；
步骤3：基于情感映射规则库初始化构建模糊知识神经网络，以图像特征对模糊集的隶属度为网络输入，以情感隶属度为网络输出，完成模糊知识嵌入到神经网络，模拟图像与情感语义的映射；
步骤4：根据最小二乘法理论，利用反向传播误差进行模糊知识神经网络的训练，通过模型参数优化实现规则的自学习；
步骤5：在训练好的模糊知识神经网络中提取精炼优化后的规则，更新情感映射规则库；
步骤6：采用训练好的模糊知识神经网络来识别测试图像所表达的情感。


2.根据权利要求1所述的基于模糊知识神经网络的图像情感识别方法，其特征在于，所述步骤1中的图像情感映射知识，其形式化规则以变量值逻辑规则形式存在，根据模糊集覆盖理论，其表现形式如下：



attributei＝[symboli1]∨…∨[symbolij]
其中，定义attribute为属性模糊集，定义symbol为属性模糊集包含的属性变量模糊集，又称为视觉符号模糊集，每个属性模糊集包含一个或多个属性变量模糊集上的析取运算∨，IF部分为情感映射规则的前提部分，包含一个或多个属性模糊集attributei上的合取运算∧，αth为此规则的隶属度阈值，THEN部分为情感映射规则的后因部分，包含一个图像情感模糊集emotionk。


3.根据权利要求1所述的基于模糊知识神经网络的图像情感识别方法，其特征在于，所述步骤2中的基于模糊K近邻算法的隶属函数在于，基于图像数据集中已标记的图像数据对每一个属性模糊集建立一个模糊K近邻分类器，计算输入图像特征对该属性模糊集中包含的所有属性变量模糊集的隶属度，待分类数据x0对模糊集cj的隶属度计算如下：



其中，α为模糊参数，xt为已标记的...

【专利技术属性】
技术研发人员：朱永华，朱蕴文，高文靖，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海;31