基于属性的视觉情感识别方法、装置、设备及存储介质制造方法及图纸

本申请涉及一种基于属性的视觉情感识别方法、装置、设备及存储介质，涉及图像处理技术领域。方法包括：确定针对各样本图像中的对象进行情感识别得到的基本情感标签；分别提取各样本图像在不同的预设的情感属性下的视觉信息；情感属性是与情感相关的视觉属性；根据各样本图像分别对应的视觉信息，确定各样本图像分别对应的情感属性标签；情感属性标签用于辅助描述样本图像引发的情感；基于各样本图像，以及各样本图像分别对应的基本情感标签和情感属性标签，生成视觉情感数据集。采用本申请能够提高后续进行情感识别的准确性。能够提高后续进行情感识别的准确性。能够提高后续进行情感识别的准确性。

【技术实现步骤摘要】
基于属性的视觉情感识别方法、装置、设备及存储介质


[0001]本申请涉及图像处理
，特别是涉及一种基于属性的视觉情感识别方法、装置、设备及存储介质。

技术介绍

[0002]视觉情感分析是情感计算中一项十分有前景又具有挑战性的任务，用于预测分析视觉刺激引发的人类情感感知，当人们观看图像时，不仅可以识别其中的视觉元素，还会不由自主地感受到某种情感体验。
[0003]显然，在视觉情感分析中，需要利用视觉情感数据集进行情感识别。然而，传统的视觉情感数据集只提供一些基本的情感标签，考虑到情感的抽象性和复杂性，通过单一的情感标签大大限制了情感识别的准确性。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种提高情感识别的准确性的基于属性的视觉情感识别方法、装置、计算机设备、计算机可读存储介质以及计算机程序产品，能够提高后续进行情感识别的准确性。
[0005]第一方面，本申请提供了一种基于属性的视觉情感识别方法，包括：确定针对各样本图像中的对象进行情感识别得到的基本情感标签；分别提取各样本图像在不同的预设的情感属性下的视觉信息；情感属性是与情感相关的视觉属性；根据各样本图像分别对应的视觉信息，确定各样本图像分别对应的情感属性标签；情感属性标签用于在视觉层面上辅助描述样本图像引发的情感；基于各样本图像，以及各样本图像分别对应的基本情感标签和情感属性标签，生成视觉情感数据集；其中，视觉情感数据集用于训练情感识别模型；情感识别模型用于对输入的目标图像中的对象进行情感识别。
[0006]第二方面，本申请提供了一种基于属性的视觉情感识别装置，包括：标签确定模块，用于确定针对各样本图像中的对象进行情感识别得到的基本情感标签；信息提取模块，用于分别提取各样本图像在不同的预设的情感属性下的视觉信息；情感属性是与情感相关的视觉属性；标签确定模块，还用于根据各样本图像分别对应的视觉信息，确定各样本图像分别对应的情感属性标签；情感属性标签用于辅助描述样本图像引发的情感；数据集生成模块，用于基于各样本图像，以及各样本图像分别对应的基本情感标签和情感属性标签，生成视觉情感数据集；其中，视觉情感数据集用于训练情感识别模型；情感识别模型用于对输入的目标图像中的对象进行情感识别。
[0007]在一些实施例中，情感属性包括像素级属性；像素级属性是从图像属性中提取的、与情感关联的像素级的属性；像素级属性下的视觉信息为像素级视觉信息。标签确定模块还用于对各样本图像分别对应的像素级视觉信息进行量化处理；将量化处理后得到的量化视觉信息，确定为各样本图像分别对应的情感属性标签。
[0008]在一些实施例中，情感属性包括语义级属性或对象级属性中的至少一种；语义级属性下的视觉信息为语义级视觉信息；对象级属性下的视觉信息为对象级视觉信息。信息提取模块还用于针对每个语义级属性或对象级属性，分别对各样本图像执行与语义级属性或对象级属性相匹配的图像内容检测，得到语义级视觉信息或对象级视觉信息。标签确定模块还用于将各样本图像分别对应的语义级视觉信息，或各样本图像分别对应的对象级视觉信息中的至少一种视觉信息，确定为各样本图像分别对应的情感属性标签。
[0009]在一些实施例中，语义级属性包括场景类别属性或物体类别属性中的至少一种；语义级属性下的视觉信息包括场景类别或物体类别中的至少一种；对象级属性包括对象表情属性或对象行为属性中的至少一种；对象级属性下的视觉信息包括对象表情或对象行为中的至少一种。标签确定模块用于执行以下至少一种处理：在语义级属性是场景类别属性的情况下，对样本图像进行场景识别，得到场景类别；在语义级属性是物体类别属性的情况下，对样本图像进行物体检测，并将检测到的物体的类别确定为物体类别；在对象级属性是对象表情属性的情况下，对样本图像显示的目标对象进行表情检测，得到对象表情；在对象级属性是对象行为属性的情况下，对样本图像显示的目标对象进行动作识别，得到对象行为。
[0010]在一些实施例中，数据集生成模块还用于针对每张样本图像，显示样本图像和样本图像对应的基本情感标签和情感属性标签；响应于参照样本图像对基本情感标签和情感属性标签进行的标签确认操作，得到标签确认结果；标签确认结果用于分别指示基本情感标签和情感属性标签是否被确认；基于标签确认结果，生成对应的视觉情感数据集。
[0011]在一些实施例中，数据集生成模块还用于在标签确认结果表征基本情感标签被确认的情况下，若基本情感标签和情感属性标签被确认的数量满足预设的确认数量要求的情况下，则保留样本图像、基本情感标签，以及被确认的情感属性标签；根据保留的样本图像，以及保留的样本图像对应保留的基本情感标签和情感属性标签，生成视觉情感数据集。
[0012]在一些实施例中，本申请提供的基于属性的视觉情感识别装置还包括情感识别处理模块，情感识别处理模块用于将目标图像输入至训练好的情感识别模型，以通过情感识别模型中的骨干网络提取目标图像在不同属性层次下的属性特征，并通过骨干网络提取目标图像的图像特征；属性层次通过对不同的情感属性进行层次划分得到；针对每个属性层次下的属性特征，通过情感识别模型中的属性模块对属性特征执行相匹配的卷积处理，得到不同属性层次下的视觉属性特征；通过情感识别模型中的融合模块对图像特征和各视觉属性特征进行特征融合，得到融合特征；根据融合特征对目标图像进行情感识别，得到情感识别结果。
[0013]第三方面，本申请提供了一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行该计算机程序时实现上述的方法中的步骤。
[0014]第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法中的步骤。
[0015]第五方面，本申请提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现本上述的方法中的步骤。
[0016]上述基于属性的视觉情感识别方法、装置、计算机设备、计算机可读存储介质及计算机程序产品，确定针对各样本图像中的对象进行情感识别得到的基本情感标签；分别提取各样本图像在不同的、与情感相关的预设情感属性下的视觉信息。根据各样本图像分别对应的视觉信息，确定各样本图像分别对应的情感属性标签，以将基本情感标签和情感属性标签一并作为对各样本图像进行标注的标注数据，从而提高基于上述标注数据和各样本图像生成的、用于训练情感识别模型的视觉情感数据集的标注丰富度，其中情感识别模型用于对输入的目标图像中的对象进行情感识别。由于情感属性标签能够辅助描述样本图像引发的情感，因此，基于本申请的视觉情感数据集训练的情感识别模型进行情感识别的准确性，相比起仅基于包括基本情感标签的视觉情感数据集训练的情感识别模型进行情感识别的准确性更高。
附图说明
[0017]图1是本申请实施例提供的一种基于属性的视觉情感识别方法的流程示意图；图2是本申请实施例提供的一种标注工具图形化界面；图3是本申请实施例提供的一种基于情感识别模型进行情感本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于属性的视觉情感识别方法，其特征在于，包括：确定针对各样本图像进行情感识别得到的基本情感标签；分别提取所述各样本图像在不同的预设的情感属性下的视觉信息；所述情感属性是与情感相关的视觉属性；根据所述各样本图像分别对应的视觉信息，确定所述各样本图像分别对应的情感属性标签；所述情感属性标签用于辅助描述所述样本图像引发的情感；基于所述各样本图像，以及所述各样本图像分别对应的基本情感标签和情感属性标签，生成视觉情感数据集；其中，所述视觉情感数据集用于训练情感识别模型；所述情感识别模型用于对输入的目标图像进行情感识别。2.根据权利要求1所述的方法，其特征在于，所述情感属性包括像素级属性；所述像素级属性是从图像属性中提取的、与情感关联的像素级的属性；所述像素级属性下的视觉信息为像素级视觉信息；所述根据所述各样本图像分别对应的视觉信息，确定所述各样本图像分别对应的情感属性标签，包括：对所述各样本图像分别对应的像素级视觉信息进行量化处理；将量化处理后得到的量化视觉信息，确定为所述各样本图像分别对应的情感属性标签。3.根据权利要求1所述的方法，其特征在于，所述情感属性包括语义级属性或对象级属性中的至少一种；所述语义级属性下的视觉信息为语义级视觉信息；所述对象级属性下的视觉信息为对象级视觉信息；所述分别提取所述各样本图像在不同的预设的情感属性下的视觉信息，包括：针对每个所述语义级属性或所述对象级属性，分别对所述各样本图像执行与所述语义级属性或所述对象级属性相匹配的图像内容检测，得到所述语义级视觉信息或所述对象级视觉信息；所述根据所述各样本图像分别对应的视觉信息，确定所述各样本图像分别对应的情感属性标签，包括：将所述各样本图像分别对应的语义级视觉信息，或所述各样本图像分别对应的对象级视觉信息中的至少一种视觉信息，确定为所述各样本图像分别对应的情感属性标签。4.根据权利要求3所述的方法，其特征在于，所述语义级属性包括场景类别属性或物体类别属性中的至少一种；所述语义级属性下的视觉信息包括场景类别或物体类别中的至少一种；所述对象级属性包括对象表情属性或对象行为属性中的至少一种；所述对象级属性下的视觉信息包括对象表情或对象行为中的至少一种；所述针对每个所述语义级属性或所述对象级属性，分别对所述各样本图像执行与所述语义级属性或所述对象级属性相匹配的图像内容检测，得到所述语义级视觉信息或所述对象级视觉信息，包括以下至少一种处理：在所述语义级属性是所述场景类别属性的情况下，对所述样本图像进行场景识别，得到所述场景类别；在所述语义级属性是所述物体类别属性的情况下，对所述样本图像进行物体检测，并
将检测到的物体的类别确定为所述物体类别；在所述对象级属性是所述对象表情属性的情况下，对所述样本图像显示的目标对象进行表情检测，得到所述对象表情；在所述对象级属性是所述对象行为属性的情况下，对所述样本图像显示的目标对象进行动作识别，得到所述对象行为。5.根据...

【专利技术属性】
技术研发人员：杨景媛，黄惠，
申请(专利权)人：深圳大学，
类型：发明
国别省市：