多模态和图结构特征学习网络的大五人格预测方法和装置制造方法及图纸

本发明专利技术提供一种多模态和图结构特征学习网络的大五人格预测方法和装置，应用于人格预测技术领域。所述方法包括:获取符合预设要求的短视频数据，从所述短视频数据提取图像序列、音频信号和音频转录后的文本，并分别输入训练的人脸特征提取模型、预训练的环境场景特征模型、预训练的音频特征模型和预训练的文本类特征提取器，分别得到静态人脸结构特征，动态环境场景时空特征、音频特征和文本特征，并进行特征融合，最后将融合特征向量输入训练的大五人格预测模型，得到大五人格的五种人格特质的预测值。本发明专利技术能够显著提高大五人格预测的准确性。

【技术实现步骤摘要】

本专利技术涉及人格预测，特别是指一种多模态和图结构特征学习网络的大五人格预测方法和装置。

技术介绍

1、如今，人类情感行为的自动分析越来越受到心理学、计算机视觉、语言学和其他相关学科研究人员的关注。在计算机视觉和情感计算领域，表观人格分析研究机器如何自动识别或合成人的人格。人格可以被定义为影响一个人的行为、情感、思维、动机和感觉模式特征的心理因素的组合，这些特征使不同的个体彼此区分开来。我们的个性和情绪对我们的生活有很大的影响，它们可以影响我们的行为、认知、心理健康、偏好、欲望和决定。

2、一些研究表明，人格对人们的决策也有重要影响，这会导致人们在思想、感觉和动机上的个体差异。依恋类型、决策类型与人格特征之间存在显著相关。此外，个性人格还与个人偏好的差异有关，比如人们在日常生活中的行为方式，以及用户对各种娱乐领域的偏好，包括书籍和电影。此外，自动检测一个人的人格特质的能力有许多重要的实际应用，如工作面试、推荐系统、社会关系、个人助理、购买行为、医疗保健和咨询、犯罪学、教育等。

3、现有主流的大五人格预测方法也主要是基于cnn架构。这本文档来自技高网...

【技术保护点】

1.一种多模态和图结构特征学习网络的大五人格预测方法，其特征在于，包括：

2.根据权利要求1所述的多模态和图结构特征学习网络的大五人格预测方法，其特征在于，所述S2的对所述图像序列进行预处理，得到第一帧人脸图像和场景图像序列，包括：

3.根据权利要求2所述的多模态和图结构特征学习网络的大五人格预测方法，其特征在于，所述S27的对关键点坐标信息进行归一化处理，得到处理后的关键点坐标信息，包括：

4.根据权利要求1所述的多模态和图结构特征学习网络的大五人格预测方法，其特征在于，在所述S3的将所述第一帧人脸图像输入训练的人脸特征提取模型，得到静态人脸结构特征...

【技术特征摘要】

1.一种多模态和图结构特征学习网络的大五人格预测方法，其特征在于，包括：

2.根据权利要求1所述的多模态和图结构特征学习网络的大五人格预测方法，其特征在于，所述s2的对所述图像序列进行预处理，得到第一帧人脸图像和场景图像序列，包括：

3.根据权利要求2所述的多模态和图结构特征学习网络的大五人格预测方法，其特征在于，所述s27的对关键点坐标信息进行归一化处理，得到处理后的关键点坐标信息，包括：

4.根据权利要求1所述的多模态和图结构特征学习网络的大五人格预测方法，其特征在于，在所述s3的将所述第一帧人脸图像输入训练的人脸特征提取模型，得到静态人脸结构特征之前,所述方法还包括：

5.根据权利要求1所述的多模态和图结构特征学习网络的大五人格预测方法，其特征在于，所述s4的将所述场景图像序列输入预训练的环境场景特征模型，得到动态环境场景时空特征，包括：

6.根据权利要求1所述的多模态和图结构特征学习网络的大五人格预测方法，其特征在于，所述s5的对所述音频信号进行预处理，得到预处理的音频信号，包括：

7.根据...

【专利技术属性】
技术研发人员：王荣全，魏麟，马惠敏，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：