多种关联特征和图关系注意的多模态人格感知方法及装置制造方法及图纸

技术编号:44097001 阅读:42 留言:0更新日期:2025-01-21 12:30
本发明专利技术涉及计算机视觉领域,特别是指一种多种关联特征和图关系注意的多模态人格感知方法及装置。所述方法包括:获取待进行人格感知的输入视频;将输入视频输入到数据预处理模块,得到视觉模态输入、音频模态输入以及文本模态输入;将视觉模态输入、音频模态输入以及文本模态输入输入到模态特征提取网络模块,得到场景‑音频关联特征、场景‑描述词关联特征、音频‑描述词关联特征以及文本模态特征;将场景‑音频关联特征、场景‑描述词关联特征、音频‑描述词关联特征以及文本模态特征输入到特征融合模块,得到多模态融合特征;将多模态融合特征输入到感知预测模块,得到人格感知结果。本发明专利技术提出了一种多模态注意融合框架,用于人格感知。

【技术实现步骤摘要】

本专利技术涉及计算机视觉,特别是指一种多种关联特征和图关系注意的多模态人格感知方法及装置


技术介绍

1、通常,人格包括行为、气质、情绪和心理等方面,能够定义一个个体独特的性格。显性人格感知指的是根据他人观察到的行为和外貌来区分一个人的感知,这与实际人格(代表一个人真实的心理特征)显著不同。人格感知旨在识别社交媒体帖子中隐含的人格特征,从而深入了解人类行为、情绪过程和心理健康。人格感知有助于人们更好地理解自己,改善心理健康,并在心理治疗、临床诊断、职业发展以及社会科学研究等领域中发挥重要作用。在人格研究中,研究人员已经开发了心理量表和模型来理解和测量人格特征。例如,五大人格模型通过五个特质来测量人格:开放性(o)、责任心(c)、外向性(e)、宜人性(a)和神经质(n)。作为社交互动的重要组成部分,显性人格感知显著影响人们对他人的反应,因此在人际交互分析、人机交互系统、社交机器人、教育、市场营销和推荐系统等领域中具有重要的应用价值。

2、随着youtube和tiktok等多媒体社交平台的兴起,人们越来越多地使用视频分享他们的生活。为了应对这一趋势本文档来自技高网...

【技术保护点】

1.一种多种关联特征和图关系注意的多模态人格感知方法,其特征在于,所述方法包括:

2.根据权利要求1所述的多种关联特征和图关系注意的多模态人格感知方法,其特征在于,所述S3中的将所述视觉模态输入、音频模态输入以及文本模态输入输入到模态特征提取网络模块,得到场景-音频关联特征、场景-描述词关联特征、音频-描述词关联特征以及文本模态特征,包括:

3.根据权利要求2所述的多种关联特征和图关系注意的多模态人格感知方法,其特征在于,所述S31中的将所述视觉模态输入以及音频模态输入输入到场景-音频关联特征提取模块,得到场景-音频关联特征,包括:

>4.根据权利要求2...

【技术特征摘要】

1.一种多种关联特征和图关系注意的多模态人格感知方法,其特征在于,所述方法包括:

2.根据权利要求1所述的多种关联特征和图关系注意的多模态人格感知方法,其特征在于,所述s3中的将所述视觉模态输入、音频模态输入以及文本模态输入输入到模态特征提取网络模块,得到场景-音频关联特征、场景-描述词关联特征、音频-描述词关联特征以及文本模态特征,包括:

3.根据权利要求2所述的多种关联特征和图关系注意的多模态人格感知方法,其特征在于,所述s31中的将所述视觉模态输入以及音频模态输入输入到场景-音频关联特征提取模块,得到场景-音频关联特征,包括:

4.根据权利要求2所述的多种关联特征和图关系注意的多模态人格感知方法,其特征在于,所述s32中的将所述视觉模态输入输入到场景-描述词关联特征提取模块,得到场景-描述词关联特征,包括:

5.根据权利要求2所述的多种关联特征和图关系注意的多模态人格感知方法,其特征在于,所述s33中的将所述音频模态输入输入到...

【专利技术属性】
技术研发人员:王荣全马惠敏
申请(专利权)人:北京科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1