【技术实现步骤摘要】
一种融合脑电和刺激源信息的视频情感分类方法及系统
[0001]本专利技术涉及多模态融合的视频情感分类领域，特别涉及一种融合脑电和刺激源信息的视频情感分类方法及系统。
技术介绍
[0002]视频情感分类是计算机视觉研究方向的一大热点，也有着宽广的应用价值。在视频推荐系统中，通过计算用户观看视频的情感，获取其情感偏好，能够为其推荐更符合其偏好的视频。在舆情事件中，获取特定热点话题下的视频，计算视频的情感以便进行引导，建立正确的舆论导向，有利于营造和谐稳定的网络空间环境。此外，视频情感分类在视频分类、广告植入等方面也有着重要的意义。
[0003]因此本专利技术提出了一种融合脑电和刺激源信息的视频情感分类方法。该方法通过采集用户观看视频的脑电信号并融合视频刺激源信息对视频的情感进行分类。
[0004]现有技术1提出的视频情感分类方法包括：构建自适应融合网络模型；将输入的视频集人分为训练集和测试集，并获取视频集中每个视频的三个模态特征向量，所述的三个模态为RGB、光流和音频；对于训练集，分别将三个模态的特征向量输入自适...
【技术保护点】
【技术特征摘要】
1.一种融合脑电和刺激源信息的视频情感分类方法，其特征在于，包括以下步骤：步骤1，构建刺激源
‑
脑电信号数据集：观看视频片段，并使用脑电扫描仪采集受试者观看视频时的脑电信号；根据视频标签、视频内容以及受试者脑电信号构建刺激源
‑
脑电信号数据集；步骤2，构建多模态特征融合模型：对于数据集，提取视频特征及脑电信号特征，并将两种模态的特征分别表示为时序特征向量；对于多模态时序特征向量，采用基于注意力机制的多模态信息融合方法生成融合向量；步骤3，训练融合向量分类模型：对于生成的融合向量，将其作为神经网络全连接层的输入进行预测；根据预测结果与真实标签的差异更新神经网络权重，训练神经网络，待网络稳定后完成模型的训练；步骤4，利用模型进行分类：对于待分类视频，采集受试者观看视频时的脑电信号；提取视频特征及脑电信号特征，并采用基于注意力机制的多模态信息融合方法生成融合向量；将融合向量输入训练好的神经网络，网络的输出向量为各类情感类别的概率，选择概率最大的情感类别作为视频情感分类的结果。2.根据权利要求1所述的一种融合脑电和刺激源信息的视频情感分类方法，其特征在于，构建刺激源
‑
脑电信号数据集具体为：收集视频，为受试者佩戴62通道脑电扫描仪，待信号稳定后让受试者观看刺激源视频，采集受试者脑电信号；对采集得到的脑电数据进行清洗，并将视频标签、内容以及受试者脑电信号存入数据库中，构建刺激源
‑
脑电信号数据集。3.根据权利要求2所述的一种融合脑电和刺激源信息的视频情感分类方法，其特征在于，收集来自互联网上的视频片段，包含情感为积极、消极以及中立的视频，且三者数量相同，每段视频时长为3～5分钟。4.根据权利要求1所述的一种融合脑电和刺激源信息的视频情感分类方法，其特征在于，步骤2中，时序特征向量：将刺激源
‑
脑电信号数据集划分为训练集和测试集，对于训练集的视频数据，按照1s的时间间隔提取视频的图像，并使用ResNet网络分别提取这些图像的特征，将特征按照时间步拼接得到时序特征向量；对于脑电信号，采用小波变换方式进行特征提取，得到时序特征向量。5.根据权利要求1所述的一种融合脑电和刺激源信息的视频情感分类方法，其特征在于，步骤2中，将多模态特征向量通过基于注意力机制的多模态信息融合方法进行有机结合，生成时序融合向量；融合模型采用基于...
【专利技术属性】
技术研发人员：刘欢，李珂，秦涛，郑庆华，张玉哲，陈栩栩，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。