一种基于量子的媒体信息的情感预测方法、介质及设备技术

本发明专利技术涉及多模态情感预测领域，特别是涉及一种基于量子的媒体信息的情感预测方法、介质及设备。包括如下步骤：对每一模态的表示信息进行预处理，生成每一模态的表示信息对应的复数词向量集A1及A2，对A1及A2进行特征转换处理，生成对应的特征密度矩阵集ρ

【技术实现步骤摘要】
一种基于量子的媒体信息的情感预测方法、介质及设备


[0001]本专利技术涉及多模态情感预测领域，特别是涉及一种基于量子的媒体信息的情感预测方法、介质及设备。

技术介绍

[0002]媒体平台越来越倾向于使用多种媒体形式(如文本
‑
图像对，视频等)来共同表达他们的新闻信息。相比于单一模态，多模态的媒体内容能够表达更加准确和直观地传达信息。
[0003]现有技术中，为了准确地建立图像和文本之间的关联，许多多模态信息分析方法利用深度神经网络首先将图像和文本编码成稠密表示，然后学习度量它们的相似度。例如，将整个图像和整个句子映射到一个公共向量空间，并计算全局表示之间的余弦相似度。为了提高统一嵌入的判别能力，提出了语义概念学习和区域关系推理等策略，通过融合局部区域语义增强视觉特征。
[0004]已有基于神经组件的多模态信息分析模型是类似黑盒的，可解释性较弱。多模态信息处理的问题归根结底都是人类认知的问题。从人类认知的角度出发建模模态间和上下文信息的交互，基于经典概率理论的方法往往无法有效捕获这些交互。例如，讽刺是人类语言中的一种微妙的表现形式，旨在通过夸张、比喻等方式表达批评、幽默或嘲讽的情绪。讽刺表达的字面含义与它所表达的实际含义往往是相反的，这样的表达可以将情感极性反转。作为从人类主观意识的产物，情感表达和讽刺表达天生就是紧密相关的。然而当前基于神经网络的多模态信息分析模型无法从人类认知角度出发分析这些信息，进而使得现有技术对媒体信息所表达的情绪的预测结果精度较低。

技术实现思路
r/>[0005]针对上述技术问题，本专利技术采用的技术方案为：根据本专利技术的一个方面，提供了一种基于量子的媒体信息的情感预测方法，该方法包括如下步骤：获取目标媒体信息的任意两种模态的表示信息；对每一模态的表示信息进行预处理，生成每一模态的表示信息对应的复数词向量集A1及A2，其中，A1=（A11，A12，
…
，A1
n
，
…
，A1
f(A1)
）；A2=（A21，A22，
…
，A2
q
，
…
，A2
f(A2)
）；A1
n
为A1中的第n个复数词向量；f(A1)为A1中复数词向量的总数量；A2
q
为A2中的第q个复数词向量；f(A2)为A2中复数词向量的总数量，n的取值范围为1到f(A1)，q的取值范围为1到f(A2)；对A1及A2分别进行特征转换处理，分别生成对应的特征密度矩阵集ρ
t
及ρ
v
；其中，ρ
t
=（ρ
t1
，ρ
t2
，
…
，ρ
tβ
，
…
，ρ
tg
）及ρ
v
=（ρ
v1
，ρ
v2
，
…
，ρ
vj
，
…
，ρ
vg
），ρ
tβ
为在第β个预设初始参数下，A1对应生成的特征密度矩阵；ρ
vj
为在第j个预设初始参数下，A2对应生成的特征密度矩阵；β=1，2，
…
，g；j=1，2，
…
，g；g为预设初始参数的类别总数量；对ρ
t
及ρ
v
进行特征融合处理，生成目标媒体信息的融合特征f
p
，其中f
p
满足如下条
件：
[0006]其中，为干涉项信息，
ɸ
β,j
为ρ
tβ
、ρ
vj
两个模态信息间的关联程度；
ɸ
β,j
∈[
‑
π，π]；PCA（）为对矩阵进行PCA处理；根据f
p
与多个预设情感类型的投影算子，生成f
p
为每一种预设情感类型的概率值P(e1)，P(e2)，
…
，P(e
δ
)，
…
，P(e
w
)；其中，是f
p
为第δ种预设情感类型的概率值；δ=1，2，
…
，w；w为预设情感类型的总数量，P(e
δ
)满足如下条件：
[0007]其中，E
δ
为第δ种预设情感类型的投影算子；tr（）为矩阵的取迹函数，用于获取矩阵的迹；（）
H
为矩阵的共轭转置函数；将P(e1)，P(e2)，
…
，P(e
δ
)，
…
，P(e
w
)中最大值对应的情感类型，作为目标媒体信息的情感类型。
[0008]根据本专利技术的第二个方面，提供了一种非瞬时性计算机可读存储介质，非瞬时性计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的一种基于量子的媒体信息的情感预测方法。
[0009]根据本专利技术的第三个方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的一种基于量子的媒体信息的情感预测方法。
[0010]本专利技术至少具有以下有益效果：通过利用量子概率原理可以将每一模态的信息向量化，形成在多维度叠加态的复数词向量。由此可以捕捉人类不同模态语言中的不确定性，能对人类语言中的一些微妙的表现形式进行有效表示。然后通过设置滑动窗口，来对每一模态的表示信息对应的复数词向量集进行切分，进而形成多个量子复合系统，然后再通过量子复合系统捕捉单模态信息之间的上下文信息，以生成每一模态的信息对应的密度矩阵。进一步，再将两个模态分别对应的密度矩阵进行特征融合处理，也即量子干涉计算。由此，通过量子干涉计算来实现多模态信息特征的非线性融合。最后，通过量子不兼容测量可以描述融合的多模态特征分别与不同情感分类之间的相关性，并将相关性最高的投影算子对应的预设情感类型作为预测结果输出。
[0011]本专利技术的总体技术方案主要包括：数据预处理及向量化多模态特征，构建单模态信息特征表示，多模态信息特征融合，及预测多模态社交媒体情感类型这几个步骤，且在上述步骤中使用量子理论对数据进行对应处理。由于，量子理论已被证明可以解决经典概率论在人类认知建模中的悖论，也即，通过利用量子理论的模型，可以更加有效的捕获不同模态之间的信息交互，进而可以更加准确的识别出讽刺表达所对应的情绪类型，进而可以提高对媒体信息所表达情绪的预测结果的精度。而且基于量子理论的模型具有更好的可解释
性。
附图说明
[0012]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于量子的媒体信息的情感预测方法，其特征在于，所述方法包括如下步骤：获取目标媒体信息的任意两种模态的表示信息；对每一模态的表示信息进行预处理，生成所述每一模态的表示信息对应的复数词向量集A1及A2，其中，A1=（A11，A12，
…
，A1
n
，
…
，A1
f(A1)
）；A2=（A21，A22，
…
，A2
q
，
…
，A2
f(A2)
）；A1
n
为A1中的第n个复数词向量；f(A1)为A1中复数词向量的总数量；A2
q
为A2中的第q个复数词向量；f(A2)为A2中复数词向量的总数量，n的取值范围为1到f(A1)，q的取值范围为1到f(A2)；对A1及A2分别进行特征转换处理，分别生成对应的特征密度矩阵集ρ
t
及ρ
v
；其中，ρ
t
=（ρ
t1
，ρ
t2
，
…
，ρ
tβ
，
…
，ρ
tg
）及ρ
v
=（ρ
v1
，ρ
v2
，
…
，ρ
vj
，
…
，ρ
vg
），ρ
tβ
为在第β个预设初始参数下，A1对应生成的特征密度矩阵；ρ
vj
为在第j个预设初始参数下，A2对应生成的特征密度矩阵；β=1，2，
…
，g；j=1，2，
…
，g；g为预设初始参数的类别总数量；对ρ
t
及ρ
v
进行特征融合处理，生成目标媒体信息的融合特征f
p
，其中f
p
满足如下条件：；其中，为干涉项信息，
ɸ
β,j
为ρ
tβ
、ρ
vj
两个模态信息间的关联程度；
ɸ
β,j
∈[
‑
π，π]；PCA（）为对矩阵进行PCA处理；根据f
p
与多个预设情感类型的投影算子，生成f
p
为每一种预设情感类型的概率值P(e1)，P(e2)，
…
，P(e
δ
)，
…
，P(e
w
)；其中，是f
p
为第δ种预设情感类型的概率值；δ=1，2，
…
，w；w为预设情感类型的总数量，P(e
δ
)满足如下条件：；其中，E
δ
为第δ种预设情感类型的投影算子；tr（）为矩阵的取迹函数，用于获取矩阵的迹；（）
H
为矩阵的共轭转置函数；将P(e1)，P(e2)，
…
，P(e
δ
)，
…
，P(e
w
)中最大值对应的情感类型，作为所述目标媒体信息的情感类型。2.根据权利要求1所述的方法，其特征在于，所述特征转换处理包括如下步骤：使用滑动窗口对目标复数词向量集进行滑动分割，生成所述目标复数词向量集对应的多个复合向量子集C1，C2，
…
，Cx，
…
，Cm
‑
k+1；其中，Cx为滑动窗口对目标复数词向量集进行第x次分割后生成的复合向量子集，x∈[1，m
‑
k+1]；m
‑
k+1为复合向量子集的总数量，m为目标复数词向量集的总长度，k为滑动窗口的总长度；根据u
t1
，u
t2
，
…
，u
tξ
，
…
，u
tg
分别对C1，C2，
…
，Cx，
…
，Cm
‑
k+1进行向量转化处理，生成每一所述复合向量子集对应的特征向量集D1，D2，
…
，Dx（），
…
，Dm
‑
k+1，其中，Dx=（Ψ
x1
...

【专利技术属性】
技术研发人员：王磊，蒋永余，王俊艳，王宇琪，曹家，罗引，
申请(专利权)人：北京中科闻歌科技股份有限公司，
类型：发明
国别省市：