基于模态动态特征融合和跨模态关系提取的信息检测方法技术

本发明专利技术公开了一种基于模态动态特征融合和跨模态关系提取的信息检测方法，包含：多模态特征提取器提取文本特征r

【技术实现步骤摘要】
基于模态动态特征融合和跨模态关系提取的信息检测方法


[0001]本专利技术涉及一种基于模态动态特征融合和跨模态关系提取的信息检测方法。

技术介绍

[0002]目前，谣言检测方法包括机器学习方法和深度学习方法。其中传统机器学习方法如运用传播树和传播树核建模微博来检测谣言。使用n
‑
gram和词袋模型，采用监督学习进行谣言二分类。对于深度学习方法，采用了循环神经网络(recurrent neural network,RNN)来捕获上下文信息的变化以区分谣言。通过文本生成器(generator)和鉴别器(discriminator)的相互对抗进而实现更高性能的谣言检测模型。与机器学习模型相比，现有深度学习模型具有更出色的特征提取能力，因此它的性能也更加强大。但是，面对带有图片、文本等形式多样的谣言，现有的深度学习方法仍然需要进一步探索。

技术实现思路

[0003]本专利技术提供了一种基于模态动态特征融合和跨模态关系提取的信息检测方法解决上述提到的技术问题，具体采用如下的技术方案：
[0004]一种基于模态动态本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于模态动态特征融合和跨模态关系提取的信息检测方法，其特征在于，包含以下步骤：多模态特征提取器接收包含文本信息、图像信息和用户信息的待检测信息并从所述文本信息、所述图像信息和所述用户信息中分别提取出文本特征r
t
、图像特征r
v
和用户特征r
u
；跨模态关系提取器接收所述文本特征r
t
、所述图像特征r
v
和所述用户特征r
u
，构建各模态之间的关联，依据各模态之间的关联对所述文本特征r
t
、所述图像特征r
v
和所述用户特征r
u
进行更新从而得到增强文本特征u
t
、增强图像特征u
v
和增强用户特征u
u
；多模态特征融合器接收所述文本特征r
t
、所述图像特征r
v
、所述用户特征r
u
、所述增强文本特征u
t
、所述增强图像特征u
v
和所述增强用户特征u
u
并通过动态路由机制动态的调配各个模态特征的权重系数，经过多次迭代之后，得到多模态融合特征a
N
；分类器接收所述多模态融合特征a
N
并输出预测结果。2.根据权利要求1所述的基于模态动态特征融合和跨模态关系提取的信息检测方法，其特征在于，所述多模态特征提取器包含文本特征提取器、图像特征提取器和用户特征提取器。3.根据权利要求2所述的基于模态动态特征融合和跨模态关系提取的信息检测方法，其特征在于，所述文本特征提取器包含BERT模型和全连接层；所述文本特征提取器从所述文本信息中提取出所述文本特征r
t
的具体方法为：将所述文本信息进行one
‑
of
‑
N编码以及扩展，将句子的长度扩展为512，从而得到编码向量E，将编码向量E输入BERT模型得到输出矩阵B＝[b
[CLS]
,b1,...,b
n
,b
|text|
,...,b
510
]
T
，其中b
[CLS]
表示所述文本信息中所有的语义信息；将b
[CLS]
输入所述文本特征提取器的全连接层进行下述计算得到所述文本特征r
t
，r
t
＝W
tf
·
b
[CLS]
其中，W
tf
表示所述文本特征提取器的全连接层的权重矩阵。4.根据权利要求3所述的基于模态动态特征融合和跨模态关系提取的信息检测方法，其特征在于，所述图像特征提取器包含VGG19网络和全连接层；所述图像特征提取器从所述图像信息中提取出所述图像特征r
v
的具体方法为：将所述图像信息输入VGG19网络得到图像特征表示r
VGG
，将所述图像特征表示r
VGG
输入所述图像特征提取器的全连接层进行下述计算得到所述图像特征r
v
，r
v
＝W
vf
·
r
VGG
其中，W
vf
表示所述图像特征提取器的全连接层的权重矩阵。5.根据权利要求4所述的基于模态动态特征融合和跨模态关系提取的信息检测方法，其特征在于，所述用户特征提取器通过采用手工特征与深度学习模型相结合的方法提取所述用户信息的用户特征。6.根...

【专利技术属性】
技术研发人员：李淑真，叶周盛，王雪岭，袁成武，徐莼，冯星宇，
申请(专利权)人：浙江工商大学，
类型：发明
国别省市：