一种基于Transformer的图文情感预测方法、装置、介质及产品制造方法及图纸

技术编号:41301877 阅读:18 留言:0更新日期:2024-05-13 14:48
本发明专利技术公开一种基于Transformer的图文情感预测方法、装置、介质及产品,涉及信息技术领域,该方法包括:获取目标对象的文本数据和所述文本数据对应的图像数据;对文本数据和图像数据进行预处理,得到处理后的文本数据和光学字符识别的文本数据;对处理后的文本数据、光学字符识别的文本数据和图像数据进行特征提取,得到文本特征和图片特征;根据文本特征和图片特征,利用基于Transformer的图文情感分析模型,确定所述目标对象的情感类别。本发明专利技术全面地衡量了图文间信息等因素,合理地利用了模态间信息,尽可能地挖掘了社交媒体平台的多模态情感信息,提高了对社交媒体情感分析的准确性。

【技术实现步骤摘要】

本专利技术涉及信息,特别是涉及一种基于transformer的图文情感预测方法、装置、介质及产品。


技术介绍

1、随着大数据技术的快速发展,社交媒体凭借其信息传播速度快、范围广的优点,逐渐成为人们社交生活的重要组成部分之一。社交媒体平台信息如今已经成为了重要的数据资源,有助于企业进行用户调研、舆论分析等。在社交媒体平台上,存在着大量的文字、图像、视频等多模态数据,其中结合文字和图片表达观点和情绪的社交媒体数据为主要部分,用户使用图片来表达个人情绪及观点的情况普遍存在。在社交媒体信息的多模态情感分析方面,当前的技术存在着模态之间的信息融合不充分、图片模态中包含的文字信息利用不完全等问题,还需要进一步改进和完善。

2、社交媒体平台的信息中,图文模态的数据之间通常具有上下文联系,仅仅使用文本进行情感分析在当前社交媒体数据的分析上没有综合多视角的信息,社交媒体平台数据模态数据之间关系利用不充分,具有片面性,使情感分析准确性较差。但与此同时,图片和文字的情感分析并不总是语义同步的。除此之外,社交媒体平台中的诸多图片中存在的文字信息也对情感分析有一定的帮助本文档来自技高网...

【技术保护点】

1.一种基于Transformer的图文情感预测方法,其特征在于,包括:

2.根据权利要求1所述的基于Transformer的图文情感预测方法,其特征在于,对所述文本数据和图像数据进行预处理,得到处理后的文本数据和光学字符识别的文本数据,具体包括:

3.根据权利要求1所述的基于Transformer的图文情感预测方法,其特征在于,对所述处理后的文本数据、所述光学字符识别的文本数据和所述图像数据进行特征提取,得到文本特征和图片特征,具体包括:

4.根据权利要求1所述的基于Transformer的图文情感预测方法,其特征在于,所述CrossTransfor...

【技术特征摘要】

1.一种基于transformer的图文情感预测方法,其特征在于,包括:

2.根据权利要求1所述的基于transformer的图文情感预测方法,其特征在于,对所述文本数据和图像数据进行预处理,得到处理后的文本数据和光学字符识别的文本数据,具体包括:

3.根据权利要求1所述的基于transformer的图文情感预测方法,其特征在于,对所述处理后的文本数据、所述光学字符识别的文本数据和所述图像数据进行特征提取,得到文本特征和图片特征,具体包括:

4.根据权利要求1所述的基于transformer的图文情感预测方法,其特征在于,所述crosstransformer模块包括依次连接的输入层、第一预设个数个编码器、第二预设个数个交换层、第三预设个数个编码器和输出层。

5....

【专利技术属性】
技术研发人员:程渤曾风临陈俊亮
申请(专利权)人:北京邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1