【技术实现步骤摘要】
本专利技术涉及自然语言处理，特别涉及一种多模态嘲讽检测方法、装置、计算机设备以及存储介质。
技术介绍
1、在社交媒体上，人们经常使用嘲讽来表达他们的看法，有时候这种表达方式可以很幽默，通过嘲讽检测，可以更好地理解社交媒体上的言论，并推断出人们的真实情感和观点，在社交媒体平台上可以通过嘲讽检测，可以更好地理解用户发表的言论，并推断出人们的真实情感和观点。
2、目前的多模态嘲讽检测方法，通常采用文本编码器和图像编码器，以分别获取文本和图像的表示，并利用注意力机制或交互图作为多模态编码器，将获得的文本和图像的表示融合在一起，以更有效地建模不同模态之间的关系，然而，上述方法未能充分考虑到由于表示和粒度的差异而导致的视觉和语言模态之间的差距问题，并且由于图像通常包含形状、颜色和纹理等细粒度信息，上述方法也未充分考虑到文本和图像传达的信息在粒度级别上存在的显著差异，导致了多模态嘲讽检测的准确性的下降。
技术实现思路
1、基于此，本专利技术提供一种多模态嘲讽检测方法、装置、计算机设备以及存储介质，采用图文对齐以及粒度对齐的方法，对文本和图像表示进行重构，充分考虑到了视觉和语言模态之间的差距问题以及文本和图像传达的信息在粒度级别上存在的差异问题，充分利用文本特征信息以及视觉特征信息，构建跨模态特征表示，有效的弥合不同模态间的语义鸿沟，提高多模态嘲讽检测的精准性以及效率。该技术方法如下：
2、第一方面，本申请实施例提供了一种多模态嘲讽检测方法，包括以下步骤：
3、
4、将所述待测文档数据输入至所述编码模块中，分别对所述待测文本以及待测图像进行编码处理，获得文本表示以及视觉表示；
5、将所述文本表示以视觉表示输入至所述图文对齐模块中进行图文对齐，获得文本对齐表示以及视觉对齐表示；
6、将所述文本对齐表示以及视觉对齐表示输入至粒度对齐模块中进行重构，获得文本重构表示以及视觉重构表示；
7、将所述文本重构表示以及视觉重构表示输入至所述跨模态交互模块中进行特征交互，获得跨模态特征表示；
8、将所述跨模态特征表示输入至所述嘲讽检测模块中进行嘲讽检测，获得所述待测文档数据的嘲讽检测结果。
9、第二方面，本申请实施例提供了一种多模态嘲讽检测装置，包括：
10、数据获取模块，用于获得待测文档数据以及预设的多模态嘲讽检测模型，其中，所述待测文档数据包括待测文本以及待测图像，所述多模态嘲讽检测模型包括编码模块、图文对齐模块、粒度对齐模块、跨模态交互模块以及嘲讽检测模块；
11、编码模块，用于将所述待测文档数据输入至所述编码模块中，分别对所述待测文本以及待测图像进行编码处理，获得文本表示以及视觉表示；
12、对齐模块，用于将所述文本表示以视觉表示输入至所述图文对齐模块中进行图文对齐，获得文本对齐表示以及视觉对齐表示；
13、重构模块，用于将所述文本对齐表示以及视觉对齐表示输入至粒度对齐模块中进行重构，获得文本重构表示以及视觉重构表示；
14、跨模态特征提取模块，用于将所述文本重构表示以及视觉重构表示输入至所述跨模态交互模块中进行特征交互，获得跨模态特征表示；
15、嘲讽检测模块，用于将所述跨模态特征表示输入至所述嘲讽检测模块中进行嘲讽检测，获得所述待测文档数据的嘲讽检测结果。
16、第三方面，本申请实施例提供了一种计算机设备，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述计算机程序被所述处理器执行时实现如第一方面所述的多模态嘲讽检测方法的步骤。
17、第四方面，本申请实施例提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的多模态嘲讽检测方法的步骤。
18、在本实施例中，提供一种多模态嘲讽检测方法、装置、计算机设备以及存储介质，采用图文对齐以及粒度对齐的方法，对文本和图像表示进行重构，充分考虑到了视觉和语言模态之间的差距问题以及文本和图像传达的信息在粒度级别上存在的差异问题，充分利用文本特征信息以及视觉特征信息，构建跨模态特征表示，有效的弥合不同模态间的语义鸿沟，提高多模态嘲讽检测的精准性以及效率。
19、为了更好地理解和实施，下面结合附图详细说明本专利技术。
本文档来自技高网...【技术保护点】
1.一种多模态嘲讽检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的多模态嘲讽检测方法，其特征在于，所述将所述待测文档数据输入至所述编码模块中，分别对所述待测文本以及待测图像进行编码处理，获得文本表示以视觉表示，包括步骤：
3.根据权利要求2所述的多模态嘲讽检测方法，其特征在于，所述将所述文本表示以视觉表示输入至所述图文对齐模块中进行图文对齐，获得文本对齐表示以及视觉对齐表示之前，包括步骤：训练所述图文对齐模块，所述训练所述图文对齐模块，包括步骤：
4.根据权利要求3所述的多模态嘲讽检测方法，其特征在于，所述采用相似度计算方法，根据若干个所述训练文档数据的起始文本全局特征向量、动量起始文本全局特征向量、起始视觉全局特征向量以及动量起始视觉全局特征向量，构建若干个所述训练文档数据的文本到图像相似度数据以及图像到文本相似度数据，包括步骤：
5.根据权利要求2所述的多模态嘲讽检测方法，其特征在于，所述将所述文本对齐表示以及视觉对齐表示输入至粒度对齐模块中进行重构，获得文本重构表示以及视觉重构表示，包括步骤：
6.根
7.根据权利要求5所述的多模态嘲讽检测方法，其特征在于：所述跨模态特征表示包括图像感知的文本特征以及文本感知的视觉特征；
8.根据权利要求7所述的多模态嘲讽检测方法，其特征在于，所述将所述跨模态特征表示输入至所述嘲讽检测模块中进行嘲讽检测，获得所述待测文档数据的嘲讽检测结果，包括步骤：
9.一种多模态嘲讽检测装置，其特征在于，包括：
10.一种计算机设备，其特征在于，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的多模态嘲讽检测方法的步骤。
...【技术特征摘要】
1.一种多模态嘲讽检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的多模态嘲讽检测方法，其特征在于，所述将所述待测文档数据输入至所述编码模块中，分别对所述待测文本以及待测图像进行编码处理，获得文本表示以视觉表示，包括步骤：
3.根据权利要求2所述的多模态嘲讽检测方法，其特征在于，所述将所述文本表示以视觉表示输入至所述图文对齐模块中进行图文对齐，获得文本对齐表示以及视觉对齐表示之前，包括步骤：训练所述图文对齐模块，所述训练所述图文对齐模块，包括步骤：
4.根据权利要求3所述的多模态嘲讽检测方法，其特征在于，所述采用相似度计算方法，根据若干个所述训练文档数据的起始文本全局特征向量、动量起始文本全局特征向量、起始视觉全局特征向量以及动量起始视觉全局特征向量，构建若干个所述训练文档数据的文本到图像相似度数据以及图像到文本相似度数据，包括步骤：
5.根据权利要求2所述的多模态嘲讽检测方法，其特征在于，所述将所述文本对齐表示以及视觉对齐表示输...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。