【技术实现步骤摘要】
本专利技术涉及自然语言处理，特别涉及一种多模态嘲讽检测方法、装置、计算机设备以及存储介质。
技术介绍
1、嘲讽是一种普遍存在的语言现象，表示字面意思与隐含意图之间的差异。通过嘲讽检测，可以更好地理解社交媒体上的言论，并推断出人们的真实情感和观点，在社交媒体平台上可以通过嘲讽检测，可以更好地理解用户发表的言论，并推断出人们的真实情感和观点。
2、目前的多模态嘲讽检测方法，通常采用融合文本和视觉特征的多模态策略，以提高多模态嘲讽检测性能，然而，上述方法未能充分考虑到单模态文本级和图像级嘲讽特征的重要性，以及所有层次的嘲讽特征对决策过程的贡献并非都是相同的，导致了多模态嘲讽检测的准确性的下降。
技术实现思路
1、基于此，本专利技术提供一种多模态嘲讽检测方法、装置、计算机设备以及存储介质，采用单模态门控注意力特征提取方法，提取文本级以及图像级的门控自注意力特征表示，采用跨模态图推理方法，捕捉局部配准和全局配准之间的不一致性关系，以识别跨模态级的图推理特征，结合文本级、图像级的门控自注意力特征表示以及跨模态级的图推理特征进行嘲讽识别，从而识别出更复杂的跨模态嘲讽特征和跨模态级的不一致性信息对文本和图像表示进行重构，充分考虑到了文本和图像模态之间的差距问题以及文本和图像传达的信息存在的不一致性问题，提高多模态嘲讽检测的精准性以及效率。该技术方法如下：
2、第一方面，本申请实施例提供了一种多模态嘲讽检测方法，包括以下步骤：
3、获得待测文档数据以及预设的多模态
4、将所述待测文档数据输入至所述编码模块中，分别对所述待测文本以及待测图像进行编码处理，获得文本编码表示以及视觉编码表示；
5、将所述文本编码表示以视觉编码表示输入至所述门控自注意力模块中进行特征提取，获得文本门控自注意力特征表示以及视觉门控自注意力特征表示；
6、将所述文本编码表示以及视觉编码表示输入至所述跨模态特征配准模块中进行特征配准，获得跨模态局部特征配准表示以及跨模态全局特征配准表示；
7、将所述跨模态局部特征配准表示以及跨模态全局特征配准表示输入至所述跨模态图推理模块中进行特征推理，获得跨模态图推理特征表示；
8、将所述跨模态图推理特征表示、文本门控自注意力特征表示以及视觉门控自注意力特征表示输入至所述模态划分权重计算模块中进行权重计算，获得模态划分权重参数矩阵；
9、将所述跨模态图推理特征表示、文本门控自注意力特征表示、视觉门控自注意力特征表示以及模态划分权重参数矩阵输入至所述嘲讽检测模块中进行嘲讽检测，获得所述待测文档数据的嘲讽检测结果。
10、第二方面，本申请实施例提供了一种多模态嘲讽检测装置，包括：
11、数据获取模块，用于获得待测文档数据以及预设的多模态嘲讽检测模型，其中，所述待测文档数据包括待测文本以及待测图像，所述多模态嘲讽检测模型包括编码模块、门控自注意力模块、跨模态特征配准模块、跨模态图推理模块、模态划分权重计算模块以及嘲讽检测模块；
12、文档编码模块，用于将所述待测文档数据输入至所述编码模块中，分别对所述待测文本以及待测图像进行编码处理，获得文本编码表示以及视觉编码表示；
13、注意力提取模块，用于将所述文本编码表示以视觉编码表示输入至所述门控自注意力模块中进行特征提取，获得文本门控自注意力特征表示以及视觉门控自注意力特征表示；
14、特征配准模块，用于将所述文本编码表示以及视觉编码表示输入至所述跨模态特征配准模块中进行特征配准，获得跨模态局部特征配准表示以及跨模态全局特征配准表示；
15、图推理模块，用于将所述跨模态局部特征配准表示以及跨模态全局特征配准表示输入至所述跨模态图推理模块中进行特征推理，获得跨模态图推理特征表示；
16、权重计算模块，用于将所述跨模态图推理特征表示、文本门控自注意力特征表示以及视觉门控自注意力特征表示输入至所述模态划分权重计算模块中进行权重计算，获得模态划分权重参数矩阵；
17、检测模块，用于将所述跨模态图推理特征表示、文本门控自注意力特征表示、视觉门控自注意力特征表示以及模态划分权重参数矩阵输入至所述嘲讽检测模块中进行嘲讽检测，获得所述待测文档数据的嘲讽检测结果。
18、第三方面，本申请实施例提供了一种计算机设备，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述计算机程序被所述处理器执行时实现如第一方面所述的多模态嘲讽检测方法的步骤。
19、第四方面，本申请实施例提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的多模态嘲讽检测方法的步骤。
20、在本实施例中，提供一种多模态嘲讽检测方法、装置、计算机设备以及存储介质，采用单模态门控注意力特征提取方法，提取文本级以及图像级的门控自注意力特征表示，采用跨模态图推理方法，捕捉局部配准和全局配准之间的不一致性关系，以识别跨模态级的图推理特征，结合文本级、图像级的门控自注意力特征表示以及跨模态级的图推理特征进行嘲讽识别，从而识别出更复杂的跨模态嘲讽特征和跨模态级的不一致性信息对文本和图像表示进行重构，充分考虑到了文本和图像模态之间的差距问题以及文本和图像传达的信息存在的不一致性问题，提高多模态嘲讽检测的精准性以及效率。
21、为了更好地理解和实施，下面结合附图详细说明本专利技术。
本文档来自技高网...【技术保护点】
1.一种多模态嘲讽检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的多模态嘲讽检测方法，其特征在于：所述编码模块包括词嵌入模块以及目标检测模块；
3.根据权利要求2所述的多模态嘲讽检测方法，其特征在于，所述将所述文本编码表示以视觉编码表示输入至所述门控自注意力模块中进行特征提取，获得文本门控自注意力特征表示以及视觉门控自注意力特征表示，包括步骤：
4.根据权利要求3所述的多模态嘲讽检测方法，其特征在于，所述将所述文本门控自注意力特征表示以及视觉门控自注意力特征表示输入至所述跨模态特征配准模块中进行特征配准，获得跨模态特征配准表示，包括步骤：
5.根据权利要求4所述的多模态嘲讽检测方法，其特征在于，所述将所述文本门控自注意力特征表示以及视觉门控自注意力特征表示输入至所述跨模态特征配准模块中进行特征配准，获得跨模态特征配准表示，包括步骤：
6.根据权利要求5所述的多模态嘲讽检测方法，其特征在于，所述将所述跨模态图推理特征表示、文本门控自注意力特征表示以及视觉门控自注意力特征表示输入至所述模态划分权重计算模块中进行
7.根据权利要求6所述的多模态嘲讽检测方法，其特征在于，所述将所述跨模态图推理特征表示、文本门控自注意力特征表示、视觉门控自注意力特征表示以及模态划分权重参数矩阵输入至所述嘲讽检测模块中进行嘲讽检测，获得所述待测文档数据的嘲讽检测结果，包括步骤：
8.根据权利要求7所述的多模态嘲讽检测方法，其特征在于，还包括步骤：训练所述多模态嘲讽检测模型，所述多模态嘲讽检测模型，包括步骤：
9.一种多模态嘲讽检测装置，其特征在于，包括：
10.一种计算机设备，其特征在于，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的多模态嘲讽检测方法的步骤。
...【技术特征摘要】
1.一种多模态嘲讽检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的多模态嘲讽检测方法，其特征在于：所述编码模块包括词嵌入模块以及目标检测模块；
3.根据权利要求2所述的多模态嘲讽检测方法，其特征在于，所述将所述文本编码表示以视觉编码表示输入至所述门控自注意力模块中进行特征提取，获得文本门控自注意力特征表示以及视觉门控自注意力特征表示，包括步骤：
4.根据权利要求3所述的多模态嘲讽检测方法，其特征在于，所述将所述文本门控自注意力特征表示以及视觉门控自注意力特征表示输入至所述跨模态特征配准模块中进行特征配准，获得跨模态特征配准表示，包括步骤：
5.根据权利要求4所述的多模态嘲讽检测方法，其特征在于，所述将所述文本门控自注意力特征表示以及视觉门控自注意力特征表示输入至所述跨模态特征配准模块中进行特征配准，获得跨模态特征配准表示，包括步骤：
6.根据权利要求5所述的多模态嘲讽检测方...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。