一种用于灾害事件检测的多模态对抗模型的训练方法和装置制造方法及图纸

本发明专利技术涉及网络信息分析技术领域，具体涉及一种用于灾害事件检测的多模态对抗模型的训练方法和装置。该方法包括：获取社交媒体数据；抽取所述社交媒体数据的图像特征和文本特征；对所述社交媒体数据的图像特征和文本特征进行预处理；将预处理后的所述社交媒体数据的图像特征和文本特征，输入进多模态对抗模型，更新多模态特征提取单元、信息识别单元和对抗训练单元的参数集。本发明专利技术利用多模态特征提取单元和对抗训练单元之间的极大极小博弈，提高了卷积神经网络模型在利用社交媒体数据来检测出灾害事件时的效率和准确度。

【技术实现步骤摘要】
一种用于灾害事件检测的多模态对抗模型的训练方法和装置
本专利技术涉及网络信息分析
，具体涉及一种用于灾害事件检测的多模态对抗模型的训练方法和装置。
技术介绍
地震、火灾、洪水等灾害给人们的生活带来了巨大的伤害。一方面使人们的生命、财产遭到严重的损失；另一方面在灾难发生时，给受灾群众的心理也带来创伤。因此，在自然和人为灾害期间，救援组织需要及时向受影响的人们提供援助。但是，由于受灾群众的位置信息有限，对于救援组织而言，这项任务是非常困难的。当前，在突发灾害事件发生时，大量用户倾向于在社交媒体(如微博、推特等)上发布各种信息。受灾群众和目击者通过文本和图像信息在这些平台分享自己的状态，传播人员或设施受损信息并寻求帮助。社交媒体生成的这些数据实时更新且广泛传播，可帮助政府相关部门和救援组织获取可操作的信息以挽救生命和修复基础设施。因此，如何在海量社交媒体数据中检测出与灾害事件相关的信息，成为了突发灾害事件处理中不容忽视的主题。传统的事件检测方法一般只考虑文本一种模态的信息，然而社交媒体上包含大量图片、文字等多模态信息。较少研究同时使用社本文档来自技高网...

【技术保护点】
1.一种用于灾害事件检测的多模态对抗模型的训练方法，其特征在于，所述方法包括：/n获取社交媒体数据；/n抽取所述社交媒体数据的图像特征和文本特征；/n对所述社交媒体数据的图像特征和文本特征进行预处理；/n将预处理后的所述社交媒体数据的图像特征和文本特征，输入进多模态对抗模型，以更新所述多模态对抗模型中的多模态特征提取单元、信息识别单元和对抗训练单元的参数集；/n其中，所述多模态特征提取单元的输出层为第一全连接层，所述信息识别单元的输入层为第二全连接层，所述对抗训练单元的输入层为第三全连接层；所述第一全连接层分别连接所述第二全连接层和所述第三全连接层；/n所述多模态特征提取单元包括图像多模态特征...

【技术特征摘要】
1.一种用于灾害事件检测的多模态对抗模型的训练方法，其特征在于，所述方法包括：
获取社交媒体数据；
抽取所述社交媒体数据的图像特征和文本特征；
对所述社交媒体数据的图像特征和文本特征进行预处理；
将预处理后的所述社交媒体数据的图像特征和文本特征，输入进多模态对抗模型，以更新所述多模态对抗模型中的多模态特征提取单元、信息识别单元和对抗训练单元的参数集；
其中，所述多模态特征提取单元的输出层为第一全连接层，所述信息识别单元的输入层为第二全连接层，所述对抗训练单元的输入层为第三全连接层；所述第一全连接层分别连接所述第二全连接层和所述第三全连接层；
所述多模态特征提取单元包括图像多模态特征提取层、文本多模态特征提取层和多模态特征连接层；所述图像多模态特征提取层用于提取所述社交媒体数据的图像特征的图像多模态特征；所述文本多模态特征提取层用于提取所述社交媒体数据的文本特征的文本多模态特征；所述多模态特征连接层用于将所述图像多模态特征和所述文本多模态特征连接为所述社交媒体数据的多模态特征；
所述所述信息识别单元包括Softmax层；所述Softmax层用于根据所述社交媒体数据的多模态特征，生成所述社交媒体数据与任何灾害事件无关的概率；所述Softmax层还用于根据第一损失函数，更新所述多模态特征提取单元和所述信息识别单元的参数集；所述第一损失函数根据所述社交媒体数据与任何灾害事件无关的概率构建；
所述对抗训练单元包括对抗训练层；所述对抗训练层用于根据第二损失函数，更新所述对抗训练单元的参数集；所述第二损失函数根据所述多模态特征提取单元的输出值和所述信息识别单元的识别结果构建。


2.根据权利要求1所述的用于灾害事件检测的多模态对抗模型的训练方法，其特征在于，所述提取所述社交媒体数据的图像特征的图像多模态特征，包括：
将所述所述社交媒体数据的图像特征输入进训练好的VGG-19网络模型，获得所述社交媒体数据的图像特征的图像多模态特征。


3.根据权利要求1所述的用于灾害事件检测的多模态对抗模型的训练方法，其特征在于，所述提取所述社交媒体数据的文本特征的文本多模态特征，包括：
将所述社交媒体数据的文本特征转化为输入文本；所述输入文本包括字符向量，分段向量和位置向量；
对所述输入文本中的字符向量，分段向量和位置向量按位求和，获得BERT模型的编码层输入量；
利用多头注意力和自注意力机制将所述BERT模型的编码层输入量转化为所述输入文本的隐藏状态集；
根据所述输入文本的隐藏状态集，获取所述社交媒体数据的文本特征的文本多模态特征。


4.根据权利要求1所述的用于灾害事件检测的多模态对抗模型的训练方法，其特征在于，所述根据第一损失函数，更新所述多模态特征提取单元和所述信息识别单元的参数集，包括：
计算所述多模态特征提取单元的最优参数集和所述信息识别单元的最优参数集具体的计算公式为：



其中，为所述第一损失函数，为期望函数，Yd为表示社交媒体数据x是否与灾害事件有关的标签，p(x)为社交媒体数据x与任何灾害事件无关的概率，θF为所述多模态特征提取单元的参数集，θD为所述信息识别单元的参数集；
将所述多模态特征提取单元的最优参数集更新为所述多模态特征提取单元的参数集；
将所述信息识别单元的最优参数集更新为所述信息识别单元的参数集。


5.根据权利要求4所述的用于灾害事件检测的多...

【专利技术属性】
技术研发人员：高望，邓宏涛，朱珣，刘哲，王煜炜，曾凡综，
申请(专利权)人：江汉大学，
类型：发明
国别省市：湖北;42