开放域社会事件分类方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术提供一种开放域社会事件分类方法、装置、电子设备和存储介质，涉及人工智能技术领域，所述方法包括：获取社会事件目标数据；将社会事件目标数据输入开放域社会事件分类模型，输出社会事件目标数据对应的分类类别；其中，分类类别是基于社会事件目标数据的至少两个模态特征融合得到的多模态融合特征确定的，多模态融合特征用于表征各模态特征之间的跨模态语义关系，开放域社会事件分类模型的开放域分类损失函数是基于混合分类损失函数、未知类焦点损失函数和不确定性损失函数确定的。本发明专利技术可基于跨模态语义关系，实现包括已知类和未知类的开放域社会事件分类。未知类的开放域社会事件分类。未知类的开放域社会事件分类。

【技术实现步骤摘要】
开放域社会事件分类方法、装置、电子设备和存储介质


[0001]本专利技术涉及人工智能
，尤其涉及一种开放域社会事件分类方法、装置、电子设备和存储介质。

技术介绍

[0002]随着互联网和多媒体的快速发展，人们可以通过各种社交媒体平台在线接收和发送社交媒体消息。同时，社交媒体上的热门事件可以通过转发和评论等用户交互迅速传播到世界各地。大量具有如图像、视频和文本等多种模态的社交媒体事件在互联网上传播，这意味着从海量社交媒体数据中自动挖掘和总结社会事件热点话题的重要性。如何对社会事件进行挖掘和分类也是信息推荐、搜索引擎和其他一些智能系统的核心问题之一。因此，对社会事件分类的研究具有重要意义。
[0003]现有技术中，社会事件分类方法主要依赖于一个封闭世界的假设，即测试出的类别必须出现在训练过程中。社会事件分类方法一般包括：(1)传统手工方法，通过手工特征提取对社会事件进行分类，然而，手工特征提取中人类主观性较强，且无法获取深层语义特征，导致分类准确度较低；(2)深度神经网络方法，通过简单地将不同模态特征连接起来形成多模态事件特征，进而进行社会事件分类，忽略了不同模态的细粒度的特征信息以及跨模态语义关系，导致分类准确度较低。

技术实现思路

[0004]本专利技术提供一种开放域社会事件分类方法、装置、电子设备和存储介质，用以解决现有技术中分类准确度较低的缺陷，基于跨模态语义关系，实现包括已知类和未知类的开放域社会事件分类。
[0005]本专利技术提供一种开放域社会事件分类方法，包括：/>[0006]获取社会事件目标数据；
[0007]将所述社会事件目标数据输入开放域社会事件分类模型，输出所述社会事件目标数据对应的分类类别；
[0008]其中，所述分类类别是基于所述社会事件目标数据的至少两个模态特征融合得到的多模态融合特征确定的，所述多模态融合特征用于表征各所述模态特征之间的跨模态语义关系，所述开放域社会事件分类模型的开放域分类损失函数是基于混合分类损失函数、未知类焦点损失函数和不确定性损失函数确定的。
[0009]根据本专利技术提供的开放域社会事件分类方法，所述开放域社会事件分类模型是基于以下步骤训练得到的：
[0010]构建社会事件训练数据集，所述社会事件训练数据集中每个社会事件训练数据均包括至少两个相匹配的社会事件模态数据和所述社会事件训练数据对应的模态标签，所述社会事件训练数据集包括已知类训练数据和未知类训练数据；
[0011]针对每个所述社会事件训练数据，确定各所述社会事件模态数据对应的模态特
征；
[0012]将各所述模态特征输入多模态掩码网络，确定各所述模态特征融合后的多模态融合特征；
[0013]基于各所述社会事件训练数据、各所述社会事件训练数据对应的标签和所述多模态融合特征，对初始开放域社会事件分类模型进行监督训练，得到所述开放域社会事件分类模型。
[0014]根据本专利技术提供的开放域社会事件分类方法，所述未知类训练数据是基于以下步骤得到的：
[0015]基于所述已知类训练数据，确定混合样本池；
[0016]从所述混合样本池中，不放回地随机获取任意两个所述已知类训练数据；
[0017]将所述任意两个所述已知类训练数据对应的各所述社会事件模态数据进行互换，确定未知类训练数据。
[0018]根据本专利技术提供的开放域社会事件分类方法，所述确定各所述模态特征融合后的多模态融合特征，包括：
[0019]针对每个所述模态特征，确定以所述模态特征作为查询的模态融合特征；
[0020]将各所述模态融合特征进行融合，得到所述多模态融合特征。
[0021]根据本专利技术提供的开放域社会事件分类方法，所述确定以所述模态特征作为查询的模态融合特征，包括：
[0022]针对每个所述模态特征，基于多头注意力机制，确定所述模态特征对应的键值对；
[0023]基于掩码矩阵和所述键值对，确定以所述模态特征作为查询的模态融合特征，所述掩码矩阵用于过滤所述模态融合特征中的冗余信息。
[0024]根据本专利技术提供的开放域社会事件分类方法，所述掩码矩阵是基于以下步骤确定的：
[0025]确定各所述模态特征之间的语义相似度；
[0026]分别将各所述语义相似度与相似度阈值进行比较，确定比较结果；
[0027]基于所述比较结果，确定各所述模态特征对应的掩码矩阵。
[0028]根据本专利技术提供的开放域社会事件分类方法，所述开放域分类损失函数是基于以下步骤确定的：
[0029]分别确定所述已知类训练数据对应的已知类分类分数和未知类训练数据对应的未知类分类分数；
[0030]基于所述已知类分类分数和所述未知类分类分数，确定所述混合分类损失函数；
[0031]基于所述未知类分类分数，确定所述未知类焦点损失函数；
[0032]基于所述已知类分类分数，确定所述不确定性损失函数；
[0033]分别确定所述混合分类损失函数、所述未知类焦点损失函数和所述不确定性损失函数对应的权重；
[0034]基于所述权重，对所述混合分类损失函数、所述未知类焦点损失函数和所述不确定性损失函数进行加权求和，确定所述开放域分类损失函数。
[0035]本专利技术还提供一种开放域社会事件分类装置，包括：
[0036]获取模块，用于获取社会事件目标数据；
[0037]输出模块，用于将所述社会事件目标数据输入开放域社会事件分类模型，输出所述社会事件目标数据对应的分类类别；
[0038]其中，所述分类类别是基于所述社会事件目标数据的至少两个模态特征融合得到的多模态融合特征确定的，所述多模态融合特征用于表征各所述模态特征之间的跨模态语义关系，所述开放域社会事件分类模型的开放域分类损失函数是基于混合分类损失函数、未知类焦点损失函数和不确定性损失函数确定的。
[0039]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述开放域社会事件分类方法。
[0040]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述开放域社会事件分类方法。
[0041]本专利技术提供的开放域社会事件分类方法、装置、电子设备和存储介质，通过获取社会事件目标数据，并对社会事件目标数据至少两个模态特征进行融合，利用不同模态特征之间的细粒度语义关联，对至少两个模态特征进行融合，得到多模态融合特征，以得到各模态特征之间的跨模态语义关系，进一步确定社会事件目标数据对应的分类类别，不同模态特征进行相互补充和增强，以提高分类准确度；同时，用于分类的开放域社会事件分类模型中的开放域损失函数混合了混合分类损失函数、未知类焦点损失函数和不确定性损失函数，实现对已知类别事件或未知类别事件的开放域社会事件分类。
附图说明
[0042]为了更清本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种开放域社会事件分类方法，其特征在于，包括：获取社会事件目标数据；将所述社会事件目标数据输入开放域社会事件分类模型，输出所述社会事件目标数据对应的分类类别；其中，所述分类类别是基于所述社会事件目标数据的至少两个模态特征融合得到的多模态融合特征确定的，所述多模态融合特征用于表征各所述模态特征之间的跨模态语义关系，所述开放域社会事件分类模型的开放域分类损失函数是基于混合分类损失函数、未知类焦点损失函数和不确定性损失函数确定的。2.根据权利要求1所述的开放域社会事件分类方法，其特征在于，所述开放域社会事件分类模型是基于以下步骤训练得到的：构建社会事件训练数据集，所述社会事件训练数据集中每个社会事件训练数据均包括至少两个相匹配的社会事件模态数据和所述社会事件训练数据对应的模态标签，所述社会事件训练数据集包括已知类训练数据和未知类训练数据；针对每个所述社会事件训练数据，确定各所述社会事件模态数据对应的模态特征；将各所述模态特征输入多模态掩码网络，确定各所述模态特征融合后的多模态融合特征；基于各所述社会事件训练数据、各所述社会事件训练数据对应的标签和所述多模态融合特征，对初始开放域社会事件分类模型进行监督训练，得到所述开放域社会事件分类模型。3.根据权利要求2所述的开放域社会事件分类方法，其特征在于，所述未知类训练数据是基于以下步骤得到的：基于所述已知类训练数据，确定混合样本池；从所述混合样本池中，不放回地随机获取任意两个所述已知类训练数据；将所述任意两个所述已知类训练数据对应的各所述社会事件模态数据进行互换，确定未知类训练数据。4.根据权利要求2或3所述的开放域社会事件分类方法，其特征在于，所述确定各所述模态特征融合后的多模态融合特征，包括：针对每个所述模态特征，确定以所述模态特征作为查询的模态融合特征；将各所述模态融合特征进行融合，得到所述多模态融合特征。5.根据权利要求4所述的开放域社会事件分类方法，其特征在于，所述确定以所述模态特征作为查询的模态融合特征，包括：针对每个所述模态特征，基于多头注意力机制，确定所述模态特征对应的键...

【专利技术属性】
技术研发人员：钱胜胜，徐常胜，薛迪展，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：