一种信息监测方法及装置、电子设备、存储介质制造方法及图纸

本申请提供一种信息监测方法及装置、电子设备、存储介质。信息监测方法，包括：获取待监测信息；所述待监测信息包括多种模态的信息；确定所述多种模态的信息分别对应的模态信息特征；每种模态的信息对应至少一种模态信息特征；根据所述多种模态的信息分别对应的模态信息特征和预先训练好的多模态信息识别模型确定所述待监测信息的监测结果；所述监测结果用于表征所述待监测信息是否为敏感信息。该信息监测方法用以实现敏感信息的准确监测。监测方法用以实现敏感信息的准确监测。监测方法用以实现敏感信息的准确监测。

【技术实现步骤摘要】
一种信息监测方法及装置、电子设备、存储介质


[0001]本申请涉及信息安全
，具体而言，涉及一种信息监测方法及装置、电子设备、存储介质。

技术介绍

[0002]随着互联网技术的发展，互联网中每时每刻都在产生或者传播大量的信息，在这些信息中，一些是正常信息，还有一些信息是不能随意产生或者传播的敏感信息（例如违规信息）。为了净化网络环境和维护网络安全，需要对敏感信息进行监测。
[0003]现有技术中，在采集到待监测的信息之后，将待监测的信息输入到网络模型中，由网络模型输出监测结果。但是，现有的网络模型仅能针对单模态的信息进行监测，不能保证最终的监测结果的准确性。

技术实现思路

[0004]本申请实施例的目的在于提供一种信息监测方法及装置、电子设备、存储介质，用以实现敏感信息的准确监测。
[0005]第一方面，本申请实施例提供一种信息监测方法，包括：获取待监测信息；所述待监测信息包括多种模态的信息；确定所述多种模态的信息分别对应的模态信息特征；每种模态的信息对应至少一种模态信息特征；根据所述多种模态的信息分别对应的模态信息特征和预先训练好的多模态信息识别模型确定所述待监测信息的监测结果；所述监测结果用于表征所述待监测信息是否为敏感信息；其中，所述预先训练好的多模态信息识别模型包括：特征融合层，用于将多种模态的信息分别对应的模态信息特征进行融合；所述特征融合层包括：单模态特征处理层、多模态特征处理层和特征整合层；所述单模态特征处理层用于对各种模态的信息对应的模态信息特征分别进行处理；所述多模态特征处理层包括第一模态特征处理层和第二模态特征处理层，所述第一模态特征处理层用于基于任意两种模态信息之间的关联关系对该两种模态的信息分别对应的模态信息特征进行处理，所述第二模态特征处理层用于基于任意三种模态信息之间的关联关系对该三种模态的信息分别对应的模态信息特征进行处理；所述特征整合层用于基于处理后的单模态特征和处理后的多模态信息特征进行特征融合，获得融合特征。
[0006]在本申请实施例中，获取多种模态的待监测信息，并分别提取各种模态的信息对应的模态信息特征，每种模态的信息对应至少一种模态信息特征，这样可以提取到多种模态信息特征，实现待监测信息的全面性特征提取；然后，再利用预先训练好的多模态信息识别模型和多种模态信息特征确定监测结果。相较于现有的基于单模态信息进行监测的方式，能够提取出更全面的特征，进而最终的监测结果也更加准确，实现敏感信息的准确监测。
[0007]作为一种可能的实现方式，所述多种模态的信息包括：图像信息、文本信息、音频信息和视频信息；其中，图像信息对应的模态信息特征为图像特征，文本信息对应的模态信
息特征为文本特征，音频信息对应的模态信息特征为音频特征，视频信息对应的模态信息特征包括图像特征和音频特征。
[0008]在本申请实施例中，通过图像信息、文本信息、音频信息和视频信息，提取出文本特征、图像特征和音频特征这些多模态信息特征，实现全面性的特征提取。
[0009]作为一种可能的实现方式，所述预先训练好的多模态信息识别模型还包括预测层；所述根据所述多种模态的信息分别对应的模态信息特征和预先训练好的多模态信息识别模型确定所述待监测信息的监测结果，包括：通过所述特征融合层将所述多种模态的信息分别对应的模态信息特征进行融合，获得融合特征；通过所述预测层基于所述融合特征确定所述待监测信息的监测结果。
[0010]在本申请实施例中，多模态信息识别模型包括特征融合层和预测层，通过特征融合层，实现多模态信息特征的特征融合，获得融合特征；通过预测层，基于融合特征确定监测结果；实现监测结果的有效且准确的确定。
[0011]作为一种可能的实现方式，所述通过所述特征融合层将所述多种模态的信息分别对应的模态信息特征进行融合，获得融合特征，包括：通过所述单模态特征处理层对各种模态的信息对应的模态信息特征分别进行处理，获得处理后的单模态信息特征；通过所述多模态特征处理层基于所述多种模态的信息之间的关联关系对所述多种模态的信息分别对应的模态信息特征进行处理，获得处理后的多模态信息特征；通过所述特征整合层基于所述处理后的单模态特征和所述处理后的多模态信息特征进行特征融合，获得所述融合特征。
[0012]在本申请实施例中，特征融合层包括单模态特征处理层、多模态特征处理层和特征整合层；通过单模态特征处理层，实现单模态信息特征的处理，通过多模态特征处理层，实现多模态特征的结合处理；最终再结合处理后的单模态特征和多模态特征，通过特征整合层实现特征的有效融合，使融合特征既保留单模态特征，还增加多模态特征。
[0013]作为一种可能的实现方式，所述信息监测方法还包括：获取所述特征融合层输出的所述融合特征；根据所述待监测信息的监测结果确定所述融合特征的分类标识；根据所述融合特征的分类标识存储所述融合特征；存储的融合特征用于对所述预先训练好的多模态信息识别模型进行优化训练。
[0014]在本申请实施例中，通过获取融合特征，并为其确定对应的分类标识，使具有分类标识的融合特征可以用于多模态信息识别模型的优化训练，不断提高多模态信息识别模型的精度。
[0015]作为一种可能的实现方式，所述预先训练好的多模态信息识别模型包括：不同模态的信息分别对应的特征提取层；所述确定所述多种模态的信息分别对应的模态信息特征，包括：通过各种模态的信息分别对应的特征提取层确定各种模态的信息分别对应的模态信息特征。
[0016]在本申请实施例中，通过多模态信息识别模型中的特征提取层，实现各种模态的信息分别对应的模态信息特征的有效提取。
[0017]作为一种可能的实现方式，所述信息监测方法还包括：获取训练数据集；所述训练数据集中包括：多种模态的样本信息分别对应的样本信息特征以及各个样本信息特征对应的分类标识，所述分类标识用于表征样本信息特征对应的样本信息是否为敏感信息；基于
所述训练数据集对初始的多模态信息识别模型进行训练，获得训练好的多模态信息识别模型。
[0018]在本申请实施例中，通过多种模态的样本信息分别对应的样本信息特征以及各个样本信息特征对应的分类标识作为训练数据集，对多模态信息识别模型进行训练，使训练好的多模态信息识别模型可以基于多模态信息特征确定准确的监测结果。
[0019]第二方面，本申请实施例提供一种信息监测装置，包括：用于实现第一方面以及第一方面的任意一种可能的实现方式中所述的信息监测方法的各个功能模块。
[0020]第三方面，本申请实施提供一种电子设备，包括：处理器；以及与所述处理器通信连接的存储器；所述存储器中存储有计算机指令，所述计算机指令被计算机运行时，执行如第一方面以及第一方面的任意一种可能的实现方式中所述的信息监测方法。
[0021]第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机运行时，执行如第一方面以及第一方面的任意一种可能的实现方式中所述的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息监测方法，其特征在于，包括：获取待监测信息；所述待监测信息包括多种模态的信息；确定所述多种模态的信息分别对应的模态信息特征；每种模态的信息对应至少一种模态信息特征；根据所述多种模态的信息分别对应的模态信息特征和预先训练好的多模态信息识别模型确定所述待监测信息的监测结果；所述监测结果用于表征所述待监测信息是否为敏感信息；其中，所述预先训练好的多模态信息识别模型包括：特征融合层，用于将多种模态的信息分别对应的模态信息特征进行融合；所述特征融合层包括：单模态特征处理层、多模态特征处理层和特征整合层；所述单模态特征处理层用于对各种模态的信息对应的模态信息特征分别进行处理；所述多模态特征处理层包括第一模态特征处理层和第二模态特征处理层，所述第一模态特征处理层用于基于任意两种模态信息之间的关联关系对该两种模态的信息分别对应的模态信息特征进行处理，所述第二模态特征处理层用于基于任意三种模态信息之间的关联关系对该三种模态的信息分别对应的模态信息特征进行处理；所述特征整合层用于基于处理后的单模态特征和处理后的多模态信息特征进行特征融合，获得融合特征。2.根据权利要求1所述的信息监测方法，其特征在于，所述多种模态的信息包括：图像信息、文本信息、音频信息和视频信息；其中，图像信息对应的模态信息特征为图像特征，文本信息对应的模态信息特征为文本特征，音频信息对应的模态信息特征为音频特征，视频信息对应的模态信息特征包括图像特征和音频特征。3.根据权利要求1或2所述的信息监测方法，其特征在于，所述预先训练好的多模态信息识别模型还包括预测层；所述根据所述多种模态的信息分别对应的模态信息特征和预先训练好的多模态信息识别模型确定所述待监测信息的监测结果，包括：通过所述特征融合层将所述多种模态的信息分别对应的模态信息特征进行融合，获得融合特征；通过所述预测层基于所述融合特征确定所述待监测信息的监测结果。4.根据权利要求3所述的信息监测方法，其特征在于，所述通过所述特征融合层将所述多种模态的信息分别对应的模态信息特征进行融合，获得融合特征，包括：通过所述单模态特征处理层对各种模态的信息对应的模态信息特征分别进行处理，获得处理后的单模态信息特征；通过所述多模态特征处理层基于所述多种模态的信息之间的关联关系对所述多种模态的信息分别对应的模态信息特征进行处理，获得处理后的多模态信息特征；通过所述特征整合层基于所述处理后的单模态特征和所述处理后的多模态信息特征进行特征融合，获得所述融合特征。5.根据权利要求3所述的信息监测方法，其特征在于，所述信息监测方法还包括：获取所述特征融合层输出的所...

【专利技术属性】
技术研发人员：龙胜海，肖雪松，严骊，韩威俊，
申请(专利权)人：成都明途科技有限公司，
类型：发明
国别省市：