一种基于多模态融合算法的舆情风险发现方法技术

本发明专利技术涉及一种基于多模态融合算法的舆情风险发现方法。本发明专利技术可以综合分析多种类型的数据，提高数据挖掘的深度和全面性；可以发掘文本与图片、文本与视频等之间的关联信息，有助于更全面地揭示舆情风险的真实情况；能够整合来自不同模态的信息，其对舆情风险的识别更为准确和可靠，降低了误判和漏判的风险；灵活应用多种舆情风险发现模型，能够根据实际需求进行模型选择和调整；可以开发更精确的风险评估模型，实现对风险等级的判断和预警，提高应对风险的能力；可以应对大量的网络数据和多模态数据处理需求，保证了舆情风险发现的实时性和系统的可扩展性，适应不断变化的网络环境。境。境。

【技术实现步骤摘要】
一种基于多模态融合算法的舆情风险发现方法


[0001]本专利技术涉及网络信息处理
，具体为一种基于多模态融合算法的舆情风险发现方法。

技术介绍

[0002]舆情风险发现技术是一种应用于舆情分析和管理的技术，旨在通过收集、处理和分析大量的网络数据(如新闻、社交媒体、论坛等)，实时发现和预警潜在的舆情风险，从而帮助企业、政府部门等机构及时应对和处理舆情事件，降低潜在的负面影响。
[0003]目前的舆情风险发现技术主要包括数据收集、数据预处理、文本分析、情感分析、舆情风险发现、风险评估和预警、可视化展示，通过以上环节，舆情风险发现技术能够帮助企业和政府部门及时发现潜在的舆情风险，制定有效的应对策略，降低舆情风险对企业和社会的负面影响。但其存在以下几个缺点：1.数据类型单一：现有技术主要处理文本数据，忽略了图片、音频、视频等多种类型的数据，这使得分析结果可能不够全面，无法充分挖掘舆情风险的潜在信息；2.信息利用不充分：在网络环境下，用户表达舆情倾向的方式多种多样，除了文字，还有图片、音频、视频等多种形式。现有技术忽略了这些非文本数据的价值，可能导致舆情风险的误判或漏判；3.模态间关系未充分挖掘：现有技术未充分挖掘不同模态数据之间的关联关系，例如文本与图片、文本与视频等之间的关联信息，这会影响舆情风险发现的准确性；4.分析效果受限：现有技术主要基于文本分析，对于一些涉及视觉、听觉等多种感知的舆情事件，可能无法准确地判断其风险程度，影响分析结果的可靠性。

技术实现思路

[0004]鉴于现有技术中所存在的问题，本专利技术公开了一种基于多模态融合算法的舆情风险发现方法，包括步骤如下：步骤一、数据收集和预处理：从不同来源收集多模态数据，对这些数据进行预处理，包括去除噪声、数据清洗、数据格式转换；步骤二、多模态特征提取：使用深度神经网络来进行多模态特征提取，使用卷积神经网络处理图像数据，使用循环神经网络处理文本数据，使用语音识别算法处理音频；步骤三、多模态融合算法：对于每个模态提取的特征进行归一化，以确保每个特征在相同的尺度下，将不同模态的特征加权融合在一起；步骤四、舆情风险发现模型构建：选择适合当前任务的机器学习算法，并使用多模态融合后的特征作为输入数据进行模型训练和预测；步骤五、舆情风险评估和预警：利用构建好的舆情风险发现模型，对不断收集到的舆情数据进行风险评估，将评估结果按照预先设定的风险级别进行分类，并在发现潜在风险时发出预警信息，以便及时采取应对措施。
[0005]作为本专利技术的一种优选方案，步骤一所述多模态数据包括文本、图片、视频、音频。
[0006]作为本专利技术的一种优选方案，步骤四中所述机器学习算法选用向量机，对高维空
间中的数据进行分类和回归。
[0007]本专利技术的有益效果：本专利技术可以综合分析多种类型的数据，提高数据挖掘的深度和全面性；可以发掘文本与图片、文本与视频等之间的关联信息，有助于更全面地揭示舆情风险的真实情况；能够整合来自不同模态的信息，其对舆情风险的识别更为准确和可靠，降低了误判和漏判的风险；灵活应用多种舆情风险发现模型，能够根据实际需求进行模型选择和调整；可以开发更精确的风险评估模型，实现对风险等级的判断和预警，提高应对风险的能力；可以应对大量的网络数据和多模态数据处理需求，保证了舆情风险发现的实时性和系统的可扩展性，适应不断变化的网络环境。
附图说明
[0008]图1为本专利技术的流程图；
[0009]图2为本专利技术的互联网采集多模态数据。
具体实施方式
[0010]实施例1
[0011]如图1、图2所示，本专利技术的一种基于多模态融合算法的舆情风险发现方法，在风险预警平台构建和使用的过程如下：
[0012]步骤一、提取舆情数据：
[0013]从数据库拉取采集到的多模态舆情数据，包括来自各大网站平台发布的的视频数据、音频数据、文本数据、图片数据，具体提取了十亿的多模态数据。对这些数据进行预处理，包括去除噪声、数据清洗、数据格式转换等。
[0014]去除停用词：去除一些常见的停用词，例如"a"、"an"、"the"等。这些单词在语言处理中没有实际意义，但会影响特征提取和分类的效果。此方法使用自然语言处理库(NLTK)来去除停用词。
[0015]去除噪声：对于图像和音频数据，可能存在一些噪声，这些噪声可能会干扰特征提取和分类的效果。此方法使用高斯滤波去除图像噪声，使用谱减法去除音频噪声。
[0016]平衡数据集：对于分类问题，如果数据集中的类别分布不均匀，可能会导致模型对少数类别的分类效果较差。此方法主要采取欠采样的方法减少较多类别中的数据量。
[0017]数据清洗：在收集数据时，可能存在一些数据质量不好的样本，例如缺失值、异常值等。去除关键字段缺失、关键字段异常、图像没有识别到内容、图片OCR没有识别到文本、音频没有识别到内容的数据。
[0018]步骤二、多模态特征提取：
[0019]模型选择：图像的识别任务主要属于目标检测和识别领域，这里会识别一些舆情相关的敏感信息。此方法使用的CNN模型结构为Faster R
‑
CNN，它包含了一个共享卷积网络和两个分支网络：一个用于分类，另一个用于回归目标框。
[0020]调整参数：
[0021]批量大小(Batch Size)：选择的舆情数据集数据量比较大，所以选择了较大的Batch Size为512，可以有效的减少训练时间。
[0022]迭代次数(Epochs)：从500的迭代次数开始，逐步增加迭代次数到1000的时候，验
证集上的误差开始增加，最终确定了迭代次数为1000。
[0023]学习率(Learning Rate)：之前选择了较大的Batch Size,所以这里选择较小的学习率以保持训练过程的稳定，选择的学习率是0.005。
[0024]正则化(Regularization)：在当前的十亿多模态数据集、批量大小512、迭代次数1000、学习率0.005的条件下，通过交叉验证的方式选取了0.001的正则化参数。
[0025]Dropout：基于上述1、2、3、4的参数选择，最终确定Dropout系数为0.3为最佳选择。
[0026]步骤三、多模态融合算法：
[0027]将不同模态的特征按照一定的比例加权融合在一起。此方法使用线性加权的方式，即将每个模态的特征乘以一个权重因子，并将它们相加得到融合后的特征表示。
[0028]基于模态重要性的加权方案，可以根据具体的任务需求来判断不同模态数据的重要性，然后对模态进行加权，使得在模型训练过程中，不同模态数据对模型的影响程度更加平衡。此方法基于数据设置文本、图片、音频数据的权重分别为0.4、0.4、0.2，然后对这三个模态的数据进行加权。
[0029]步骤四、舆情风险发现模型构建：
[0030]使用多模态特征表示作为输入，以9亿数据作为训练集，1亿数据作为测试集，调整算法模型的参数。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态融合算法的舆情风险发现方法，其特征在于，包括步骤如下：步骤一、数据收集和预处理：从不同来源收集多模态数据，对这些数据进行预处理，包括去除噪声、数据清洗、数据格式转换；步骤二、多模态特征提取：使用深度神经网络来进行多模态特征提取，使用卷积神经网络处理图像数据，使用循环神经网络处理文本数据，使用语音识别算法处理音频；步骤三、多模态融合算法：对于每个模态提取的特征进行归一化，以确保每个特征在相同的尺度下，将不同模态的特征加权融合在一起；步骤四、舆情风险发现模型构建：选择适合当前任务的机器学习算法，并使用多模...

【专利技术属性】
技术研发人员：陈学言，田平，王波，王垒，
申请(专利权)人：广东数源智汇科技有限公司，
类型：发明
国别省市：