【技术实现步骤摘要】
本专利技术属于舆情监测，尤其涉及一种基于全域数据洞察的智能运营平台及其方法。
技术介绍
1、大数据的发展导致数据海量增加，也使得舆情数据量与日俱增，从而导致舆情监控和市场洞察出现阻力。传统的人工监测方式无法适应大数据带来的数据变化，因此如何全面、高效且具有时效性的实现全域数据的实时监测和筛选分析，成为目前亟待解决的问题。
技术实现思路
1、本专利技术的目的在于提供一种基于全域数据洞察的智能运营平台及其方法，通过实时获取热点内容和舆情数据，将处理后的数据进行关联分析并建立舆情分析模型和舆情预测模型，从而实现全域舆情数据的洞察和实时监测。
2、本专利技术的目的可以通过以下技术方案实现：
3、第一方面，本申请实施例提供了一种基于全域数据洞察的智能运营平台，包括依次通信连接的全域数据挖掘模块、数据解析处理模块、关联分析训练模块和需求预测反馈模块；
4、所述全域数据挖掘模块，用于采集全域舆情相关的非结构化舆情数据；
5、所述数据解析处理模块，用于对所述非结构化舆情数据进行解析和预处理，生成解析数据集；
6、所述关联分析训练模块，用于根据所述解析数据集进行关联分析和模型训练，生成舆情分析模型；
7、所述需求预测反馈模块，用于构建舆情预测模型并根据需求进行舆情预测；
8、将所述解析数据集划分为第一数据集和第二数据集；
9、所述第一数据集用于生成所述舆情分析模型；
10、所述第二数据集用于构
11、所述非结构化舆情数据包括文本数据、图像数据和音视频数据；预处理包括文本处理、图像处理和音视频处理。
12、优选地，采用npl对所述文本数据进行文本处理，包括如下步骤：
13、对文本数据进行数据清洗；
14、其中，所述数据清洗包括去除噪声、过滤无关信息、去除特殊字符和统一格式；
15、将文本数据分割成若干词汇单元并为每个词汇单元中的词汇标注对应的词性；
16、通过机器学习和情感词典对文本数据进行情感分析，获取情感态度；
17、提取出文本数据中的关键词/短语；
18、对文本数据进行实体识别和事件跟踪；
19、分析文本数据中实体之间的关联关系；
20、将文本数据中的处理信息、情感态度及关联关系关联在一起，生成文本数据解析集。
21、优选地，结合卷积神经网络和循环神经网络并以此构建cnn-rnn综合模型，并对所述图像数据进行图像处理，包括如下步骤：
22、对所述图像数据进行预处理，包括去噪、缩放、裁剪、归一化和边缘检测，将预处理后的图像数据作为输入图像；
23、搭建cnn网络结构，包括卷积层、池化层、全连接层和激活函数层，并设定相应参数；
24、使用cnn对输入图像进行特征提取，得到输入图像的局部特征表示；
25、将cnn提取的特征序列输入到rnn中进行处理，捕捉序列之间的依赖关系，得到整个输入图像的整体特征表示；
26、搭建rnn网络结构，包括rnn层和dropout层；
27、使用标注数据对cnn-rnn综合模型进行训练；
28、其中，使用交叉熵损失函数和反向传播算法更新模型参数，并在训练过程中使用数据增强来扩充训练集；
29、使用测试数据对模型进行评估；
30、具体为：使用准确率、精确率和召回率作为指标评估cnn-rnn综合模型的性能；
31、使用训练好的cnn-rnn综合模型对未知图像数据进行分类或预测。
32、优选地，在cnn网络结构的卷积层和全连接层之间添加dropout层；在cnn网络结构和rnn网络结构之间的连接处添加dropout层。
33、优选地，对音视频数据进行处理，包括如下步骤：
34、从所述音视频数据中提取出音频数据和视频数据；
35、去除所述音频数据中的噪声；
36、去除所述视频数据中的冗余信息；所述冗余信息包括重复帧和静止画面；
37、对所述音视频数据进行压缩编码；
38、将编码后的音视频数据进行封装；
39、对处理后的音视频数据进行校验。
40、优选地，生成所述解析数据集，包括如下步骤：
41、从处理后的图像数据中提取图像文本数据；
42、从处理后的音视频数据中提取音视频文本数据；
43、采用多模态融合技术将所述图像文本数据和所述音视频文本数据融合进所述文本数据解析集中，构建出所述解析数据集。
44、优选地，采用多模态融合技术构建出所述解析数据集，包括如下步骤：
45、对解析数据集进行解析和标注
46、从所述图像文本数据中提取图像特征；
47、从所述音视频文本数据中提取音频特征；
48、从所述文本数据解析集中提取文本特征；
49、将图像特征、音频特征和文本特征进行融合，获取综合特征向量；
50、根据所述综合特征向量生成所述解析数据集并对其进行解析和标注。
51、优选地，根据所述解析数据集进行关联分析，包括如下步骤：
52、获取所述解析数据集中的综合特征向量；
53、计算所述综合特征向量中不同特征之间的相关性系数；
54、对相关性系数进行检验和可视化分析；
55、根据与舆情关联的紧密程度将相关性系数划分一级相关性系数、二级相关性系数、三级相关性系数和四级相关性系数；
56、选择一级相关性系数的特征和二级相关性系数的特征作为模型训练的训练特征集，选择三级相关性系数的特征和四级相关性系数的特征作为模型训练的测试特征集；
57、其中，相关性系数的紧密程度为：一级相关性系数＞二级相关性系数＞三级相关性系数＞四级相关性系数。
58、优选地，构建所述舆情预测模型，包括如下步骤：
59、获取所述第二数据集并对其进行数据筛选，生成预测数据集；
60、获取所述舆情分析模型的输出结果；
61、将所述预测数据集和所述输出结果作为模型的输入，生成舆情预测模型；
62、根据所述舆情预测模型进行舆情预测，生成预测结果；
63、基于所述预测结果，采用个性化推荐算法进行个性化推荐。
64、第二方面，本申请实施例提供了一种基于全域数据洞察的智能运营方法，应用于如上所述的一种基于全域数据洞察的智能运营平台，包括如下步骤：
65、采集全域舆情相关的非结构化舆情数据；
66、对所述非结构化舆情数据进行解析和预处理，生成解析数据集；
67、根据所述解析数据集进行关联分析和模型训练，生成舆情分析模型；
68、构建舆情预测模型并根据需求进行舆情预测；
本文档来自技高网...【技术保护点】
1.一种基于全域数据洞察的智能运营平台，其特征在于：包括依次通信连接的全域数据挖掘模块、数据解析处理模块、关联分析训练模块和需求预测反馈模块；
2.根据权利要求1所述的一种基于全域数据洞察的智能运营平台，其特征在于：采用NPL对所述文本数据进行文本处理，包括如下步骤：
3.根据权利要求1所述的一种基于全域数据洞察的智能运营平台，其特征在于：结合卷积神经网络和循环神经网络并以此构建CNN-RNN综合模型，并对所述图像数据进行图像处理，包括如下步骤：
4.根据权利要求3所述的一种基于全域数据洞察的智能运营平台，其特征在于：在CNN网络结构的卷积层和全连接层之间添加Dropout层；在CNN网络结构和RNN网络结构之间的连接处添加Dropout层。
5.根据权利要求3所述的一种基于全域数据洞察的智能运营平台，其特征在于：对音视频数据进行处理，包括如下步骤：
6.根据权利要求5所述的一种基于全域数据洞察的智能运营平台，其特征在于：生成所述解析数据集，包括如下步骤：
7.根据权利要求6所述的一种基于全域数据洞察的智能运
8.根据权利要求7所述的一种基于全域数据洞察的智能运营平台，其特征在于：根据所述解析数据集进行关联分析，包括如下步骤：
9.根据权利要求1所述的一种基于全域数据洞察的智能运营平台，其特征在于：构建所述舆情预测模型，包括如下步骤：
10.一种基于全域数据洞察的智能运营方法，应用于如权利要求1-8任一项所述的一种基于全域数据洞察的智能运营平台，其特征在于：包括如下步骤：
...【技术特征摘要】
1.一种基于全域数据洞察的智能运营平台，其特征在于：包括依次通信连接的全域数据挖掘模块、数据解析处理模块、关联分析训练模块和需求预测反馈模块；
2.根据权利要求1所述的一种基于全域数据洞察的智能运营平台，其特征在于：采用npl对所述文本数据进行文本处理，包括如下步骤：
3.根据权利要求1所述的一种基于全域数据洞察的智能运营平台，其特征在于：结合卷积神经网络和循环神经网络并以此构建cnn-rnn综合模型，并对所述图像数据进行图像处理，包括如下步骤：
4.根据权利要求3所述的一种基于全域数据洞察的智能运营平台，其特征在于：在cnn网络结构的卷积层和全连接层之间添加dropout层；在cnn网络结构和rnn网络结构之间的连接处添加dropout层。
5.根据权利要求3所述的一种基于全域数...
【专利技术属性】
技术研发人员：陈国平，吴肖峻，
申请(专利权)人：广东赛博威信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。