行业舆情指数预测方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术公开了行业舆情指数预测方法、装置、计算机设备及存储介质。该方法包括：获取所选定的实体经济行业领域，爬取当前年度的文本数据集合，获取与当前年度的文本数据集合中各文本数据一一对应的当前处理后数据，及与当前年度的文本数据集合中每一文本数据一一对应的当前年度正负面评分结果；以及将与当前年度的文本数据集合中每一文本数据一一对应的当前年度正负面评分结果作为对应深度神经网络模型的输入，计算得到当前年度的文本数据对应的当前年度行业GDP增长率。该方法采用了预测模型实现了利用网络中海量数据而得到特定行业的行业指数，而且通过时间序列模型，进行准确预测实体经济指标的发展状态。

Prediction methods, devices, computer equipment and storage media of industry public opinion index

【技术实现步骤摘要】
行业舆情指数预测方法、装置、计算机设备及存储介质
本专利技术涉及预测模型
，尤其涉及一种行业舆情指数预测方法、装置、计算机设备及存储介质。
技术介绍
目前，一般某一行业的行业指数，一般是基于行业的各企业经济指标参数来进行非定量的计算，而得到的一个辅助评估的指数。由于行业指数的评估需要考虑的因素比较多，加上难以定量，故无法有效利用网络中海量数据而得到特定行业的行业指数，也无法基于现有的数据对未来趋势进行预测以辅助分析。
技术实现思路
本专利技术实施例提供了一种行业舆情指数预测方法、装置、计算机设备及存储介质，旨在解决现有技术行业的行业指数，一般是基于行业的各企业经济指标参数来进行非定量的计算，而得到的一个辅助评估的指数，需要考虑的因素比较多，加上难以定量，故无法有效利用网络中海量数据而得到特定行业的行业指数的问题。第一方面，本专利技术实施例提供了一种行业舆情指数预测方法，其包括：通过分布式爬虫中多个爬虫工具并行获取预设的实体经济行业领域在预设的时间段内的源数据，以得到源数据集；其中，所述源数据集中包括与实体经济行业领域个数相同的子数据集，每一子数据集对应一个实体经济行业领域，每一爬虫工具对应爬取一个实体经济行业领域的网址清单中网页内容；对所述源数据集中每一子数据集的源数据均进行预处理，得到与各子数据集中包括的多篇文本数据一一对应的处理后数据，以组成与各子数据集对应的处理后数据集合；将每一处理后数据集合中对应的各处理后数据作为预先训练得到的朴素贝叶斯模型的输入，得到与各处理后数据集合中每一文本数据对应的正负面评分结果；将每一实体经济行业领域在所述时间段的正负面评分结果作为深度神经网络的输入，并将每一实体经济行业领域在所述时间段的行业GDP增长率作为深度神经网络的输出，进行训练得到与每一实体经济行业领域对应的深度神经网络模型；获取所选定的实体经济行业领域，爬取当前年度的文本数据集合，获取与当前年度的文本数据集合中各文本数据一一对应的当前处理后数据，及与当前年度的文本数据集合中每一文本数据一一对应的当前年度正负面评分结果；以及将与当前年度的文本数据集合中每一文本数据一一对应的当前年度正负面评分结果作为对应深度神经网络模型的输入，计算得到当前年度的文本数据对应的当前年度行业GDP增长率。第二方面，本专利技术实施例提供了一种行业舆情指数预测装置，其包括：并行爬取单元，用于通过分布式爬虫中多个爬虫工具并行获取预设的实体经济行业领域在预设的时间段内的源数据，以得到源数据集；其中，所述源数据集中包括与实体经济行业领域个数相同的子数据集，每一子数据集对应一个实体经济行业领域，每一爬虫工具对应爬取一个实体经济行业领域的网址清单中网页内容；预处理单元，用于对所述源数据集中每一子数据集的源数据均进行预处理，得到与各子数据集中包括的多篇文本数据一一对应的处理后数据，以组成与各子数据集对应的处理后数据集合；评分单元，用于将每一处理后数据集合中对应的各处理后数据作为预先训练得到的朴素贝叶斯模型的输入，得到与各处理后数据集合中每一文本数据对应的正负面评分结果；模型训练单元，用于将每一实体经济行业领域在所述时间段的正负面评分结果作为深度神经网络的输入，并将每一实体经济行业领域在所述时间段的行业GDP增长率作为深度神经网络的输出，进行训练得到与每一实体经济行业领域对应的深度神经网络模型；当前年度评分单元，用于获取所选定的实体经济行业领域，爬取当前年度的文本数据集合，获取与当前年度的文本数据集合中各文本数据一一对应的当前处理后数据，及与当前年度的文本数据集合中每一文本数据一一对应的当前年度正负面评分结果；以及增长率预测单元，用于将与当前年度的文本数据集合中每一文本数据一一对应的当前年度正负面评分结果作为对应深度神经网络模型的输入，计算得到当前年度的文本数据对应的当前年度行业GDP增长率。第三方面，本专利技术实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的行业舆情指数预测方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的行业舆情指数预测方法。本专利技术实施例提供了一种行业舆情指数预测方法、装置、计算机设备及存储介质，该方法实现了利用网络中海量数据而得到特定行业的行业指数，而且通过时间序列模型，进行准确预测实体经济指标的发展状态。附图说明为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的行业舆情指数预测方法的应用场景示意图；图2为本专利技术实施例提供的行业舆情指数预测方法的流程示意图；图3为本专利技术实施例提供的行业舆情指数预测方法的子流程示意图；图4为本专利技术实施例提供的行业舆情指数预测方法的另一子流程示意图；图5为本专利技术实施例提供的行业舆情指数预测方法的另一子流程示意图；图6为本专利技术实施例提供的行业舆情指数预测装置的示意性框图；图7为本专利技术实施例提供的行业舆情指数预测装置的子单元示意性框图；图8为本专利技术实施例提供的行业舆情指数预测装置的另一子单元示意性框图；图9为本专利技术实施例提供的行业舆情指数预测装置的另一子单元示意性框图；图10为本专利技术实施例提供的计算机设备的示意性框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。请参阅图1和图2，图1为本专利技术实施例提供的行业舆情指数预测方法的应用场景示意图，图2为本专利技术实施例提供的行业舆情指数预测方法的流程示意图，该行业舆情指数预测方法应用于服务器中，该方法通过安装于服务器中的应用软件进行执行。如图2所示，该方法包括步骤S110～S160。S110、通过分布式爬虫中多个爬虫工具并行获取预设的实体经济行业领域在预设的时间段内的源数据，以得到源数据集；其中，所述源数据集中包括与实体经济行业领域个数相同的子数据集，每一子数据集对应一个实体经济行业领域，每一爬虫工具对应爬取一个实体经济行业领域的网址清单中网页内容本文档来自技高网...

【技术保护点】
1.一种行业舆情指数预测方法，其特征在于，包括：通过分布式爬虫中多个爬虫工具并行获取预设的实体经济行业领域在预设的时间段内的源数据，以得到源数据集；其中，所述源数据集中包括与实体经济行业领域个数相同的子数据集，每一子数据集对应一个实体经济行业领域，每一爬虫工具对应爬取一个实体经济行业领域的网址清单中网页内容；对所述源数据集中每一子数据集的源数据均进行预处理，得到与各子数据集中包括的多篇文本数据一一对应的处理后数据，以组成与各子数据集对应的处理后数据集合；将每一处理后数据集合中对应的各处理后数据作为预先训练得到的朴素贝叶斯模型的输入，得到与各处理后数据集合中每一文本数据对应的正负面评分结果；将每一实体经济行业领域在所述时间段的正负面评分结果作为深度神经网络的输入，并将每一实体经济行业领域在所述时间段的行业GDP增长率作为深度神经网络的输出，进行训练得到与每一实体经济行业领域对应的深度神经网络模型；获取所选定的实体经济行业领域，爬取当前年度的文本数据集合，获取与当前年度的文本数据集合中各文本数据一一对应的当前处理后数据，及与当前年度的文本数据集合中每一文本数据一一对应的当前年度正负面评分结果；以及将与当前年度的文本数据集合中每一文本数据一一对应的当前年度正负面评分结果作为对应深度神经网络模型的输入，计算得到当前年度的文本数据对应的当前年度行业GDP增长率。...

【技术特征摘要】
1.一种行业舆情指数预测方法，其特征在于，包括：通过分布式爬虫中多个爬虫工具并行获取预设的实体经济行业领域在预设的时间段内的源数据，以得到源数据集；其中，所述源数据集中包括与实体经济行业领域个数相同的子数据集，每一子数据集对应一个实体经济行业领域，每一爬虫工具对应爬取一个实体经济行业领域的网址清单中网页内容；对所述源数据集中每一子数据集的源数据均进行预处理，得到与各子数据集中包括的多篇文本数据一一对应的处理后数据，以组成与各子数据集对应的处理后数据集合；将每一处理后数据集合中对应的各处理后数据作为预先训练得到的朴素贝叶斯模型的输入，得到与各处理后数据集合中每一文本数据对应的正负面评分结果；将每一实体经济行业领域在所述时间段的正负面评分结果作为深度神经网络的输入，并将每一实体经济行业领域在所述时间段的行业GDP增长率作为深度神经网络的输出，进行训练得到与每一实体经济行业领域对应的深度神经网络模型；获取所选定的实体经济行业领域，爬取当前年度的文本数据集合，获取与当前年度的文本数据集合中各文本数据一一对应的当前处理后数据，及与当前年度的文本数据集合中每一文本数据一一对应的当前年度正负面评分结果；以及将与当前年度的文本数据集合中每一文本数据一一对应的当前年度正负面评分结果作为对应深度神经网络模型的输入，计算得到当前年度的文本数据对应的当前年度行业GDP增长率。2.根据权利要求1所述的行业舆情指数预测方法，其特征在于，所述通过分布式爬虫中多个爬虫工具并行获取预设的实体经济行业领域在预设的时间段内的源数据，以得到源数据集，包括：获取所述分布式爬虫中爬虫工具的个数，并获取每一爬虫工具所对应的实体经济行业领域的网址清单；通过每一爬虫工具爬取对应的实体经济行业领域在所述时间段内的源数据，以组成对应的子数据集；将每一爬虫工具对应爬取的源数据存储至对应的存储区域，以组成每一爬虫工具对应爬取的子数据集，并由各爬虫工具对应爬取的子数据集组成源数据集。3.根据权利要求1所述的行业舆情指数预测方法，其特征在于，所述对所述源数据集中每一子数据集的源数据均进行预处理，得到与各子数据集中包括的多篇文本数据一一对应的处理后数据，以组成与各子数据集对应的处理后数据集合，包括：将所述源数据集中每一子数据集所包括的多篇文本数据中各文本数据的标题和正文分别通过词频-逆文本频率指数模型进行关键词信息抽取，得到与各文本数据对应的标题关键词列表和正文关键词列表；将每一文本数据对应的标题关键词列表和正文关键词列表进行封装组合，得到与每一文本数据对应的行业消息列表，以组成与各子数据集对应的处理后数据集合。4.根据权利要求3所述的行业舆情指数预测方法，其特征在于，所述将每一处理后数据集合中对应的各处理后数据作为预先训练得到的朴素贝叶斯模型的输入，得到与各处理后数据集合中每一文本数据对应的正负面评分结果，包括：获取每一处理后数据集合中对应的各处理后数据，及与各处理后数据对应的行业消息列表；根据所述朴素贝叶斯模型获取以各行业消息列表中关键词为前提条件对应计算的后验概率，以作为与各行业消息列表对应的正负面评分结果。5.根据权利要求4所述的行业...

【专利技术属性】
技术研发人员：吴壮伟，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44