企业舆情库构建方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术公开了企业舆情库构建方法、装置、计算机设备及存储介质。该方法包括：通过爬虫工具定向爬取第一网址列表中各子网页列表对应网站的网页内容；获取网页内容中包括第一关键词列表中任意一个关键词的网页信息，存储至与各行业领域对应的存储区域；通过爬虫工具并行获取第二网址列表中各网站在预设的时间段的源数据集，对源数据集中每一源数据进行预处理，得到对应的处理后数据；通过行业分类模型，对各处理后数据进行行业分类，得到行业分类结果，将每一处理后数据根据行业分类结果存储至对应的存储区域。该方法采用爬虫技术，实现了基于网络大数据来构建舆情库，即通过爬虫定向爬取信息后对数据由分类模型进行分类，搭建难度和成本均降低。

Construction Method, Device, Computer Equipment and Storage Media of Enterprise Public Opinion Database

【技术实现步骤摘要】
企业舆情库构建方法、装置、计算机设备及存储介质
本专利技术涉及数据采集
，尤其涉及一种企业舆情库构建方法、装置、计算机设备及存储介质。
技术介绍
目前，特定领域的行业舆情信息，具有全网分散性，比较难以搜集到对应的舆情内容。例如，金融行业信息主要分散在财经网站、股票论坛以及微博社交媒体平台等；工业行业信息主要分散在工业论坛、工业新闻网站等平台。也即经济舆情库是针对经济整体状况的信息搜集和反映整体经济的发展状况，而目前经济库的建立，大多是基于外部购买数据，较少基于网络大数据来构建，这就导致舆情库搭建难度较大，且成本较高。
技术实现思路
本专利技术实施例提供了一种企业舆情库构建方法、装置、计算机设备及存储介质，旨在解决现有技术中经济舆情库建立大多是基于外部购买数据，较少基于网络大数据来构建，这就导致舆情库搭建难度较大，且成本较高的问题。第一方面，本专利技术实施例提供了一种企业舆情库构建方法，其包括：通过爬虫工具定向爬取预设的第一网址列表中各子网页列表对应网站的网页内容；其中，每一子网页列表对应一个行业领域；获取所述网页内容中包括预设的第一关键词列表中任意一个关键词的网页信息，并存储至与各行业领域对应的存储区域；通过爬虫工具并行获取预设的第二网址列表中各网站在预设的时间段的源数据集，对所述源数据集中每一源数据进行预处理，得到与每一源数据对应的处理后数据；通过预先训练的行业分类模型，对与每一源数据对应的处理后数据进行行业分类，得到与每一处理后数据的行业分类结果，将每一处理后数据根据行业分类结果存储至对应的存储区域；以及按预设的时间周期在每一行业领域对应的存储区域中获取与预设的第二关键词列表中每一关键词一一对应的变化指数，以第二关键词列表中每一关键词一一对应的变化指数为待训练多层LSTM模型的输入，将与变化指数对应的行业指数作为待训练多层LSTM模型的输出，对待训练多层LSTM模型进行训练，得到用于预测行业指数的多层LSTM模型。第二方面，本专利技术实施例提供了一种企业舆情库构建装置，其包括：定向爬取单元，用于通过爬虫工具定向爬取预设的第一网址列表中各子网页列表对应网站的网页内容；其中，每一子网页列表对应一个行业领域；分区存储单元，用于获取所述网页内容中包括预设的第一关键词列表中任意一个关键词的网页信息，并存储至与各行业领域对应的存储区域；舆情爬取单元，用于通过爬虫工具并行获取预设的第二网址列表中各网站在预设的时间段的源数据集，对所述源数据集中每一源数据进行预处理，得到与每一源数据对应的处理后数据；舆情内容分类单元，用于通过预先训练的行业分类模型，对与每一源数据对应的处理后数据进行行业分类，得到与每一处理后数据的行业分类结果，将每一处理后数据根据行业分类结果存储至对应的存储区域；以及模型训练单元，用于按预设的时间周期在每一行业领域对应的存储区域中获取与预设的第二关键词列表中每一关键词一一对应的变化指数，以第二关键词列表中每一关键词一一对应的变化指数为待训练多层LSTM模型的输入，将与变化指数对应的行业指数作为待训练多层LSTM模型的输出，对待训练多层LSTM模型进行训练，得到用于预测行业指数的多层LSTM模型。第三方面，本专利技术实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的企业舆情库构建方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的企业舆情库构建方法。本专利技术实施例提供了一种企业舆情库构建方法、装置、计算机设备及存储介质。该方法包括通过通过爬虫工具定向爬取预设的第一网址列表中各子网页列表对应网站的网页内容；其中，每一子网页列表对应一个行业领域；获取所述网页内容中包括预设的第一关键词列表中任意一个关键词的网页信息，并存储至与各行业领域对应的存储区域；通过爬虫工具并行获取预设的第二网址列表中各网站在预设的时间段的源数据集，对所述源数据集中每一源数据进行预处理，得到与每一源数据对应的处理后数据；通过预先训练的行业分类模型，对与每一源数据对应的处理后数据进行行业分类，得到与每一处理后数据的行业分类结果，将每一处理后数据根据行业分类结果存储至对应的存储区域；以及按预设的时间周期在每一行业领域对应的存储区域中获取与预设的第二关键词列表中每一关键词一一对应的变化指数，以第二关键词列表中每一关键词一一对应的变化指数为待训练多层LSTM模型的输入，将与变化指数对应的行业指数作为待训练多层LSTM模型的输出，对待训练多层LSTM模型进行训练，得到用于预测行业指数的多层LSTM模型。该方法实现了基于网络大数据来构建舆情库，即通过爬虫工具定向爬取海量信息后对关键的信息根据分类模型进行分类，搭建难度和成本均降低。附图说明为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的企业舆情库构建方法的应用场景示意图；图2为本专利技术实施例提供的企业舆情库构建方法的流程示意图；图3为本专利技术实施例提供的企业舆情库构建方法的子流程示意图；图4为本专利技术实施例提供的企业舆情库构建方法的另一子流程示意图；图5为本专利技术实施例提供的企业舆情库构建装置的示意性框图；图6为本专利技术实施例提供的企业舆情库构建装置的子单元示意性框图；图7为本专利技术实施例提供的企业舆情库构建装置的另一子单元示意性框图；图8为本专利技术实施例提供的计算机设备的示意性框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。请参阅图1和图2，图1为本专利技术实施例提供的企业舆情库构建方法的应用场景示意图，图2为本专利技术实施例提供的企业舆情库构建方法的流程示意图，该企业舆情库构建方法应用于服务器中，该方法通过安装于服务器中的应用软件进行执行。如图2所示，该方法包括步骤S110～S150。S110、通过爬虫工具定向爬取预设的第一网址列表中各子网页列表对应网站的网页内容；其中，每一子网页列表对应一个行业领域。本文档来自技高网...

【技术保护点】
1.一种企业舆情库构建方法，其特征在于，包括：通过爬虫工具定向爬取预设的第一网址列表中各子网页列表对应网站的网页内容；其中，每一子网页列表对应一个行业领域；获取所述网页内容中包括预设的第一关键词列表中任意一个关键词的网页信息，并存储至与各行业领域对应的存储区域；通过爬虫工具并行获取预设的第二网址列表中各网站在预设的时间段的源数据集，对所述源数据集中每一源数据进行预处理，得到与每一源数据对应的处理后数据；通过预先训练的行业分类模型，对与每一源数据对应的处理后数据进行行业分类，得到与每一处理后数据的行业分类结果，将每一处理后数据根据行业分类结果存储至对应的存储区域；以及按预设的时间周期在每一行业领域对应的存储区域中获取与预设的第二关键词列表中每一关键词一一对应的变化指数，以第二关键词列表中每一关键词一一对应的变化指数为待训练多层LSTM模型的输入，将与变化指数对应的行业指数作为待训练多层LSTM模型的输出，对待训练多层LSTM模型进行训练，得到用于预测行业指数的多层LSTM模型；其中，所述变化指数包括与企业营业收入对应的第一变化指数、与利润对应的第二变化指数、及与行业领域的总热度值对应的第三变化指数。...

【技术特征摘要】
1.一种企业舆情库构建方法，其特征在于，包括：通过爬虫工具定向爬取预设的第一网址列表中各子网页列表对应网站的网页内容；其中，每一子网页列表对应一个行业领域；获取所述网页内容中包括预设的第一关键词列表中任意一个关键词的网页信息，并存储至与各行业领域对应的存储区域；通过爬虫工具并行获取预设的第二网址列表中各网站在预设的时间段的源数据集，对所述源数据集中每一源数据进行预处理，得到与每一源数据对应的处理后数据；通过预先训练的行业分类模型，对与每一源数据对应的处理后数据进行行业分类，得到与每一处理后数据的行业分类结果，将每一处理后数据根据行业分类结果存储至对应的存储区域；以及按预设的时间周期在每一行业领域对应的存储区域中获取与预设的第二关键词列表中每一关键词一一对应的变化指数，以第二关键词列表中每一关键词一一对应的变化指数为待训练多层LSTM模型的输入，将与变化指数对应的行业指数作为待训练多层LSTM模型的输出，对待训练多层LSTM模型进行训练，得到用于预测行业指数的多层LSTM模型；其中，所述变化指数包括与企业营业收入对应的第一变化指数、与利润对应的第二变化指数、及与行业领域的总热度值对应的第三变化指数。2.根据权利要求1所述的企业舆情库构建方法，其特征在于，所述对所述源数据集中每一源数据进行预处理，得到与每一源数据对应的处理后数据，包括：将所述源数据集所包括的多篇文本数据中各文本数据的标题和正文分别通过词频-逆文本频率指数模型进行关键词信息抽取，得到与各文本数据对应的标题关键词列表和正文关键词列表；将所述源数据集中每一文本数据对应的标题关键词列表和正文关键词列表进行封装组合，得到与每一文本数据对应的行业消息列表，以得到与每一源数据对应的处理后数据。3.根据权利要求1所述的企业舆情库构建方法，其特征在于，所述按预设的时间周期在每一行业领域对应的存储区域中获取与预设的第二关键词列表中每一关键词一一对应的变化指数，包括：按年为周期获取每一行业领域对应的存储区域中位于预设的排名阈值之前的企业营业收入对应的第一变化指数；按年为周期获取每一行业领域对应的存储区域中利润对应的第二变化指数；按年为周期获取每一行业领域对应的存储区域相应的总热度值对应的第三变化指数。4.根据权利要求3所述的企业舆情库构建方法，其特征在于，所述按年为周期获取每一行业领域对应的存储区域相应的总热度值对应的第三变化指数之前，还包括：根据每一存储区域中对应存储的处理后数据，及预设的舆情热度模型，获取与各存储区域的处理后数据一一对应的文本热度值，按所述时间周期获取每一存储区域中对应存储的处理后数据对应的总热度值。5.根据权利要求4所述的企业舆情库构建方法，其特征在于，所述根据每一存储区域中对应存储的处理后数据，及预设的舆情热度模型，获取与各存储区域的处理后数据一一对应的文本热度值，包括：获取每一处理后数据的点赞数、评论数和转发数之和以得到每一处理后数据对应源数据的热度值；获取每一处理后数据的发表时间与当前系统时间之差并乘以...

【专利技术属性】
技术研发人员：吴壮伟，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44