一种智能政策信息采集与分析系统技术方案

本发明专利技术公开了一种智能政策信息采集与分析系统，涉及政策信息服务技术领域，为解决现有的不能够及时采集最新政策信息进行分析处理以及处理分析的过程中效率较低的问题。所述政策信息采集模块、网络爬虫模块、采集数据库、政策分析模块、分析数据库和检索模块，所述政策分析模块包括政策分析控制模块、索引处理模块、摘要汇成模块、政策信息去重模块、政策信息分类模块、政策归集模块和政策热点话题识别模块，所述网络爬虫模块包括登录管理模块、页面数据解析模块和采集优化模块。

【技术实现步骤摘要】
一种智能政策信息采集与分析系统
本专利技术涉及政策信息服务
，具体为一种智能政策信息采集与分析系统。
技术介绍
随着互联网的不断发展，通过对不同来源数据的管理、处理、分析与优化，将结果反馈到实际应用中,将创造出巨大的经济和社会价值。数据化时代不仅为政策信息服务注入新的发展动力,还将为政策信息服务带来深刻的变革,以实现资源集约化利用。但是，现有的政策信息服务系统在使用的过程中存在一些缺陷：一、目前的政策发布渠道较多，且获得的方式受登录限制以及受多种方式传达消息的影响，不能够及时采集最新政策信息进行分析处理；二、在采集政策信息的过程中，由于信息量较大，且重复性较强，导致政策信息服务系统在处理分析的过程中效率较低，因此不满足现有的需求，对此我们提出了一种智能政策信息采集与分析系统。
技术实现思路
本专利技术的目的在于提供一种智能政策信息采集与分析系统，以解决上述
技术介绍
中提出的不能够及时采集最新政策信息进行分析处理以及处理分析的过程中效率较低的问题。为实现上述目的，本专利技术提供如下技术方案：一种智能政策信息本文档来自技高网...

【技术保护点】
1.一种智能政策信息采集与分析系统，包括政策信息采集模块(1)、网络爬虫模块(2)、采集数据库(3)、政策分析模块(4)、分析数据库(5)和检索模块(6)，其中：/n政策信息采集模块(1)，所述政策信息采集模块(1)通过互联网获取政策信息，且政策信息采集模块(1)与网络爬虫模块(2)相连接；/n网络爬虫模块(2)，网络爬虫模块(2)将互联网上获取政策信息的半结构化数据进行结构化提取，通过人工配置的文本处理脚本，将政策网站的内容结构化；/n采集数据库(3)，所述采集数据库(3)与网络爬虫模块(2)相连接，经过网络爬虫模块(2)结构化提取的政策信息数据在采集数据库(3)进行储存；/n政策分析模块(...

【技术特征摘要】
1.一种智能政策信息采集与分析系统，包括政策信息采集模块(1)、网络爬虫模块(2)、采集数据库(3)、政策分析模块(4)、分析数据库(5)和检索模块(6)，其中：
政策信息采集模块(1)，所述政策信息采集模块(1)通过互联网获取政策信息，且政策信息采集模块(1)与网络爬虫模块(2)相连接；
网络爬虫模块(2)，网络爬虫模块(2)将互联网上获取政策信息的半结构化数据进行结构化提取，通过人工配置的文本处理脚本，将政策网站的内容结构化；
采集数据库(3)，所述采集数据库(3)与网络爬虫模块(2)相连接，经过网络爬虫模块(2)结构化提取的政策信息数据在采集数据库(3)进行储存；
政策分析模块(4)，所述政策分析模块(4)与采集数据库(3)相连接，所述政策分析模块(4)对采集数据库(3)中的政策数据信息首先经过组合运用，再对组合后的内容进行自动化分析，提供准确政策分析结构；
分析数据库(5)，所述分析数据库(5)与政策分析模块(4)相连接，经过分析处理的政策信息在分析数据库(5)进行储存。


2.根据权利要求1所述的一种智能政策信息采集与分析系统，其特征在于：所述政策分析模块(4)包括政策分析控制模块(7)、索引处理模块(8)、摘要汇成模块(9)、政策信息去重模块(10)、政策信息分类模块(11)、政策归集模块(12)和政策热点话题识别模块(13)，其中：
政策分析控制模块(7)，采用消息总线控制机制，将每一个采集后的政策文本作为一条消息，进入消息处理流程，按照政策类型，定制不同的处理流程；
索引处理模块(8)，向索引系统提交信息，删除信息，查询信息等各种索引交互功能；
摘要汇成模块(9)，封装了文本内容信息自动摘要的功能，该功能实现了自动抽取内容信息主干，为用户形成文字摘要的目的；
政策信息去重模块(10)，通过提取政策网页信息关键特征，形成政策网页内容的信息特征，利用该特征，可以计算政策信息转载和网页内容去重...

【专利技术属性】
技术研发人员：冯志强，
申请(专利权)人：南京畅丰信息科技有限公司，
类型：发明
国别省市：江苏;32