一种基于分布式爬虫技术的政策资讯采集管理系统技术方案

本发明专利技术公开了一种基于分布式爬虫技术的政策资讯采集管理系统，包括政策资讯数据采集单元、数据预处理单元、数据特征提取单元、控制单元和网络爬虫系统，政策资讯数据采集单元输入端连接网络爬虫系统，输出端通过数据预处理单元连接数据特征提取单元，数据特征提取单元连接控制单元，控制单元分别连接数据加密单元、数据存储单元，控制单元通过数传单元连接后台管理终端，本发明专利技术通过分布式爬虫技术能够实现对政策资讯的精确采集，同时能够实现对数据的特征提取、加密，还能够实现对数据的加密传输，确保了管理系统的安全性。

A policy information collection and management system based on distributed crawler technology

【技术实现步骤摘要】
一种基于分布式爬虫技术的政策资讯采集管理系统
本专利技术涉及政策资讯
，具体为一种基于分布式爬虫技术的政策资讯采集管理系统。
技术介绍
目前出台了很多对企业有帮扶作用的政策，但因为相关政策数量大，且制定机关不同，企业无法了解清楚和全面，通常通过人工查询对政策进行查询获取相关信息，并在自行筛选后获取政策并进行解读，在这个过程中会浪费了大量的人力资源，对政策的人工筛选也加大了企业的人力成本，因此，有必要进行改进。
技术实现思路
本专利技术的目的在于提供一种基于分布式爬虫技术的政策资讯采集管理系统，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种基于分布式爬虫技术的政策资讯采集管理系统，包括政策资讯数据采集单元、数据预处理单元、数据特征提取单元、控制单元和网络爬虫系统，所述政策资讯数据采集单元输入端连接网络爬虫系统，输出端通过数据预处理单元连接数据特征提取单元，所述数据特征提取单元连接控制单元，所述控制单元分别连接数据加密单元、数据存储单元，所述控制单元通过数传单元连接后台管理终端；其本文档来自技高网...

【技术保护点】
1.一种基于分布式爬虫技术的政策资讯采集管理系统，其特征在于：包括政策资讯数据采集单元(1)、数据预处理单元(2)、数据特征提取单元(3)、控制单元(4)和网络爬虫系统(5)，所述政策资讯数据采集单元(1)输入端连接网络爬虫系统(5)，输出端通过数据预处理单元(2)连接数据特征提取单元(3)，所述数据特征提取单元(3)连接控制单元(4)，所述控制单元(4)分别连接数据加密单元(7)、数据存储单元(8)，所述控制单元(4)通过数传单元(9)连接后台管理终端(10)；其中，所述政策资讯数据采集单元用于采集政策资讯数据；所述数据预处理单元用于对采集的数据进行滤波降噪处理，所述数据特征提取单元用于提取...

【技术特征摘要】
1.一种基于分布式爬虫技术的政策资讯采集管理系统，其特征在于：包括政策资讯数据采集单元(1)、数据预处理单元(2)、数据特征提取单元(3)、控制单元(4)和网络爬虫系统(5)，所述政策资讯数据采集单元(1)输入端连接网络爬虫系统(5)，输出端通过数据预处理单元(2)连接数据特征提取单元(3)，所述数据特征提取单元(3)连接控制单元(4)，所述控制单元(4)分别连接数据加密单元(7)、数据存储单元(8)，所述控制单元(4)通过数传单元(9)连接后台管理终端(10)；其中，所述政策资讯数据采集单元用于采集政策资讯数据；所述数据预处理单元用于对采集的数据进行滤波降噪处理，所述数据特征提取单元用于提取政策资讯数据的特征值，所述网络爬虫系统用于精确爬取多维度信息；所述数据加密单元用于对采集的数据进行加密，所述数据存储单元用于对加密的数据进行存储，所述数传单元用于传输加密后的政策资讯数据。


2.根据权利要求1所述的一种基于分布式爬虫技术的政策资讯采集管理系统，其特征在于：所述网络爬虫系统(5)包括页面下载模块(11)、页面解析模块(12)、URL调度模块(13)和文本数据分类模块(14)，所述页面下载模块(11)连接页面解析模块(12)，所述页面解析模块(12)通过URL调度模块(13)连接文本数据分类模块(6)。


3.根据权利要求1所述的一种基于分布式爬虫技术的政策资讯采集管理系统，其特征在于：所述数传单元(9)采用ZigBee传输单元或4G传输单元。


4.实现权利要求1所述的一种基于分布式爬虫技术的政策资讯采集管理系统的使用方法，其特征在于：其使用方法包括以下步骤：
A、首先，网络爬虫...

【专利技术属性】
技术研发人员：侯林勇，张亮，方程，刘婉莹，袁率，杨坤，李亚萍，王俊，
申请(专利权)人：贵州小叮当信息技术有限公司，
类型：发明
国别省市：贵州;52