一种基于采集筛选分发大数据管理分析系统技术方案

本发明专利技术涉及一种基于采集筛选分发大数据管理分析系统，对企业数据进行采集、筛选、分发、管理和分析。本发明专利技术系统中，企业的一整套需求都包括在里面，企业无需购买各种各样的软硬件来完成不同的功能，整体性好，价格不贵，系统兼容性强，性能稳定，维护起来比较简单，数据安全性比较高，具有很好的实用性，和企业的实际情况比较贴合。数据变化灵活，可自定义调整的地方比较多，对各种企业需求都可以获得满足，数据集中存储有利于数据保护和整理分析，对企业无论是在本地还是外地都可以发送信息完成，具有一定的便利性。

【技术实现步骤摘要】

本专利技术涉及一种基于采集筛选分发大数据管理分析系统，属于数据分析

技术介绍
长期以来，很多企业依赖于信息咨询才能继续生存发展，而信息大多除了熟人关系获得以外，很多来源于互联网，互联网的网站很多，网站的数量数以百万，而这些网站信息的出现也时有时无，此系统首先解决的就是网站收集、分拣、识别信息咨询问题，及我们常说的信息采集。采集完成后，数据将进入一个庞大的数据湖来存储信息，这种信息对个人而言就算是一目百行也目不暇接，所以我们要进行筛选，在数据湖中进行筛选企业有用的及时信息，筛选完以后，然后会将信息发送到企业各个部门，每个部门不一定都在同一地点，很多分公司，子公司，合作公司未必都会及时查看邮箱，而信息的实效性又比较强，所以我们会通过不同途径发送给接受者者，比如邮件是基本的，同时我们还会发送qq，微信，短信等等，通知接受者及时打开，而打开以后系统将记录用户行为是否为真正的观看，因为里面我们加入了管理系统，接受者会对有用的信息进行标记，简单的是，否，待选或者为什么做的原因，几个不同的接受者会也许会获得同样的信息或者交叉的信息，而作为整个系统的管理者可以通过一个信息不同人的选择来辨别某一条信息是否真的有用，或者接受者的想法。最终管理者还可以通过一定时间积累的信息，分析采集信息的趋势或者接受信息执行者的信息情况。
技术实现思路
本专利技术的目的在于提供一种基于采集筛选分发大数据管理分析系统，便于更好地分析管理数据。为了实现上述目的，本专利技术的技术方案如下。一种基于采集筛选分发大数据管理分析系统，对企业数据进行采集、筛选、分发、管理和分析，其实现原理是：通过网站公开的信息对网站进行信息获取，对有搜索引擎的网站利用网站本身搜索引擎帮忙加以搜索企业想要的信息，信息采集通过信息采集服务器完成，通过顺序和计划任务对网站逐一信息收集，排版，将数据放置到excel里面和数据库里面，数据存放由专门放置数据的数据库服务器完成，数据库服务器中有大概几十个t的容量，通过mysql数据库进行数据湖的形成，形成后结果利用sql标准语言对多次筛选，筛选的时候需要通过运算服务器来完成多次筛选运算，由于是上亿次分解筛选，对该服务器的要求比较高，最终可以自定义筛选出企业想要的内容，这些内容会分发到企业各部门负责人的邮箱、qq、微信中；分发通过邮件服务器、qq分发服务器和微信分发服务器完成；分发完毕以后由管理服务器对分发的结果进行定时判断信息是否被充分利用，信息有一定时效性，当时对方打开了信息后会程序会自动判断在何时打开，打开后会有判断是否有用和原因的填写，这些都是由网站程序、html、php、c++语言来完成编写的；整个服务器群落为互联网分布式服务器和局域网分布式服务器组成。该专利技术的有益效果在于：本专利技术系统中，企业的一整套需求都包括在里面，企业无需购买各种各样的软硬件来完成不同的功能，整体性好，价格不贵，系统兼容性强，性能稳定，维护起来比较简单，数据安全性比较高，具有很好的实用性，和企业的实际情况比较贴合。数据变化灵活，可自定义调整的地方比较多，对各种企业需求都可以获得满足，数据集中存储有利于数据保护和整理分析，对企业无论是在本地还是外地都可以发送信息完成，具有一定的便利性。具体实施方式下面结合实施例对本专利技术的具体实施方式进行描述，以便更好的理解本专利技术。实施例本实施例中的基于采集筛选分发大数据管理分析系统，对企业数据进行采集、筛选、分发、管理和分析，其实现原理是：通过网站公开的信息对网站进行信息获取，对有搜索引擎的网站利用网站本身搜索引擎帮忙加以搜索企业想要的信息，信息采集通过信息采集服务器完成，通过顺序和计划任务对网站逐一信息收集，排版，将数据放置到excel里面和数据库里面，数据存放由专门放置数据的数据库服务器完成，数据库服务器中有大概几十个t的容量，通过mysql数据库进行数据湖的形成，形成后结果利用sql标准语言对多次筛选，筛选的时候需要通过运算服务器来完成多次筛选运算，由于是上亿次分解筛选，对该服务器的要求比较高，最终可以自定义筛选出企业想要的内容，这些内容会分发到企业各部门负责人的邮箱、qq、微信中；分发通过邮件服务器、qq分发服务器和微信分发服务器完成；分发完毕以后由管理服务器对分发的结果进行定时判断信息是否被充分利用，信息有一定时效性，当时对方打开了信息后会程序会自动判断在何时打开，打开后会有判断是否有用和原因的填写，这些都是由网站程序、html、php、c++语言来完成编写的；整个服务器群落为互联网分布式服务器和局域网分布式服务器组成。上述系统利用软件实现，具体软件操作分为软件前期布置、软件的采集规则和软件的计算规则三个部分操作，其中，软件前期布置部分操作具体包括：1)登录管理部分；2)进入员工列表部分；3)添加员工；4)查看员工；5)添加主管；6)查看主管；7)进入流程添加；8)进入环节添加系统添加环节系统；9)选择环节系统；10)选择企业邮箱，员工邮箱必须对此邮箱开放，不能禁用；软件的采集规则部分操作具体包括：1)看到界面后进行网站分类；2)双击进去以后进行网站规则采集化编程，此部分需要培训才能进行编程；3)进行范围确定，具体采集的数据细节和采集规则，按照自己需要的规则进行采集；4)通过nacicat软件查询数据是否进入了数据库；软件的计算规则部分操作具体包括：1)在界面中查看有哪些筛选的规律；2)新建一个筛选的规则；3)设置员工和主管；4)如果觉得自己不够明确，选择其他人的模版作为参考；5)在里面设置微信、qq和邮箱什么时候发送，间隔多长发一次；6)设置完成以后查看运行状态。以上所述是本专利技术的优选实施方式，应当指出，对于本
的普通技术人员来说，在不脱离本专利技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本专利技术的保护范围。本文档来自技高网...

【技术保护点】
一种基于采集筛选分发大数据管理分析系统，对企业数据进行采集、筛选、分发、管理和分析，其特征在于：其实现原理是：通过网站公开的信息对网站进行信息获取，对有搜索引擎的网站利用网站本身搜索引擎帮忙加以搜索企业想要的信息，信息采集通过信息采集服务器完成，通过顺序和计划任务对网站逐一信息收集，排版，将数据放置到excel里面和数据库里面，数据存放由专门放置数据的数据库服务器完成，数据库服务器中有大概几十个t的容量，通过mysql数据库进行数据湖的形成，形成后结果利用sql标准语言对多次筛选，筛选的时候需要通过运算服务器来完成多次筛选运算，由于是上亿次分解筛选，对该服务器的要求比较高，最终可以自定义筛选出企业想要的内容，这些内容会分发到企业各部门负责人的邮箱、qq、微信中；分发通过邮件服务器、qq分发服务器和微信分发服务器完成；分发完毕以后由管理服务器对分发的结果进行定时判断信息是否被充分利用，信息有一定时效性，当时对方打开了信息后会程序会自动判断在何时打开，打开后会有判断是否有用和原因的填写，这些都是由网站程序、html、php、c++语言来完成编写的；整个服务器群落为互联网分布式服务器和局域网分布式服务器组成。...

【技术特征摘要】
1.一种基于采集筛选分发大数据管理分析系统，对企业数据进行采集、筛选、分发、管理和分析，其特征在于：其实现原理是：通过网站公开的信息对网站进行信息获取，对有搜索引擎的网站利用网站本身搜索引擎帮忙加以搜索企业想要的信息，信息采集通过信息采集服务器完成，通过顺序和计划任务对网站逐一信息收集，排版，将数据放置到excel里面和数据库里面，数据存放由专门放置数据的数据库服务器完成，数据库服务器中有大概几十个t的容量，通过mysql数据库进行数据湖的形成，形成后结果利用sql标准语言对多次筛选，筛选的时候需要通过运算服务器来完成多次筛选运算，由于是上亿次分解筛选，对该服务器的要求比较高，最终可以自定义筛选出企业想要的内容，这些内容会分发到企业各部门负责人的邮箱、qq、微信中；分发通过邮件服务器、qq分发服务器和微信分发服务器完成；分发完毕以后由管理服务器对分发的结果进行定时判断信息是否被充分利用，信息有一定时效性，当时对方打开了信息后会程序会自动判断在何时打开，打开后会有判断是否有用和原因的填写，这些都是由网站程序、html、php、c++语言来完成编写的；整个服务器群落为...

【专利技术属性】
技术研发人员：孙庭，罗晓银，王玲，吴文德，
申请(专利权)人：深圳云智优联科技有限公司，
类型：发明
国别省市：广东;44