基于Agent的多源异构政务数据抽取系统技术方案

本发明专利技术涉及一种基于Agent的多源异构政务数据抽取系统，包括主控Agent以及分别连接至主控Agent的多个Agent组，主控Agent能够启动或终止所述多个Agent组，其中，每个Agent组均包括数据抽取Agent、数据处理Agent和数据存储Agent；数据抽取Agent用于抽取数据并将数据发送至数据处理Agent；数据处理Agent用于对数据进行分类处理，并将分类处理后的数据发送至数据存储Agent；数据存储Agent用于对分类处理后的数据进行存储。该政务数据抽取系统包括主控Agent以及分别连接至主控Agent的多个Agent组，能够使系统具有低耦合和高效率的优点。

【技术实现步骤摘要】
基于Agent的多源异构政务数据抽取系统
本专利技术属于数据抽取和处理
，具体涉及一种基于Agent的多源异构政务数据抽取系统。
技术介绍
Agent是指驻留在某一环境下，能持续自主地发挥作用，具备驻留性、反应性、社会性、主动性等特征的计算实体。Agent能根据外界环境的变化，自动地对自己的行为和状态进行调整，具有自我管理、自我调节的能力；对于外界环境的改变，能主动采取活动的能力，同时可与其它Agent或人进行合作，不同的Agent可根据各自的意图与其它Agent进行交互，以达到解决问题的目的。随着互联网的快速发展，新媒体正在逐渐成为主流，政府部门需要时刻关注新兴媒体来监控舆情，了解人民的关注热点。建设政务大数据以及政务数据的抽取分析是政府职能转变的需要。政府对数据的掌握及分析处理对于政府部门的工作有着深刻的影响，采用计算机抽取分析数据的方式是十分必要的。传统的数据抽取方法为采用面向对象技术进行数据抽取，其存在一定的缺点，比如系统维护修改比较困难，并且面向对象不能够完全贴合现实世界地进行模拟。
技术实现思路
为了解决现有技术中存在的上述问题，本专利技术提供了一种基于Agent的多源异构政务数据抽取系统。本专利技术要解决的技术问题通过以下技术方案实现：本专利技术提供了一种基于Agent的多源异构政务数据抽取系统，包括主控Agent以及分别连接至所述主控Agent的多个Agent组，所述主控Agent用于启动或终止所述多个Agent组，其中，每个所述Agent组均包括数据抽取Agent、数据处理Agent和数据存储Agent；所述数据抽取Agent连接至所述主控Agent以及位于相同Agent组的数据处理Agent，用于抽取数据并将所述数据发送至所述数据处理Agent；所述数据处理Agent连接至位于相同Agent组的数据存储Agent，用于对所述数据进行分类处理，并将分类处理后的数据发送至所述数据存储Agent；所述数据存储Agent用于对分类处理后的数据进行存储。在本专利技术的一个实施例中，所述主控Agent包括一级用户操作界面，用于启动或终止所述多个Agent组。在本专利技术的一个实施例中，每个所述Agent组中的数据抽取Agent均包括二级用户操作界面，用于显示当前的数据抽取进度条以及抽取百分比。在本专利技术的一个实施例中，所述多源异构政务数据抽取系统包括3个Agent组，分别用于对来自不同数据源的数据进行抽取、处理和存储。在本专利技术的一个实施例中，所述3个Agent组分别为网页Agent组、微信Agent组和微博Agent组。在本专利技术的一个实施例中，所述网页Agent组包括网页数据抽取Agent、网页数据处理Agent和网页数据存储Agent，其中，所述网页数据抽取Agent连接所述主控Agent和所述网页数据处理Agent，用于抽取预设的网页数据，并将抽取的网页数据发送至所述网页数据处理Agent；所述网页数据处理Agent连接所述网页数据存储Agent，用于对所述网页数据进行分类处理，并将分类处理后的网页数据发送至所述网页数据存储Agent；所述网页数据存储Agent用于对分类处理后的网页数据进行存储。在本专利技术的一个实施例中，所述微信Agent组包括微信数据抽取Agent、微信数据处理Agent和微信数据存储Agent，其中，所述微信数据抽取Agent连接所述主控Agent和所述微信数据处理Agent，用于抽取预设的微信数据，并将抽取的微信数据发送至所述微信数据处理Agent；所述微信数据处理Agent连接所述微信数据存储Agent，用于对所述微信数据进行分类处理，并将分类处理后的微信数据发送至所述微信数据存储Agent；所述微信数据存储Agent用于对分类处理后的微信数据进行存储。在本专利技术的一个实施例中，所述微博Agent组包括微博数据抽取Agent、微博数据处理Agent和微博数据存储Agent，其中，所述微博数据抽取Agent连接所述主控Agent和所述微博数据处理Agent，用于抽取预设的微博数据，并将抽取的微博数据发送至所述微博数据处理Agent；所述微博数据处理Agent连接所述微博数据存储Agent，用于对所述微博数据进行分类处理，并将分类处理后的微博数据发送至所述微博数据存储Agent；所述微博数据存储Agent用于对分类处理后的微博数据进行存储。在本专利技术的一个实施例中，所述网页数据抽取Agent包括第一二级用户操作界面，用于显示网页数据的当前抽取进度条和抽取百分比；所述微信数据抽取Agent包括第二二级用户操作界面，用于显示微信数据的当前抽取进度条和抽取百分比；所述微博数据抽取Agent包括第三二级用户操作界面，用于显示微博数据的当前抽取进度条和抽取百分比。与现有技术相比，本专利技术的有益效果在于：1、本专利技术基于Agent的多源异构政务数据抽取系统包括主控Agent以及分别连接至所述主控Agent的多个Agent组，通过多Agent系统耦合度较低的特点以及Agent的协作性、社会性等特点，使得该信息抽取系统具有低耦合和高效率的优点。2、本专利技术基于Agent的多源异构政务数据抽取系统在数据抽取过程中只有主控Agent和各个Agent组之间存在交互，以及每个Agent组中的各个Agent之间存在交互，而不同的Agent组之间不存在交互作用，因此提高了系统的安全性，此外，只有在用到时相应的Agent组才会存在，提升了系统性能，节省了内存空间。附图说明图1为本专利技术实施例提供的基于Agent的多源异构政务数据抽取系统的结构示意图；图2为本专利技术实施例提供的基于Agent的多源异构政务数据抽取系统的另一结构示意图；图3为主控Agent与各Agent组的交互示意图；图4为网页Agent组的内部交互示意图；图5为微信Agent组的内部交互示意图；图6为微博Agent组的内部交互示意图。具体实施方式下面将结合具体实施例对本专利技术的内容做进一步描述，但本专利技术的实施方式不限于此。实施例一请参见图1，图1为本专利技术实施例提供的基于Agent的多源异构政务数据抽取系统的结构示意图。本实施例基于Agent的多源异构政务数据抽取系统包括主控Agent101以及分别连接至所述主控Agent101的多个Agent组，主控Agent101能够启动或终止所述多个Agent组。每个Agent组均包括数据抽取Agent、数据处理Agent和数据存储Agent；数据抽取Agent连接至主控Agent101以及位于相同Agent组的数据处理Agent，用于抽取数据并将数据发送至数据处理Agent；数据处理Agent连接至位于相同Agent组的数据存储Agent，用于对数据进行分类处理，并将分类处理后的数据发送至数据存储Agent；数据存储Agent用于对分类本文档来自技高网...

【技术保护点】
1.一种基于Agent的多源异构政务数据抽取系统，其特征在于，包括主控Agent(101)以及分别连接至所述主控Agent(101)的多个Agent组，所述主控Agent(101)用于启动或终止所述多个Agent组，其中，/n每个所述Agent组均包括数据抽取Agent、数据处理Agent和数据存储Agent；/n所述数据抽取Agent连接至所述主控Agent(101)以及位于相同Agent组的数据处理Agent，用于抽取数据并将所述数据发送至所述数据处理Agent；/n所述数据处理Agent连接至位于相同Agent组的数据存储Agent，用于对所述数据进行分类处理，并将分类处理后的数据发送至所述数据存储Agent；/n所述数据存储Agent用于对分类处理后的数据进行存储。/n

【技术特征摘要】
1.一种基于Agent的多源异构政务数据抽取系统，其特征在于，包括主控Agent(101)以及分别连接至所述主控Agent(101)的多个Agent组，所述主控Agent(101)用于启动或终止所述多个Agent组，其中，
每个所述Agent组均包括数据抽取Agent、数据处理Agent和数据存储Agent；
所述数据抽取Agent连接至所述主控Agent(101)以及位于相同Agent组的数据处理Agent，用于抽取数据并将所述数据发送至所述数据处理Agent；
所述数据处理Agent连接至位于相同Agent组的数据存储Agent，用于对所述数据进行分类处理，并将分类处理后的数据发送至所述数据存储Agent；
所述数据存储Agent用于对分类处理后的数据进行存储。


2.根据权利要求1所述的多源异构政务数据抽取系统，其特征在于，所述主控Agent(101)包括一级用户操作界面(1011)，用于启动或终止所述多个Agent组。


3.根据权利要求1所述的多源异构政务数据抽取系统，其特征在于，每个所述Agent组中的数据抽取Agent均包括二级用户操作界面，用于显示当前的数据抽取进度条以及抽取百分比。


4.根据权利要求1所述的多源异构政务数据抽取系统，其特征在于，所述多源异构政务数据抽取系统包括3个Agent组，分别用于对来自不同数据源的数据进行抽取、处理和存储。


5.根据权利要求4所述的多源异构政务数据抽取系统，其特征在于，所述3个Agent组分别为网页Agent组(102)、微信Agent组(103)和微博Agent组(104)。


6.根据权利要求5所述的多源异构政务数据抽取系统，其特征在于，所述网页Agent组(102)包括网页数据抽取Agent(1021)、网页数据处理Agent(1022)和网页数据存储Agent(1023)，其中，
所述网页数据抽取Agent(1021)连接所述主控Agent(101)和所述网页数据处理Agent(1022)，用于抽取预设的网页数据，并将抽取的网页数据发送至所述网页数据处理Agent(1022)；
所述网页数据处理Agent(1022)连接所述网页数据存储Agent(1023)，用于对所述网页数据进行分类处理，并将分类...

【专利技术属性】
技术研发人员：蔺一帅，李青山，朱家伟，张祎轩，马宁宁，孔令军，王蓓，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61