一种基于分布式调度的公安部级审计数据查询方法技术

本发明专利技术提供了一种基于分布式调度的公安部级审计数据查询方法，涉及分布式技术领域，能够实现各个节点的独立查询以及每个节点对其子孙节点的审计数据查询，提升了审计数据检索查询的性能和数据安全性；该查询方法构建一个具有树形级联结构的审计系统，将审计数据分布式地存储在所述审计系统的各级节点中；每一个节点的证书应用审计系统均具有独立的审计数据存储、计算和查询功能、任务调度功能，能够实现任务调度、任务处理和数据计算；对每一个节点的证书应用审计系统的审计数据访问权限做限定，使各个节点仅能查询本节点及其所属子孙节点上的审计数据。本发明专利技术提供的技术方案适用于审计数据查询的过程中。

A query method of audit data at the level of Ministry of public security based on distributed scheduling

【技术实现步骤摘要】
一种基于分布式调度的公安部级审计数据查询方法
本专利技术涉及分布式
，尤其涉及一种基于分布式调度的公安部级审计数据查询方法。
技术介绍
在公安行业内，审计数据是存储在应用服务器上的，或是按区域进行汇聚。当前公安网的审计数据存储，区域性特性明显，且各地存储的数据独立存在，无法集中使用，对于公安上级机关，无法实现对下级机关范围内所有审计数据的统一查询。目前，公安行业审计数据的存储，是不区分区域范围的，采用集中存储的方式，但部分审计数据是具有区域安全性的保护要求的，集中存储无法解决该问题，且对于审计数据的查询，需要在全部的海量数据中进行筛选查询，工作量大。因此，有必要设计一种新的基于分布式调度的公安部级审计数据查询方法，以解决或减轻上述一个或多个问题。
技术实现思路
有鉴于此，本专利技术提供了一种基于分布式调度的公安部级审计数据查询方法，采用分布式调度，能够实现各个节点的独立查询以及每个节点对其子孙节点的审计数据查询，提升了审计数据检索查询的性能和数据安全性。一方面，本专利技术提供一种基于分布式调度的审计数据查询方法，其特征在于，所述查询方法构建一个具有级联结构的审计系统，将审计数据分布式地存储在所述审计系统的各级节点中；所述审计系统包括一级证书应用审计系统、二级证书应用审计系统和三级证书应用审计系统三种节点；所述一级证书应用审计系统向下级联若干个二级证书应用审计系统，每一个二级证书应用审计系统向下级联若干个三级证书应用审计系统；每一个节点的证书应用审计系统均具有独立的审计数据存储功能、计算和查询功能、任务调度功能，能够实现任务调度、任务处理和数据计算；。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，每一个节点的证书应用审计系统均采用审计数据计算结果异步主动上报的方式实现各级节点间的级联通信。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，对每一个节点的证书应用审计系统的审计数据访问权限做限定，使各个节点仅能查询本节点及其所属子孙节点上的审计数据。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，每一个证书应用审计系统均包括调度引擎、计算引擎、数据清洗模块、数据转换模块、数据存储模块和结果展示模块。所述调度引擎的主要功能包括：任务启动和分布执行指令的下发、对任务执行结果的概况信息进行汇总并上报、获取子节点上报的任务结果信息、实现任务停止和删除、对系统的访问量进行统计汇总和上报、身份认证和心跳管理。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述计算引擎的主要功能包括：组件任务相关的接口实现、组件执行管理、数据库的操作接口和系统访问量的统计。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述数据存储模块接收PC上报的审计数据，并将接收的数据保存到数据库中。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述数据清洗模块主要功能为从数据库中获取原始的审计数据，根据html格式进行分析和处理，去掉多余的符号，提取出文档中有用的数据。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述调度引擎工作的具体方式包括：在启动任务且子节点有结果进行概况上报后，通过调度引擎去获取子节点的数据；获取数据时，判断获取的索引范围是否已缓存，若未缓存，从计算引擎和各个子节点获取到一定数量的结果后，缓存到调度引擎中，从缓存中取出结果返回；返回的结果集合，保证第一次查看和第n次查看时，数据的顺序不变；如果调度引擎对应的计算引擎任务完成，首先从该节点获取结果。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，组件任务相关的接口实现的具体方式为：提供组件任务相关的接口，调度引擎调用该类接口；接口包括：任务下发接口、任务执行结果详情查询接口、任务停止接口和任务删除接口。与现有技术相比，本专利技术可以获得包括以下技术效果：采用分布式调度布局，可保持审计数据区域性安全独立，为各区域内管理人员提供审计数据的查询，同时也能解决上级层面的业务审计数据的查询问题；解决了审计数据查询权限控制问题，将各级对审计数据的查询权限限制在其行政管理区域范围内，保障了数据的安全性，并且，各节点具备独立的审计运算能力，提升了审计数据检索查询的性能和数据安全性。当然，实施本专利技术的任一产品并不一定需要同时达到以上所述的所有技术效果。【附图说明】为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1是本专利技术一个实施例提供的分布式调度和计算的组网结构图；图2是本专利技术一个实施例提供的调度引擎任务下发线程的处理流程图；图3是本专利技术一个实施例提供的调度引擎任务结果概况信息接收的流程图；图4是本专利技术一个实施例提供的调度引擎任务结果概况信息上报的流程图；图5是本专利技术一个实施例提供的调度引擎中任务结果信息获取线程的流程图；图6是本专利技术一个实施例提供的调度引擎中系统访问量统计信息的接收处理流程图；图7是本专利技术一个实施例提供的调度引擎中系统访问量统计信息的上报处理流程图；图8是本专利技术一个实施例提供的任务组件执行流程图；图9是本专利技术一个实施例提供的数据库的操作接口的处理流程图；图10是本专利技术一个实施例提供的查询数据接口处理流程图；图11是本专利技术一个实施例提供的数据库写接口处理流程图；图12是本专利技术一个实施例提供的计算引擎中被访问的未确认业务系统的统计排名流程图；图13是本专利技术一个实施例提供的全文检索组件的任务执行接口的实现和处理流程图。【具体实施方式】为了更好的理解本专利技术的技术方案，下面结合附图对本专利技术实施例进行详细描述。应当明确，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。在本专利技术实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本专利技术。在本专利技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。为了克服现有技术的不足，本专利技术将各区域审计数据在各区域内集中独立保存，在数据服务方面，各区域为分布节点，可独立提供基于本节点的数据计算和审计查询服务。各节点通过服务级联的分布式调度的方式，又可实现在公安上级机关层面，进行各区域的审计数据的调度和计算。具体为，各节点通过数据服务接口的交互组合构成整个公安行业内的分布式的审计数据调度与计算系统。本专利技术难点在于满足各区域审计数据独立存储和计算的同时，同时支撑上级层面进行审计数据的调度和计算，其中分布本文档来自技高网...

【技术保护点】
1.一种基于分布式调度的审计数据查询方法，其特征在于，所述查询方法构建一个具有树形级联结构的审计系统，将审计数据分布式地存储在所述审计系统的各级节点中；/n所述审计系统包括一级证书应用审计系统、二级证书应用审计系统和三级证书应用审计系统三种节点；所述一级证书应用审计系统向下级联若干个二级证书应用审计系统，每一个二级证书应用审计系统向下级联若干个三级证书应用审计系统；/n每一个节点的证书应用审计系统均具有独立的审计数据存储功能、计算和查询功能、任务调度功能，能够实现任务调度、任务处理和数据计算。/n

【技术特征摘要】
1.一种基于分布式调度的审计数据查询方法，其特征在于，所述查询方法构建一个具有树形级联结构的审计系统，将审计数据分布式地存储在所述审计系统的各级节点中；
所述审计系统包括一级证书应用审计系统、二级证书应用审计系统和三级证书应用审计系统三种节点；所述一级证书应用审计系统向下级联若干个二级证书应用审计系统，每一个二级证书应用审计系统向下级联若干个三级证书应用审计系统；
每一个节点的证书应用审计系统均具有独立的审计数据存储功能、计算和查询功能、任务调度功能，能够实现任务调度、任务处理和数据计算。


2.根据权利要求1所述的基于分布式调度的审计数据查询方法，其特征在于，每一个节点的证书应用审计系统均采用审计数据计算结果异步主动上报的方式实现各级节点间的级联通信。


3.根据权利要求1所述的基于分布式调度的审计数据查询方法，其特征在于，对每一个节点的证书应用审计系统的审计数据访问权限做限定，使各个节点仅能查询本节点及其所属子孙节点上的审计数据。


4.根据权利要求3所述的基于分布式调度的审计数据查询方法，其特征在于，每一个证书应用审计系统均包括调度引擎、计算引擎、数据清洗模块、数据转换模块、数据存储模块和结果展示模块。


5.根据权利要求4所述的基于分布式调度的审计数据查询方法，其特征在于，所述调度引擎的主要功能包括：任务启动和分布执行指令的下发、对任务执行结果的概况信息进行汇总并上报、获取子节点上报的任务结果信息、实现任务停止和删除、对系...

【专利技术属性】
技术研发人员：邵旭东，曹峰，顾流，刘爱江，陈达，尹心明，樊志杰，陈家明，王曦，张重磊，黄海晔，蔡新玮，曹志威，
申请(专利权)人：上海辰锐信息科技公司，
类型：发明
国别省市：上海;31