用于使用并行性、无状态查询、数据切片或异步拉取机构处理安全系统中数据的系统和方法技术方案

本申请涉及用于使用并行性、无状态查询、数据切片或异步拉取机构处理安全系统中的数据的系统和方法。一些方法可以包括中央服务器的多个数据拉取设备中的每一个从多个区域服务器数据库中的相应一个检索数据，其中所述多个数据拉取设备的数目等于所述多个区域服务器数据库的数目，并且其中所述多个数据拉取设备异步地运转。此外或可替换地，一些方法可以包括中央服务器的多个线程中的每一个从多个区域服务器数据库检索预定大小的数据，其中所述多个线程是无状态的，使得所述多个线程中的任何一个可从所述多个区域服务器数据库中的任何一个检索数据。

Systems and methods for processing data in security systems using parallelism, stateless queries, data slicing, or asynchronous pull-out mechanisms

The present application relates to systems and methods for processing data in security systems using parallelism, stateless queries, data slicing, or asynchronous pull-out mechanisms. Some methods can include the corresponding retrieving data from each of the multiple regional server databases in multiple data pulling devices of the central server, in which the number of the multiple data pulling devices is equal to the number of the multiple regional server databases, and the multiple data pulling devices in it are asynchronous. Work. In addition or alternatively, some methods can include each of multiple threads in a central server that retrieves predetermined size data from multiple regional server databases, in which the multiple threads are stateless, so that any one of the multiple threads can be from any one of the multiple regional server databases. Retrieve data.

【技术实现步骤摘要】
用于使用并行性、无状态查询、数据切片或异步拉取机构处理安全系统中数据的系统和方法
本专利技术一般地涉及安全系统。更特别地，本专利技术涉及用于使用并行性、无状态查询、数据切片和/或异步拉取机构处理安全系统中的数据的系统和方法。
技术介绍
已知安全系统包括中央服务器和与中央服务器通信的多个区域服务器。例如，区域服务器向中央服务器实时报告所检测到的警报或事件，并且在中央服务器处复制区域服务器处的数据。在一些已知的安全系统中，采用微软（Microsoft）复制（其具有非常严格的分发商/发行商和订户架构），并且将服务器数据库的快照用作升级数据库的起始点。然而，当服务器之一的数据库是大的时，生成快照可能是以数天量级的耗时过程，因而相当大地减慢系统和延迟启动。已知的系统还采用针对事件的合并和事务复制，使得以规律间隔（例如每五秒）轮询区域服务器数据库。然而，在其中向区域服务器数据库不断添加事件的大系统中，数据库中的表格可能非常大。实际上，针对事件的事务复制可以使区域服务器数据库的性能降级到必须禁用这样的复制以使系统有效工作的地步。以上所描述的复制可以创建已知系统和方法中的表格层级锁定。例如，由于数据拉取调度对于系统中的所有区域都是常见的，因此来自区域服务器的表格的数据可能在相同时间被拉取，以试图将这样的数据插入到中央服务器的表格中。然而，当已知系统和方法试图同时向相同表格写入时，创建表格层级锁定，并且系统失效。另外，在已知安全系统中，中央服务器处的数据库的复制品必须完美地与区域服务器数据库匹配。因此，中央服务器和区域服务器不能包括数据库的不同版本或略图，并且倘若安装中途失败则升级数据库要求从擦除重建数据库以及重新开始任何这样的重建。例如，在升级期间出现瓶颈，因为升级要求解除安装、升级和重新安装。类似地，在新安装中，由于数据库的略图可以被修改，因此如果线程脱离同步，则安装失败，并且没有办法从失败点进行恢复；要求完全重新安装。以上全部可以导致针对区域服务器的明显停机时间。再进一步地，由于已知安全系统使用复制来从区域服务器向单个中央服务器拷贝数据，因此创建区域服务器数据库的多个副本，并且必须将来自全部区域服务器的数据拷贝至中央服务器。这些多个副本减慢处理时间并且消耗存储器。鉴于以上，存在对于改进的系统和方法的持续、进行中的需要。附图说明图1是依照所公开的实施例的中央服务器的框图；图2是依照所公开的实施例的中央服务器的拉取设备的框图；以及图3是依照所公开的实施例的系统的框图。具体实施方式虽然本专利技术容许以许多不同形式的实施例，但是在以下理解的情况下在附图中示出并且将在本文中详细描述其具体实施例：本公开要被视为本专利技术的原理的例示。不意图将本专利技术限制到具体说明的实施例。本文所公开的实施例可以包括用于使用并行性、无状态查询、数据切片和/或异步拉取机构处理安全系统中的数据、以减少所处理的数据量和处理这样的数据的时间量的系统和方法。依照所公开的实施例的系统和方法可以包括中央服务器和与中央服务器通信的多个区域服务器，并且针对所述系统的数据处理的大部分可以发生在中央服务器上。例如，中央服务器可以实现拉取或调用机构以从区域服务器检索数据，并且中央服务器可以充当数据仓库。要理解到，本文所公开的系统和方法不采用微软复制。因此，本文所公开的系统和方法不需要包括区域服务器数据库的多个副本。还要理解到，本文所公开的系统和方法不需要服务器数据库的快照来升级数据库。而是，当升级数据库时，本文所公开的系统和方法可以采用锚定机构，使得数据库的起始点可以是可配置的且由用户标识。在一些实施例中，可以在每一个区域服务器的数据库内维护改变，并且中央服务器可以在按需的基础上捕获这样的改变以用于写入到表格。然而，在一些实施例中，中央服务器数据库可以总是反映系统的当前状态或来自区域服务器的数据被捕获到的最后时间点，从而使中央服务器高度可缩放。还要理解到，本文所公开的中央服务器和区域服务器可以包括数据库的不同版本或略图。例如，在一些实施例中，用户可以向中央服务器和区域服务器中的一个或二者中注入定制逻辑或规则以盖写默认值，并且该规则可以在略图失配时确定结果，诸如警告用户、记录数据库的状态，或嵌入值或空值。另外，在一些实施例中，本文所公开的系统和方法可以实现模板映射以在中央服务器的数据库不完美地匹配区域服务器的数据库时标识数据库的匹配部分。在一些实施例中，如本文所公开的中央服务器可以实现微服务架构，使得中央服务器包括与所述多个区域服务器以一比一的比例的多个数据拉取机构或设备，所述多个区域服务器与中央服务器通信。也就是说，中央服务器可以为与中央服务器通信的每一个区域服务器实现一个数据拉取机构或设备以实现高并行性。以此方式，数据拉取机构中的每一个可以按关于彼此异步的方式运转，并且数据拉取机构中的每一个可以按相应的预定时间间隔唤醒以标识和捕获相应区域服务器数据库中的任何改变。由于数据拉取机构可以异步运转，因此可以按无阻塞的方式拉取数据。在一些实施例中，如本文所公开的中央服务器可以实现内部线程池以实现高并行性，并且在一些实施例中，如本文所公开的中央服务器可以实现数据切片以改进查询性能。例如，如果中央服务器被分配其数据库中的每一个表格一个线程，则处理时间将如最慢的线程那样快，因而产生瓶颈。然而，在所公开的实施例中，通过使用数据切片，每一个线程可以查询预定大小的数据，并且没有线程束缚于任何一个表格。也就是说，线程可以是无状态的，并且无论线程池中的哪一个线程空闲都可以查询数据以用于处理。以此方式，如本文所公开的中央服务器的线程池可以智能地确定针对线程池的负载并且相应地处理负载。实际上，当数据准备好被检索时，线程可以发布查询、提取数据，并且释放空间，因此其它线程可以施行。另外，以此方式，可以避免表格层级锁定，因为在任何时间点处，多个线程将不试图访问相同表格。而是，具有针对相同表格的数据的线程可以按所指派的次序被指派相应点以用于向表格写入。在一些实施例中，本文所公开的系统和方法可以包括不同的数据队列，其中每一个数据队列可以按不同的状态持有数据。当中央服务器从区域服务器拉取数据时，中央服务器可以根据数据的状态将数据放置在队列中。然而，当数据被处理时，中央服务器可以将数据移动到处理队列。图1是依照所公开的实施例的中央服务器100的框图。如在图1中所看到的，中央服务器100可以包括控制电路110（其可以包括存储器设备120）、一个或多个可编程处理器130和可执行控制软件140，如本领域普通技术人员将理解到的。存储器设备120可以包括数据库和/或表格，如以上所描述的，并且可执行控制软件140可以存储在暂时性或非暂时性计算机可读介质上，所述介质包括但不限于本地计算机存储器、RAM、光学存储介质、磁性存储介质、闪速存储器等。在一些实施例中，控制电路110、可编程处理器130和控制软件140中的一些或全部可以施行和控制以上和本文所描述的方法中的至少一些。控制电路110可以实现、包括一个或多个数据拉取设备150或与其通信，所述一个或多个数据拉取设备150中的每一个可以标识和捕获相应区域服务器数据库中的改变。如以上所解释的，数据拉取设备150的数目可以在一对一的基础上对应于与中央服务器100通信的区域服务本文档来自技高网...

【技术保护点】
1.一种方法，包括：中央服务器的多个数据拉取设备中的每一个从多个区域服务器数据库中的相应一个检索数据，其中，所述多个数据拉取设备的数目等于所述多个区域服务器数据库的数目，并且其中，所述多个数据拉取设备异步地运转。

【技术特征摘要】
2017.01.23 US 15/4122571.一种方法，包括：中央服务器的多个数据拉取设备中的每一个从多个区域服务器数据库中的相应一个检索数据，其中，所述多个数据拉取设备的数目等于所述多个区域服务器数据库的数目，并且其中，所述多个数据拉取设备异步地运转。2.权利要求1所述的方法，还包括：配置所述多个区域服务器数据库中的每一个的起始点；以及从与起始点之后的时间相关联的所述多个区域服务器数据库检索数据。3.权利要求2所述的方法，还包括基于所接收的用户输入而配置起始点。4.权利要求1所述的方法，其中，在所述多个区域服务器数据库中的每一个内维护所述多个区域服务器数据库中的每一个内的改变，并且其中，中央服务器按照需要捕获所述多个区域服务器数据库中的每一个内的改变。5.权利要求1所述的方法，其中，中央服务器数据库具有第一略图，并且其中，所述多个区域服务器数据库中的一个具有第二、不同的略...

【专利技术属性】
技术研发人员：GK皮莱，
申请(专利权)人：霍尼韦尔国际公司，
类型：发明
国别省市：美国,US