一种数据处理方法和系统技术方案

本申请公开了一种数据处理方法和系统，所述方法包括：本地客户端根据预设规则采集本地监控数据；所述本地客户端将所述本地监控数据发送给数据服务器；所述信息采集路由器获取所述本地客户端与指定的远程服务器之间的网络监控数据；所述信息采集路由器将所述网络监控数据发送给所述数据服务器；所述数据服务器将所述本地监控数据和所述网络监控数据进行清洗操作后存储到数据库中。实施本发明专利技术，能提高数据采集的覆盖率。

【技术实现步骤摘要】
一种数据处理方法和系统
本专利技术涉及安防领域，尤其涉及一种数据处理方法和系统。
技术介绍
在安防领域，随着全方位和多层次监控时代的到来，产生了越来越多的安防监控数据，是一种典型的大数据。如何以较小的通信代价实现安防大数据的互联互通，并具有较高的扩展弹性和易于实施的特点，是目前安防监控大数据要挑战的难题。安防监控数据具有2个明显的特点：1)数据规模海量化：2)数据类型非结构化。数据规模海量化造成数据传输和存储的困难，数据类型非结构化为数据利用带来了极大的挑战，为了解决这些难题需要用到大数据。在安防领域，信息孤岛问题十分突出。在一座城市内，既有公安部门安装的监控节点，也有各个单位安装的监控节点。这些节点或设备产生的监控数据难于实现互联互通，造成信息孤岛现象。近年来，以云计算和物联网为核心的智慧城市建设提出大安防概念，试图将这些孤立的监控信息集成在一起，从而实现联网和共享。然而，安防监控数据量巨大，造成通信带宽的巨大消耗。如何采集有效采集各个监控节点的数据是目前亟待解决的问题。
技术实现思路
本专利技术实施例所要解决的技术问题在于，提供一种数据处理方法和系统，解决采集的监控数据覆盖率不高的问题。为了解决上述技术问题，本申请提供了一种数据处理方法，包括：本地客户端根据预设规则采集本地监控数据；本地客户端将本地监控数据发送给数据服务器；信息采集路由器获取本地客户端与指定的远程服务器之间的网络监控数据；信息采集路由器将网络监控数据发送给数据服务器，数据服务器接收来自本地客户端的本地监控数据，以及接收来自信息采集路由器的网络监控数据，数据服务器将本地监控数据和网络监控数据进行清洗操作后存储到数据库中，例如：存储到关系型数据库中。实施本专利技术实施例，信息采集路由器监测本地客户端与远程服务器之间的网络监控数据或监控本地客户端上运行的程序产生的本地监控数据，并将上述本地监控数据和网络监控数据传回数据服务器进行清洗成预设格式后存储至数据库中，以便后续对上述监控数据进行大数据分析和挖掘，以及提高数据采集的覆盖率。在一种可能的设计中，本地客户端根据预设规则采集本地监控数据包括：在进程启动时，本地客户端获取进程的进程标识；在所述进程标识为预设标识的情况下，所述本地客户端采集所述进程运行过程中生成的内部数据作为所述本地监控数据。在一种可能的设计中，所述本地监控数据包括输入给所述进程的数据和所述进程输出的数据。在一种可能的设计中，所述信息采集路由器获取本地客户端与指定的远程服务器之间的网络监控数据包括：信息采集路由器接收来自交换机的本地客户端与指定的服务器之间的网络监控数据。所述信息采集路由器将所述网络监控数据发送给所述数据服务器之前，还包括：所述信息采集路由器将所述网络监控数据包括的数据包进行去重处理，将去重处理后的网络监控数据发送给所述数据服务器。本申请第二方面提供了一种数据处理系统，包括：本地客户端、信息采集路由器和数据服务器；所述本地客户端，用于根据预设规则采集本地监控数据；所述本地客户端，还用于将所述本地监控数据发送给所述数据服务器；所述信息采集路由器，用于获取所述本地客户端与指定的远程服务器之间的网络监控数据；所述信息采集路由器，还用于将所述网络监控数据发送给所述数据服务器；所述数据服务器，接收来自所述本地客户端的所述本地监控数据，以及接收来自所述信息采集路由器的网络监控数据；所述数据服务器，还用于将所述本地监控数据和所述网络监控数据进行数据清洗处理后存储至数据库中。在一种可能的设计中，所述本地客户端通过所述信息采集路由器与所述数据服务器通信。在一种可能的设计中，还包括：交换机；所述本地客户端通过所述交换机与所述数据服务器进行通信，所述交换机与所述信息采集路由器并联；所述交换机，用于采集所述本地客户端与指定的远程服务器之间的网络监控数据；以及，将所述网络监控数据发送给所述信息采集路由器。在一种可能的设计中，所述本地客户端根据预设规则采集本地监控数据包括：在检测在进程启动时，获取所述进程的进程标识；在所述进程标识为指定标识的情况下，采集所述进程的输入数据和输出数据作为所述本地监控数据。本申请又一方面提供了一种装置，该装置包括：存储器、处理器和收发器；其中，所述收发器，用于接收来自本地客户端的本地监控数据，以及接收来自信息采集路由器的网络监控数据；所述存储器中存储一组程序代码，且所述处理器用于调用所述存储器中存储的程序代码，用于执行：将所述本地监控数据和所述网络监控数据进行清洗操作后存储到数据库。在一种可能的设计中，所述收发器，还用于接收来自信息查询终端的查询请求；向所述信息查询终端发送查询响应。本申请的又一方面提了供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。本申请的又一方面提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种数据处理系统的结构示意图；图2是本专利技术实施例提供的一种数据处理方法的流程示意图；图3是本专利技术实施例提供的一种装置的结构示意图；图4是本方实施例提供的一种装置的另一结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行描述。参见图1，为本专利技术实施例提供的一种数据处理系统的结构示意图，在本专利技术实施例中，数据处理系统包括本地客户端、信息采集路由器和数据服务器。其中，本地客户端、信息采集路由器和数据服务器的数量可以是一个或多个。本地客户端与信息采集路由器的连接方式可以是串联，即本地客户端通过信息采集路由器与数据服务器连接。本地客户端与信息采集路由器的连接方式也可以是并连，即本地客户端通过交换机与数据服务器连接，信息采集路由器与交换机连接。其中，在本地客户端与信息采集路由器的连接方式为串联的情况下，信息采集路由器可通过互联网、带路由功能的防火墙、信息接收主机与数据服务器连接，数据服务器再与信息查询终端连接。数据服务器和信息查询终端可位于同一个虚拟局域网(virtuallocalareanetwork，VLAN)，信息查询终端和数据服务器不暴露在互联网上，即信息查询终端和数据服务器使用非公开IP地址进行通信。其中，在本地客户端与信息采集路由器的连接方式为并联的情况下，交换机可通过互联网、带路由功能的防火墙、信息接收主机与数据服务器连接，数据服务器再与信息查询终端连接。其中，数据服本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n本地客户端根据预设规则采集本地监控数据；/n所述本地客户端将所述本地监控数据发送给数据服务器；/n所述信息采集路由器获取所述本地客户端与指定的远程服务器之间的网络监控数据；/n所述信息采集路由器将所述网络监控数据发送给所述数据服务器；/n所述数据服务器将所述本地监控数据和所述网络监控数据进行清洗操作后存储到数据库中。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
本地客户端根据预设规则采集本地监控数据；
所述本地客户端将所述本地监控数据发送给数据服务器；
所述信息采集路由器获取所述本地客户端与指定的远程服务器之间的网络监控数据；
所述信息采集路由器将所述网络监控数据发送给所述数据服务器；
所述数据服务器将所述本地监控数据和所述网络监控数据进行清洗操作后存储到数据库中。


2.根据权利要求1所述的方法，其特征在于，所述本地客户端根据预设规则采集本地监控数据包括：
在进程启动时，所述本地客户端获取所述进程的进程标识；
在所述进程标识为预设标识的情况下，所述本地客户端采集所述进程运行过程中生成的内部数据作为所述本地监控数据。


3.根据权利要求2所述的方法，其特征在于，所述本地监控数据包括输入给所述进程的数据和所述进程输出的数据。


4.根据权利要求1所述的方法，其特征在于，所述信息采集路由器获取所述本地客户端与指定的远程服务器之间的网络监控数据包括：
所述信息采集路由器监听所述本地客户端和与指定的远程服务器之间的数据包的网络地址；
所述信息采集路由器采集网络地址为预设网络地址的数据包作为所述网络监控数据。


5.根据权利要求1所述的方法，其特征在于，所述信息采集路由器获取所述本地客户端与指定的远程服务器之间的网络监控数据包括：
所述信息采集路由器接收来自交换机的所述本地客户端与指定的远程服务器之间的网络监控数据。


6.根据权利要求4或5所述的方法，其特征在于，所述信息采集路由器将所述网络监控数...

【专利技术属性】
技术研发人员：直跃峰，王军，
申请(专利权)人：深圳市从晶科技有限公司，
类型：发明
国别省市：广东;44