一种封闭网络终端行为数据的采集方法及系统技术方案

本发明专利技术提供一种封闭网络终端行为数据的采集方法及系统，所述方法包括：基于目标封闭网络中各终端上的代理服务，对各所述终端上的历史行为数据进行采集，并将所述历史行为数据发送给数据采集管控中心；基于所述数据采集管控中心，将所述历史行为数据发送到Flume数据采集框架；基于所述Flume数据采集框架接收所述历史行为数据，并将所述历史行为数据发送到Elasticsearch集群，以供Elasticsearch集群对所述历史行为数据进行存储和管理。本发明专利技术实现对封闭网络终端的历史行为数据进行实时、并发、可靠的分布式采集。

A Data Acquisition Method and System for Closed Network Terminal Behavior

The invention provides a method and a system for collecting behavior data of closed network terminals, which includes: collecting historical behavior data of the terminals based on the agent services of the terminals in the target closed network, and sending the historical behavior data to the data acquisition and control center; transmitting the historical behavior data based on the data acquisition and control center; It is sent to the Flume data acquisition framework and receives the historical behavior data based on the Flume data acquisition framework, and sends the historical behavior data to the Elastic search cluster for storage and management of the historical behavior data. The invention realizes real-time, concurrent and reliable distributed acquisition of historical behavior data of closed network terminals.

【技术实现步骤摘要】
一种封闭网络终端行为数据的采集方法及系统
本专利技术属于数据采集
，更具体地，涉及一种封闭网络终端行为数据的采集方法及系统。
技术介绍
随着信息技术的高速发展，网络内部用户的安全隐患问题越来越突出，网络内部用户的操作行为和习惯的监控越来越受到业界的重视。然而，针对网络内部用户行为监控也存在着很多困难和问题，例如，如何能够对网络内部用户的操作行为和习惯进行全方位分析，如何能够高可靠、高性能、灵活扩展的采集用户的行为数据，如何能够针对终端和服务器行为数据进行有效采集等。以上这些问题都需要从技术上给予支撑，而解决以上这些问题首先需要对网络内部用户的行为数据进行有效采集，现有的网络日志采集技术主要有Flume分布式采集技术、Fluentd日志采集技术、Scribe日志采集技术和SplunkForwarder日志采集技术。这四种数据采集技术是目前国内外最流行的大规模日志数据收集技术，大都提供高可靠和高扩展的数据收集。大多平台都抽象出了输入、输出和中间的缓冲的架构，利用分布式的网络连接基本都能实现一定程度的扩展性和高可靠性。其中，Flume和Fluentd是两个被广泛使用的数据采集技术架构本文档来自技高网...

【技术保护点】
1.一种封闭网络终端行为数据的采集方法，其特征在于，包括：基于目标封闭网络中各终端上的代理服务，对各所述终端上的历史行为数据进行采集，并将所述历史行为数据发送给数据采集管控中心；基于所述数据采集管控中心，将所述历史行为数据发送到Flume数据采集框架；基于所述Flume数据采集框架接收所述历史行为数据，并将所述历史行为数据发送到Elasticsearch集群，以供Elasticsearch集群对所述历史行为数据进行存储和管理。

【技术特征摘要】
1.一种封闭网络终端行为数据的采集方法，其特征在于，包括：基于目标封闭网络中各终端上的代理服务，对各所述终端上的历史行为数据进行采集，并将所述历史行为数据发送给数据采集管控中心；基于所述数据采集管控中心，将所述历史行为数据发送到Flume数据采集框架；基于所述Flume数据采集框架接收所述历史行为数据，并将所述历史行为数据发送到Elasticsearch集群，以供Elasticsearch集群对所述历史行为数据进行存储和管理。2.根据权利要求1所述的方法，其特征在于，基于目标封闭网络中各终端上的代理服务，对各所述终端上的历史行为数据进行采集的步骤具体包括：基于目标封闭网络中各终端上的代理服务，通过系统调用读取各所述终端中的系统日志、注册表、驱动信息、系统缓存、内核信息，以及扫描各所述终端的端口信息和和读取浏览器的加密文件中的一种或多种，获取各所述终端上的历史行为数据。3.根据权利要求1所述的方法，其特征在于，基于目标封闭网络中各终端上的代理服务，对各所述终端上的历史行为数据进行采集的步骤具体包括：基于目标封闭网络中各终端上的代理服务，获取上次采集的各所述终端上的历史行为数据生成的时间，并记录所述时间中的最后时间；对在所述最后时间之后生成的历史行为数据进行采集。4.根据权利要求1所述的方法，其特征在于，所述历史行为数据包括用户开关机信息、用户对文件的操作信息、浏览器的访问信息、可移动存储设备的信息、终端端口信息、共享目录信息、操作系统记录信息、主机磁盘分区信息、用户安装软件信息、进程相关信息、终端开启服务信息、三合一软件运行信息、磁盘基本信息、无线网卡驱动信息、网卡信息和口令复杂度信息中的一种或多种。5.根据权利要求1所述的方法，其特征在于，基于所述数据采集管控中心将所述历史行为数据发送到Flume数据采集框架的步骤具体包括：基于所述数据采集管控中心调用Flume数据采集框架的接口，将所述历史行为数据封装成事件包，并将所述事件包发送到所述Flume数据采集框架中的一级节点上；基于各所述一级节点，将所述事件包发送给所述Flume数据采集框架中的二级节点上。6.根据权利要求1所述的方法，其特征在于，基于所述Flume数据采集框架接收...

【专利技术属性】
技术研发人员：王妍，李宁，卢丹，王丹，孙静雅，田雨，王旭，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：北京,11