一种业务行为数据采集系统技术方案

本发明专利技术提供一种业务行为数据采集系统，所述系统包括业务处理前端、后台数据库服务器、以及安全控管中心；所述系统对业务处理前端和后台数据库服务器分别监控采集数据，分别对监控采集的数据进行解析出各种网络、系统、数据库指令和数据并传输给安全管控中心，安全管控中心对业务处理前端和后台数据库服务器的数据信息进行关联并存储，根据不同的业务需求，用户能从安全控管中心中进行查询获得需要的数据。本发明专利技术的企业IT运维部门能提前发现潜在威胁，预防，阻断危及系统安全和数据安全的事件发生。

A business behavior data acquisition system

The invention provides a business behavior data acquisition system, the system includes a service processing front-end, back-end database server, and security control center; the system of business processing front-end and back-end database server monitoring data collection, monitoring data of various analytical system, network, database and data transmission and instruction to the security control center, security control Center for business processing front-end and back-end database server data storage and Information Association, according to different business needs, users can query to obtain the data from the security control center. The enterprise IT operation and maintenance department of the invention can detect potential threats in advance, and prevent and prevent incidents that endanger system security and data security.

【技术实现步骤摘要】

本专利技术涉及大数据管理
，尤其涉及一种业务行为数据采集系统。
技术介绍
企业内部人员在使用IT业务系统的过程中，会产生大量的数据流、同时形成特有的信息定义和使用行为习惯，我们可以称之为业务行为数据。这些业务行为数据对企业内部流程的优化和再造具有巨大价值。企业高层管理者希望能洞悉这些信息，真正通过系统掌控企业运行状态。企业外部客户、上下游合作企业在使用企业业务系统的过程中，也会产生大量交互数据，行为数据，这些信息对企业优化供应链、优化市场和营销等方面也具有很大的价值，企业也希望能掌握这些信息并从中获取价值。随着企业业务的发展，为满足业务需求的多样性，业务系统经过不断迭代，实际的系统和最初设计往往有较大出入。企业IT及各业务部门希望及时掌握业务系统的真实架构、流程、运行状态等信息，也希望了解各个系统的行为数据，解决掉系统和管理脱节的问题。设计人员设计一个新的业务流程的时候都是从正常业务开展的逻辑展开的，不大会从钻空子的角度防范业务流程漏洞的产生。即使有的设计人员有这方面经验，但由于新业务流程常常需要借助其他已有系统的业务流程，设计人员很难洞察其他已有多个系统的业务逻辑，也无法预见新旧业务流程交互在一起的时候会不会有漏洞产生。特别当企业内部系统越来越多，业务逻辑关联越来越复杂的情况下，任何一个设计人员都无法洞察所有系统，梳理这些系统间的复杂关系也成为了一件人脑无法胜任的事情。企业内部的IT支撑系统在运行过程中，难免有漏洞、瑕疵需要不断修复，改进。
技术实现思路
本专利技术要解决的技术问题，在于提供一种业务行为数据采集系统，企业IT运维部门能提前发现潜在威胁，预防，阻断危及系统安全和数据安全的事件发生。本专利技术是这样实现的：一种业务行为数据采集系统，所述系统包括业务处理前端、后台数据库服务器、以及安全控管中心；所述系统对业务处理前端和后台数据库服务器分别监控采集数据，分别对监控采集的数据进行解析出各种网络、系统、数据库指令和数据并传输给安全管控中心，安全管控中心对业务处理前端和后台数据库服务器的数据信息进行关联并存储，根据不同的业务需求，用户能从安全控管中心中进行查询获得需要的数据。进一步的，所述监控采集数据的方式通过配置交换机镜像端口侧录网络封包，或是安装代理程序于服务器端，其中，安装代理程序采集有分为两种模式：一为侧录网络端口封包模块，另一种为内核层探针模式。进一步的，所述业务处理前端包括前端web层、应用层、前端数据库、或移动app。进一步的，所述监控采集数据的方式采用配置交换机镜像端口侧录网络封包时，所述系统具体为：所述业务处理前端和后台数据库服务器分别对应连接有第一解析器和第二解析器，所述第一解析器抓取业务处理前端的数据解析出各种网络、系统、数据库指令和数据并传输给安全管控中心，所述第二解析器抓取后台数据库服务器的数据解析出各种网络、系统、数据库指令和数据并传输给安全管控中心，安全管控中心获取第一解析器和第二解析器的数据并进行分类、解析后对业务处理前端的数据信息和后台数据库服务器的数据信息进行关联，得到前端用户的行为轨迹，并将关联信息入库供平台查询使用。进一步的，所述第一解析器和第二解析器均包括：网路封包采集模块、解析模块、以及传输模块；所述网路封包采集模块：负责收录业务处理前端或后台数据库服务器网路镜像封包,利用网卡芯片驱动程式撰写高效收录程序,降低封包遗漏问题；解析模块：收录进来封包依照各传输协议特性，由对应模块程序解析，前端http或https应用程序协议由解析http或https解析程序负责解析，各类数据库封包由对应数据库程序解析,解析完成后产制文件存放到一传送队列；传输模块：负责将解析后的文件从传送队列抓取传送给安全控管中心。进一步的，所述第一解析器和第二解析器均还包括：重传模块，所述重传模块：传输过程中因网路中断或其他原因发生传送失败,会暂时将文件送到一重传队列,待网路通信回覆后会自动重新传送。进一步的，所述安全控管中心包括：接收模块、入库模块、统计模块以及比对模块；所述接收模块：负责接收传输模块或重传模块传送的文件,依文件类型将文件分类存放不同目录区块；入库模块：负责将接收模块分类好的文件依各类型文件配置方式入库，该入库时是采用批量高性能的入库方式；统计模块：统计模块定期将还没统计过的数据各维度统计；比对模块：通过统计学原理将业务处理前端应用程序访问特徵值找出，同时也找出后端数据库服务器访问特徵值，两段访问特徵值相互匹配，关连出前端用户的行为轨迹，找到后将这些关连信息入库。进一步的，所述入库模块的批量高性能的入库方式为通过文本方式将各类型文件以复制方式批量上载入库，文件格式与对应表格式以及文件名需按各类型文件先设计好。进一步的，所述通过统计学原理将业务处理前端应用程序访问特徵值找出，同时也找出后端数据库服务器访问特徵值，所谓特徵值泛指业务处理前端应用程序访问与后端数据库服务器访问时所出现的参数、引数或变数值；通过统计学原理即自动于一段时间统计各特徵值出现频率，出现频率高的特徵值将不被采用为匹配特徵值,剩馀特徵值将做为匹配依据,比对模块自动将业务处理前端应用程序访问特徵值与后端数据库服务器特徵值找出特徵值相同的视为关连成功。进一步的，所述两段访问特徵值相互匹配，关连出前端用户的行为轨迹，即当前述关连成功后将取得这个业务处理前端应用程序访问特徵值对应的前端用户名,再将此前端用户名注记到后端数据库层信息，因此关连出前端用户对后端数据库服务器访问轨迹。本专利技术具有如下优点：本专利技术以旁路、代理、探针方式监控“前端”、“后台”和“数据”三大模块间的网络流量封包，分析网络封包结构，解析还原出各种网络、系统、数据库指令和数据，从而还原出业务系统行为和IT支撑系统使用行为。将采集到的海量的行为数据存放在大数据平台并对外提供数据服务。这样能提前发现潜在威胁，预防，阻断危及系统安全和数据安全的事件发生。附图说明下面参照附图结合实施例对本专利技术作进一步的说明。图1为本专利技术系统的原理框图。图2为本专利技术的第一解析器的详细原理图。图3为本专利技术的安全控管中心的详细原理图。具体实施方式现代IT系统通常可划分为“前端”、“后台”和“数据”三大模块，其中“前端”——包括但不限于客户端程序、web程序、移动App等模块；“后台”——包括但不限于应用服务器、web服务器、消息中间件、工作流引擎、企业信息总线等模块；“数据”——包括但不限于各种结构化、非结构化数据，数据库、数据仓库、大数据平台等模块。三大模块间通过各级网络进行数据流转、调用、发布交互行为。本专利技术可以以旁路、代理、探针方式监控三大模块间的网络流量封包，分析网络封包结构，解析还原出各种网络、系统、数据库指令和数据，从而还原出业务系统行为和IT支撑系统使用行为。也包括代理(Agent)或探针(Probe)等其他监控采集形式。请参阅图1至图3所示，本专利技术的一种业务行为数据采集系统，所述系统包括业务处理前端、后台数据库服务器、以及安全控管中心；所述系统对业务处理前端和后台数据库服务器分别监控采集数据，所述监控采集数据的方式包括通过配置交换机镜像端口侧录网络封包，或是安装代理程序于服务器端，其中，安装代理程序采集有分为两种模式：一为侧录网络端口封包模块，另一种为内核层本文档来自技高网...

【技术保护点】
一种业务行为数据采集系统，其特征在于：所述系统包括业务处理前端、后台数据库服务器、以及安全控管中心；所述系统对业务处理前端和后台数据库服务器分别监控采集数据，分别对监控采集的数据进行解析出各种网络、系统、数据库指令和数据并传输给安全管控中心，安全管控中心对业务处理前端和后台数据库服务器的数据信息进行关联并存储，根据不同的业务需求，用户能从安全控管中心中进行查询获得需要的数据。

【技术特征摘要】
1.一种业务行为数据采集系统，其特征在于：所述系统包括业务处理前端、后台数据库服务器、以及安全控管中心；所述系统对业务处理前端和后台数据库服务器分别监控采集数据，分别对监控采集的数据进行解析出各种网络、系统、数据库指令和数据并传输给安全管控中心，安全管控中心对业务处理前端和后台数据库服务器的数据信息进行关联并存储，根据不同的业务需求，用户能从安全控管中心中进行查询获得需要的数据。2.根据权利要求1所述的一种业务行为数据采集系统，其特征在于：所述监控采集数据的方式包括通过配置交换机镜像端口侧录网络封包，或是安装代理程序于服务器端，其中，安装代理程序采集有分为两种模式：一为侧录网络端口封包模块，另一种为内核层探针模式。3.根据权利要求1所述的一种业务行为数据采集系统，其特征在于：所述业务处理前端包括前端web层、应用层、前端数据库、或移动app。4.根据权利要求2所述的一种业务行为数据采集系统，其特征在于：所述监控采集数据的方式采用通过配置交换机镜像端口侧录网络封包时，所述系统具体为：所述业务处理前端和后台数据库服务器分别对应连接有第一解析器和第二解析器，所述第一解析器抓取业务处理前端的数据解析出各种网络、系统、数据库指令和数据并传输给安全管控中心，所述第二解析器抓取后台数据库服务器的数据解析出各种网络、系统、数据库指令和数据并传输给安全管控中心，安全管控中心获取第一解析器和第二解析器的数据并进行分类、解析后对业务处理前端的数据信息和后台数据库服务器的数据信息进行关联，得到前端用户的行为轨迹，并将关联信息入库供平台查询使用。5.根据权利要求4所述的一种业务行为数据采集系统，其特征在于：所述第一解析器和第二解析器均包括：网路封包采集模块、解析模块、以及传输模块；所述网路封包采集模块：负责收录业务处理前端或后台数据库服务器网路镜像封包,利用网卡芯片驱动程式撰写高效收录程序,降低封包遗漏问题；解析模块：收录进来封包依照各传输协议特性，由对应模块程序解析，前端http或https应用程序协议由解析http或https解析程序负责解析，各类数据库封包由对应数据库程序解析,解析完成后...

【专利技术属性】
技术研发人员：陈智渊，李硕，
申请(专利权)人：福建星瑞格软件有限公司，
类型：发明
国别省市：福建;35