一种大型信息化系统数据流式稽核的实现方法及系统技术方案

本发明专利技术公开了一种大型信息化系统数据流式稽核的实现方法及系统，所述方法包括：步骤(1)利用时间差分别从不同网元节点中收集稽核元数据；步骤(2)将稽核元数据分布存储在流式稽核组件中；步骤(3)进行数据流式稽核；步骤(4)校准稽核结果；步骤(5)存储稽核结果。所述系统包括利用时间差收集稽核元数据模块、分布存储稽核元数据模块、流式稽核模块、稽核结果校准模块和稽核结果存储模块。利用时间差从网元节点中收集稽核元数据和利用差异比较法校准稽核结果，可以有效规避异常数据对稽核结果的影响，大大提升流式稽核结果的准确性，同时分布存储稽核元数据可以实现自动容错。

Method and system for realizing data flow auditing of large-scale information system

The invention discloses a method and system for implementing data flow large information system audit, the method includes steps: (1) using the time difference to collect audit metadata from different network elements node respectively; step (2) will be stored in the current metadata distribution audit audit group in step (3) data; flow audit; step (4) calibration of audit results; step (5) store audit results. The system includes collecting the audit metadata module, the distributed storage audit metadata module, the flow audit module, the audit result calibration module and the audit result storage module by the time difference. Using the time difference from the node in the collection of audit metadata and use difference comparison method calibration of the audit results, can effectively avoid the abnormal data on the impact of audit results, greatly enhance the accuracy of current audit results, the audit can be automatically distributed storage metadata fault tolerance.

【技术实现步骤摘要】
一种大型信息化系统数据流式稽核的实现方法及系统
本专利技术涉及大型信息化系统的数据稽核分析领域，尤其是一种大型信息化系统的数据流式稽核实现方法及系统。
技术介绍
信息化有助于企业进行制度创新，提升企业综合竞争力。近年来，我国政企业信息化的应用水平逐步深入，大部分政企集团构建了自己的大型业务支持信息系统，大型业务支持信息系统由多个组件或网元构成，各个组件或网元为保证业务响应能力采用数据本地化，由此相关数据在各个相关系统进行了冗余存储。伴随着信息化时代的到来，业务支持信息化系统的工单、交易数据流量飞速增加，数据结构呈现出了多样性。政企业务支持系统在实际持续系统、业务和运营中，各个组件或网元的冗余数据不一致会导致各组件出现业务结果冲突，例如电信运营商由于这种数据差异的存在导致业务订购、计费及服务的不一致问题日趋严重，由此带来客户投诉增加，业务收入流失，客户服务水平和满意度降低，影响决策系统的可信性。政企集团对于各个组件或者网元数据不一致的情况逐渐重视，各个组件或者网元数据不一致的稽核处理结果的精准性要求也不断的提高。通过建设数据流式稽核技术，开展大型信息化系统各组件、网元间的数据稽核同步，即通过系统的手段发现差异，是弥补大型信息化系统内部数据不一致缺陷的最直接有效的手段，确保大型信息系统的健壮性、可靠性、可控性。现有技术中数据稽核系统平台从FTP中转服务器上获取各个网元平台采集的数据，获取到数据之后再由数据稽核平台进行数据的比较和差异处理，这存在稽核结果准确度不高，不能有效排除异常数据对稽核结果影响的问题。
技术实现思路
本专利技术针对上述存在的问题，提供一种利用时间差收集稽核元数据与差异比较法相结合的可大大提高稽核准确度的大型信息化系统数据流式稽核的实现方法及系统。本专利技术采用的技术方案如下：一种大型信息化系统的数据流式稽核实现方法，其特征在于包括步骤(1)利用时间差分别从不同网元节点中收集稽核元数据；步骤(2)将稽核元数据分布存储在流式稽核组件中；步骤(3)进行数据流式稽核；步骤(4)校准稽核结果；步骤(5)存储稽核结果。更进一步地，所述步骤(1)中提前Δt时间开始从一网元节点中收集数据，提前Δt’间结束从该网元节点中收集数据。更进一步地，所述Δt和Δt’为数据在相邻网元节点间传递所用的时间。更进一步地，所述Δt的范围为0-1s，Δt’的范围为0-1s。更进一步地，所述步骤(2)稽核元数据分布存储前进行分批封装处理。更进一步地，所述流式稽核组件包括计算中心和中间件库。更进一步地，所述中间件库包括差异计算模型中间件。更进一步地，所述步骤(3)包括实时自动数据流式稽核、按配置任务自动数据流式稽核和手动数据流式稽核。更进一步地，所述步骤(4)中剔除相邻两次稽核的差异数据集的相同数据。一种大型信息化系统的数据流式稽核实现系统，其特征在于包括利用时间差收集稽核元数据模块、分布存储稽核元数据模块、流式稽核模块、稽核结果校准模块和稽核结果存储模块。综上所述，由于采用了上述技术方案，本专利技术的有益效果是：利用时间差从网元中收集稽核元数据和利用差异比较法校准稽核结果，可以有效规避异常数据对稽核结果的影响，大大提升流式稽核结果的准确性；分布存储稽核元数据可以实现自动容错，保证稽核的差异数据的准确度。附图说明本专利技术将通过例子并参照附图的方式说明，其中：图1为本专利技术所述的一种大型信息化系统的数据流式稽核实现方法流程图。具体实施方式本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。一种大型信息化系统的数据流式稽核实现方法，其特征在于包括，步骤(1)利用时间差分别从网元节点中收集稽核元数据；步骤(2)将稽核元数据分布存储在流式稽核组件中；步骤(3)进行数据流式稽核；步骤(4)校准稽核结果；步骤(5)存储稽核结果。具体实施例以存在网元A和网元B分析，由于网络上数据流是串行的，在某一时间节点对网元A节点和网元B节点同时开始收集数据时，有部分数据已经通过网元A节点流向了网元B节点，这导致网元B节点中有一部分数据在网元A节点中不存在。同理，在某一时间节点对网元A节点和网元B节点同时停止收集数据时，一部分数据已经通过了网元A节点，但是未到达网元B节点，这导致网元A节点中有一部分数据在网元B节点中不存在。所以，由于网络传输、系统堵塞等原因造成相同时间段内获取的数据集合有差异，而这部分数据并不是真正意义上的差异，这部分应该被当做异常数据处理。所述步骤(1)中提前Δt时间开始从网元A节点中收集数据，提前Δt时间在网元A节点获取正在由网元A节点流向网元B节点的数据，保证网元A节点和网元B节点有相同的开始数据流集；提前Δt’间结束从网元A节点中收集数据，保证在网元A节点和网元B节点中的结束数据一致。利用时间差异从网元中分别收集数据，可以减少获取的网元数据中的异常数据。所述Δt和Δt’为数据在相邻网元节点间传递所用的时间，选取一部分标识性的数据，获取这部分数据分别经过网元A节点的时间和经过网元B节点的时间，用数据到达网元B节点的时间值减去数据到达网元A节点的时间值，即为标准的△t时间，作为一种优选方式，Δt与Δt’相等。进一步地，所述Δt的范围为0-1s，Δt’的范围为0-1s。所述流式稽核组件包括计算中心和中间件库，将差异计算模型编写成一个或者多个中间件，并将中间件上传到流式稽核组件的中间件库，流式稽核组件的计算中心和中间件库通过心跳来判断是否有中间件加入或删除，如果计算中心判断有新的中间件加入，则会将该中间件加入到中间件库中，如果计算中心判断有中间件删除，则会将该中间件从中间库中删除。不管是新增中间件或删除中间件，都不需要对原有系统做任何的变更，中间件库的设计提高了流式稽核系统的通用性。所述步骤(2)中稽核元数据分到达流式稽核组件后，将稽核元数据以时间片(秒级)为单位把稽核元数据拆分成一批批数据，排列在一个先进先出的队列。当开始进行差异稽核时，差异计算模型从队列出依次取出每一个批次的数据，把每一批次的数据封装成一个集合，然后开始进行流式稽核。把稽核元数据分批封装处理可以实现实时自动流式稽核。采用分布存储方式对稽核元数据进行存储，数据在系统中存储多个副本，当某个存储节点出现故障时，系统自动将服务切换到其他副本，实现自动容错和容错透明，提高了流式稽核的准确度。数据流式稽核包括实时自动数据流式稽核、按配置任务自动数据流式稽核和手动数据流式稽核。实时自动数据流式稽核确保了差异的实时性。稽核结果校准步骤中中剔除相邻两次稽核的差异数据集的相同数据，相邻两次稽核的差异数据集都存在的数据为异常数据，将这部分数据剔除可以防止异常数据导致的稽核误差。将流式稽核组件计算得出的差异结果集作为差异文件存储到数据库中，并提供查询接口，方便外部系统对差异结果的对接查询。一种大型信息化系统的数据流式稽核实现系统，其特征在于包括利用时间差收集稽核元数据模块、分布存储稽核元数据模块、流式稽核模块、稽核结果校准模块和稽核结果存储模块。本专利技术并不局限于前述的具体实施方式。本本文档来自技高网...

【技术保护点】
一种大型信息化系统的数据流式稽核实现方法，其特征在于包括，步骤(1)利用时间差分别从不同网元节点中收集稽核元数据；步骤(2)将稽核元数据分布存储在流式稽核组件中；步骤(3)进行数据流式稽核；步骤(4)校准稽核结果；步骤(5)存储稽核结果。

【技术特征摘要】
1.一种大型信息化系统的数据流式稽核实现方法，其特征在于包括，步骤(1)利用时间差分别从不同网元节点中收集稽核元数据；步骤(2)将稽核元数据分布存储在流式稽核组件中；步骤(3)进行数据流式稽核；步骤(4)校准稽核结果；步骤(5)存储稽核结果。2.根据权利要求1所述的一种大型信息化系统的数据流式稽核实现方法，其特征在于，所述步骤(1)中提前Δt时间开始从一网元节点中收集数据，提前Δt，间结束从该网元节点中收集数据。3.根据权利要求2所述的一种大型信息化系统的数据流式稽核实现方法，其特征在于，所述Δt和Δt，为数据在相邻网元节点间传递所用的时间。4.根据权利要求2所述的一种大型信息化系统的数据流式稽核实现方法，其特征在于，所述Δt的范围为0-1s，Δt，的范围为0-1s。5.根据权利要求1所述的一种大型信息化系统的数据流式稽核实现方法，其特征在...

【专利技术属性】
技术研发人员：龚历，
申请(专利权)人：电信科学技术第五研究所，
类型：发明
国别省市：四川,51