数据交互信息判异系统及方法技术方案

本发明专利技术提出了数据交互信息判异方法及系统，其中所述方法包括：收集并过滤与监控对象相关联的海量原始数据交互信息以获得目标数据交互信息；转换每个目标数据交互信息以使其符合预先确定的标准格式，并将转换后的目标数据交互信息依照其一个或多个属性分层存储；对所述已存储的目标数据交互信息进行数据衍生操作以生成衍生指标数据，并随之基于所述衍生指标数据执行针对所述监控对象的异常判别操作。本发明专利技术所公开的数据交互信息判异方法及系统能够对来自不同来源的原始数据交互信息进行有效的处理和深度的挖掘以精确的进行异常判别操作。

【技术实现步骤摘要】

本专利技术涉及数据交互信息判异系统及方法，更具体地，涉及基于数据衍生的数据交互信息判异系统及方法。
技术介绍
目前，随着计算机和网络应用的日益广泛以及不同领域的业务种类的日益丰富，根据数据交互信息进行异常判别操作以便产生告警的方法和系统变得越来越重要，以便及时发现问题并进行应急处理。在现有的技术方案中，在根据数据交互信息进行异常判别操作时，不对来自不同来源的原始数据交互信息进行转换和过滤，并且也不对其进行数据挖掘和特征差异化处理，即仅能根据目标数据交互信息进行基于基础性逻辑的简单异常判别操作。上述现有的技术方案存在如下问题：难于对来自不同来源的原始数据交互信息进行有效的处理和深度的挖掘，从而导致误报、漏报、延时告警的发生，由此可能延误故障处理时机。因此，存在如下需求：提供能够对来自不同来源的原始数据交互信息进行有效的处理和深度的挖掘以精确的进行异常判别操作的基于数据衍生的数据交互信息判异系统及方法。
技术实现思路
为了解决上述现有技术方案所存在的问题，本专利技术提出了能够对来自不同来源的原始数据交互信息进行有效的处理和深度的挖掘以精确的进行异常判别操作的基于数据衍生的数据交互信息判异系统及方法。本专利技术的目的是通过以下技术方案实现的：一种数据交互信息判异方法，所述数据交互信息判异方法包括下列步骤：（A1）收集并过滤与监控对象相关联的海量原始数据交互信息以获得目标数据交互信息；（A2）转换每个目标数据交互信息以使其符合预先确定的标准格式，并将转换后的目标数据交互信息依照其一个或多个属性分层存储；（A3）对所述已存储的目标数据交互信息进行数据衍生操作以生成衍生指标数据，并随之基于所述衍生指标数据执行针对所述监控对象的异常判别操作。在上面所公开的方案中，优选地，所述步骤（A2）进一步包括：使用预先确定的标准化公式对所述目标数据交互信息中的周期性和/或偏态性的维度进行换算以使其符合预定标准。在上面所公开的方案中，优选地，所述步骤（A3）进一步包括：（1）根据所述已存储的目标数据交互信息的第一属性对其进行衍生操作以生成第一衍生指标数据；（2）根据所述已存储的目标数据交互信息的第二属性对其进行衍生操作以生成第二衍生指标数据：（3）根据所述已存储的目标数据交互信息的第三属性对其进行衍生操作以生成第三衍生指标数据：（4）根据所述已存储的目标数据交互信息的TPS趋势进行衍生操作以生成若干时间片指标数据。在上面所公开的方案中，优选地，所述步骤（A3）进一步包括：所述基于衍生指标数据执行针对监控对象的异常判别操作包括：（1）基于所述第一衍生指标数据、所述第二衍生指标数据、所述第三衍生指标数据以及所述时间片指标数据并通过聚类的方式对所述监控对象进行分类，以将特征相近的监控对象归为一类；（2）针对每个监控对象类基于其属性确定判异要素，并对所确定的判异要素进行分类，随之为每个判异要素类指定判异规则等级；（3）为每个判异规则等级定义判异规则，其中，所述判异规则由数据判异指标集构成，其中数据判异指标集包含若干数据判异指标；（4）针对每个监控对象，根据其特征匹配与其相对应的数据判异指标集，并将该监控对象在各个时间片下的指标与所匹配的数据判异指标集中相应的数据判异指标相比较，以及依据比较结果判断该监控对象是否发生异常以获得判异结果。在上面所公开的方案中，优选地，所述数据判异指标集所包含的数据判异指标定义了监控对象的特定特征值的阈值。在上面所公开的方案中，优选地，所述步骤（A3）进一步包括：将所获得的判异结果通过告警的方式呈现给用户。在上面所公开的方案中，优选地，所述步骤（A3）进一步包括：定义数据判异指标的评估指标，并且当实际计算的评估指标超过基线时，触发数据判异指标的重新定义和生成，其中，所述评估指标包含但不限于报警量、有效率、事件量。本专利技术的目的也可以通过以下技术方案实现：一种数据交互信息判异系统，所述数据交互信息判异系统包括：数据收集模块，数据收集模块收集并过滤与监控对象相关联的海量原始数据交互信息以获得目标数据交互信息；数据转换及存储模块，数据转换及存储模块转换每个目标数据交互信息以使其符合预先确定的标准格式，并将转换后的目标数据交互信息依照其一个或多个属性分层存储；数据衍生及判异模块，数据衍生及判异模块对所述已存储的目标数据交互信息进行数据衍生操作以生成衍生指标数据，并随之基于所述衍生指标数据执行针对所述监控对象的异常判别操作。在上面所公开的方案中，优选地，所述数据衍生及判异模块以如下方式执行衍生操作：（1）根据所述已存储的目标数据交互信息的第一属性对其进行衍生操作以生成第一衍生指标数据；（2）根据所述已存储的目标数据交互信息的第二属性对其进行衍生操作以生成第二衍生指标数据：（3）根据所述已存储的目标数据交互信息的第三属性对其进行衍生操作以生成第三衍生指标数据：（4）根据所述已存储的目标数据交互信息的TPS趋势进行衍生操作以生成若干时间片指标数据。在上面所公开的方案中，优选地，所述数据衍生及判异模块以如下方式基于衍生指标数据执行针对监控对象的异常判别操作：（1）基于所述第一衍生指标数据、所述第二衍生指标数据、所述第三衍生指标数据以及所述时间片指标数据并通过聚类的方式对所述监控对象进行分类，以将特征相近的监控对象归为一类；（2）针对每个监控对象类基于其属性确定判异要素，并对所确定的判异要素进行分类，随之为每个判异要素类指定判异规则等级；（3）为每个判异规则等级定义判异规则，其中，所述判异规则由数据判异指标集构成，其中数据判异指标集包含若干数据判异指标；（4）针对每个监控对象，根据其特征匹配与其相对应的数据判异指标集，并将该监控对象在各个时间片下的指标与所匹配的数据判异指标集中相应的数据判异指标相比较，以及依据比较结果判断该监控对象是否发生异常以获得判异结果本专利技术所公开的基于数据衍生的数据交互信息判异系统及方法具有以下优点：能够对来自不同来源的原始数据交互信息进行有效的处理和深度的挖掘，从而能够更精确地进行异常判别操作。附图说明结合附图，本专利技术的技术特征以及优点将会被本领域技术人员更好地理解，其中：图1是根据本专利技术的实施例的数据交互信息判异方法的流程图；图2是根据本专利技术的实施例的数据交互信息判异系统的示意性结构图。具体实施方式图1是根据本专利技术的实施例的数据交互信息判异方法的流程图。如图1所示，本专利技术所公开的数据交互信息判异方法包括下列步骤：（A1）收集并过滤（例如去冗余）与监控对象相关联的海量原始数据交互信息（例如金融交易信息）以获得目标数据交互信息；（A2）转换每个目标数据交互信息以使其符合预先确定的标准格式（即使每个目标数据交互信息的格式统一），并将转换后的目标数据交互信息依照其一个或多个属性分层存储；（A3）对所述已存储的目标数据交互信息进行数据衍生操作以生成衍生指标数据，并随之基于所述衍生指标数据执行针对所述监控对象的异常判别操作。优选地，在本专利技术所公本文档来自技高网...

【技术保护点】
一种数据交互信息判异方法，所述数据交互信息判异方法包括下列步骤：（A1）收集并过滤与监控对象相关联的海量原始数据交互信息以获得目标数据交互信息；（A2）转换每个目标数据交互信息以使其符合预先确定的标准格式，并将转换后的目标数据交互信息依照其一个或多个属性分层存储；（A3）对所述已存储的目标数据交互信息进行数据衍生操作以生成衍生指标数据，并随之基于所述衍生指标数据执行针对所述监控对象的异常判别操作。

【技术特征摘要】
1.一种数据交互信息判异方法，所述数据交互信息判异方法包括下列步骤：
（A1）收集并过滤与监控对象相关联的海量原始数据交互信息以获得目标数据交互信息；
（A2）转换每个目标数据交互信息以使其符合预先确定的标准格式，并将转换后的目标数据交互信息依照其一个或多个属性分层存储；
（A3）对所述已存储的目标数据交互信息进行数据衍生操作以生成衍生指标数据，并随之基于所述衍生指标数据执行针对所述监控对象的异常判别操作。
2.根据权利要求1所述的数据交互信息判异方法，其特征在于，所述步骤（A2）进一步包括：使用预先确定的标准化公式对所述目标数据交互信息中的周期性和/或偏态性的维度进行换算以使其符合预定标准。
3.根据权利要求2所述的数据交互信息判异方法，其特征在于，所述步骤（A3）进一步包括：（1）根据所述已存储的目标数据交互信息的第一属性对其进行衍生操作以生成第一衍生指标数据；（2）根据所述已存储的目标数据交互信息的第二属性对其进行衍生操作以生成第二衍生指标数据：（3）根据所述已存储的目标数据交互信息的第三属性对其进行衍生操作以生成第三衍生指标数据：（4）根据所述已存储的目标数据交互信息的TPS趋势进行衍生操作以生成若干时间片指标数据。
4.根据权利要求3所述的数据交互信息判异方法，其特征在于，所述步骤（A3）进一步包括：所述基于衍生指标数据执行针对监控对象的异常判别操作包括：（1）基于所述第一衍生指标数据、所述第二衍生指标数据、所述第三衍生指标数据以及所述时间片指标数据并通过聚类的方式对所述监控对象进行分类，以将特征相近的监控对象归为一类；（2）针对每个监控对象类基于其属性确定判异要素，并对所确定的判异要素进行分类，随之为每个判异要素类指定判异规则等级；（3）为每个判异规则等级定义判异规则，其中，所述判异规则由数据判异指标集构成，其中数据判异指标集包含若干数据判异指标；（4）针对每个监控对象，根据其特征匹配与其相对应的数据判异指标集，并将该监控对象在各个时间片下的指标与所匹配的数据判异指标集中相应的数据判异指标相比较，以及依据比较结果判断该监控对象是否发生异常以获得判异结果。
5.根据权利要求4所述的数据交互信息判异方法，其特征在于，所述数据判异指标集所包含的数据判异指标定义了监控对象的特定特征值的阈值。
6.根据权利要求5所述的数据交互信息判异方法，其特征在于，以如下方式定义监控对象的特定特征值的阈值：通过批量模拟的方式确定监控对象的特定特征值的正常波动范围，由此确定该特...

【专利技术属性】
技术研发人员：张文举，胡文斌，施跃跃，张越震，陈汉，梅铮，陈根，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：上海;31