一种数据处理方法和系统技术方案

本申请提供了一种数据处理方法和系统，其中，该方法包括：从至少两个待对比系统的日志文件中采集数据；按照键值对采集的数据进行归并聚合处理，其中，所述键值用于唯一标识一条数据；对归并聚合处理后的数据进行差异度计算，并将满足预设要求的差异度结果写入数据库中；根据键值与业务问题之间的对应关系，确定差异度结果所对应的业务问题。通过本申请的方案可以基于键值查找到对应的问题数据，且是在数据写数据库之前进行的操作，实时性更高。

A data processing method and system

【技术实现步骤摘要】
一种数据处理方法和系统
本申请属于计算机
，尤其涉及一种数据处理方法和系统。
技术介绍
目前，为了实现系统间数据的对比，不同的业务团队一般采用各自的对比工具进行对比，且一般都是基于DB(数据库)的对比需求，功能都是相似的，即，单纯基于数据库中所存储的数值或者字符型的比较。这就导致，对于每一项业务，或者每一个团队而言，如果需要对比，就需要重新做一个工具来进行对比，工作重复性太高，对比软件的通用性太低，且软件的生存期和使用频率很低，且实时性很差。针对现有数据对比系统所存在的通用性低、实时性差的问题，目前尚未提出有效的解决方案。
技术实现思路
本申请目的在于提供一种数据处理方法和系统，可以实现实时高效地进行数据对比。本申请提供一种数据处理方法和系统是这样实现的：一种数据处理方法，所述方法包括：从至少两个待对比系统的日志文件中采集数据；按照键值对采集的数据进行归并聚合处理，其中，所述键值用于唯一标识一条数据；对归并聚合处理后的数据进行差异度计算，并将满足预设要求的差异度结果写入数据库中；根据键值与业务问题之间的对应关系，确定差异度结果所对应的业务问题。一种数据处理系统，包括：采集模块，用于从至少两个待对比系统的日志文件中采集数据；匹配模块，用于按照键值对采集的数据进行归并聚合处理，其中，所述键值用于唯一标识一条数据；规则引擎模块，用于对归并聚合处理后的数据进行差异度计算，并将满足预设要求的差异度结果写入数据库中；搜索模块，用于根据键值与业务问题之间的对应关系，确定差异度结果所对应的业务问题。一种终端设备中，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现如下步骤：从至少两个待对比系统的日志文件中采集数据；按照键值对采集的数据进行归并聚合处理，其中，所述键值用于唯一标识一条数据；对归并聚合处理后的数据进行差异度计算，并将满足预设要求的差异度结果写入数据库中；根据键值与业务问题之间的对应关系，确定差异度结果所对应的业务问题。一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现如下步骤：从至少两个待对比系统的日志文件中采集数据；按照键值对采集的数据进行归并聚合处理，其中，所述键值用于唯一标识一条数据；对归并聚合处理后的数据进行差异度计算，并将满足预设要求的差异度结果写入数据库中；根据键值与业务问题之间的对应关系，确定差异度结果所对应的业务问题。本申请提供的数据处理方法和系统，在从至少两个待对比系统的日志文件中采集数据后，按照键值对采集的数据进行归并聚合处理，在确定出数据之间的差异度之后，再将差异度结果写入数据库中，基于键值就可以实现对业务问题的分析确定，因是直接从业务系统获取的数据，因此，在数据写入数据库之前就可以对归并聚合处理后的数据进行差异度计算，并将满足要求的差异度结果写入数据库中，从而使得可以基于键值查找到对应的问题数据，且是在数据写数据库之前进行的操作，实时性更高。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本申请提供的数据处理系统的一种架构示意图；图2是本申请提供的数据处理系统的另一种架构示意图；图3是本申请提供的数据处理方法的方法流程图；图4是本申请提供的数据处理系统的又一架构示意图；图5是本申请提供的服务器端的架构图；图6是本申请提供的数据处理装置的结构框图。具体实施方式为了使本
的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。针对现有的对比工具存在的通用性不强、实时性不高的问题，在本例中，提出了一种通用性强实时性高的数据一致性分析系统，通过该分析系统可以对上游数据及时进行分析处理，并进行差异度计算，具体的，可以在差异度结果中记录简直，这样通过键值可以定位出业务问题。通过上述方式可以在开发测试的过程中及时发现问题。基于此，在本例中，提出了一种数据处理系统，如图1所示，可以包括：多个待对比系统101、处理系统102，其中，处理系统实时采集多个待对比系统的数据，然后进行归并处理和差异度计算，从而确定出各系统数据之间的差异度，从而在存在问题的时候，可以及时定位问题。上述的待对比系统可以但不限于是：线上的主系统、线上的备用系统、待上线的主系统、待上线的备用系统等，所采集的上游系统的数据可以包括但不限于是：TT、Meta、DRC等，对于可以基于通用方式获取的数据形式在本例中都可以支持。上述的处理系统102可以是单一的服务器，也可以是服务器集群，或者是云处理器等等都可以，具体的业务呈现形式可以根据实际需要选择，本申请对此不作限定。如图2所示，上述的数据处理系统还可以包括：客户端103，为用户提供查询功能，例如，用户可以通过客户端输入键值，以实现对业务问题的查询。其中，上述的客户端103可以但不限于是手机、电脑等带有处理和通信功能的设备。基于此，在本例中提供了一种数据处理方法，如图3所示，可以包括如下步骤：S301：从至少两个待对比系统的日志文件中采集数据；S302：按照键值对采集的数据进行归并聚合处理，其中，所述键值用于唯一标识一条数据；其中，上述键值用于唯一确定一条记录，即，无论是哪个系统的数据，对于同一条数据记录，都是采用同一个键值标识的，这样，在对采集的数据进行归并聚合处理的时候，S303：对归并聚合处理后的数据进行差异度计算，并将满足预设要求的差异度结果写入数据库中；例如，在归并聚合之后，不同系统同一键值的数据就被归并聚合到一起，然后，对这些数据进行差异度计算，以确定出数据是否一致，或者对应于同一需要累加的数据，累加和是否相同等等，即，确定数据差异量。S304：根据键值与业务问题之间的对应关系，确定差异度结果所对应的业务问题。进一步的，考虑到系统会出现正常的网络延迟，或者重启等问题，这将导致数据无法第一时间达到match数据处理模块，为此，可以引入滑动窗口的策略，以便扩展需对比数据记录的生命周期，从而避免因为正常的系统或者网络延迟导致的两路或者多路对比数据无法完成配对的现象。如果在窗口期内仍旧没法办法完成配对，那么系统可以重试，如果重试预定次数(例如：3次)，仍旧无法完成配对，那么可以为该数据打上lack标签，并将其直接发送本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n从至少两个待对比系统的日志文件中采集数据；/n按照键值对采集的数据进行归并聚合处理，其中，所述键值用于唯一标识一条数据；/n对归并聚合处理后的数据进行差异度计算，并将满足预设要求的差异度结果写入数据库中；/n根据键值与业务问题之间的对应关系，确定差异度结果所对应的业务问题。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
从至少两个待对比系统的日志文件中采集数据；
按照键值对采集的数据进行归并聚合处理，其中，所述键值用于唯一标识一条数据；
对归并聚合处理后的数据进行差异度计算，并将满足预设要求的差异度结果写入数据库中；
根据键值与业务问题之间的对应关系，确定差异度结果所对应的业务问题。


2.根据权利要求1所述的方法，其特征在于，按照键值对采集的数据进行归并聚合处理，包括：
将对应同一键值的数据放置同一数据结构中；
确定对应同一键值的数据的数量是否达到待对比系统的个数；
在确定未达到所述待对比系统的个数的情况下，确定等待时间是否达到预设时长；
在所述等待时间达到所述预设时长，且对应同一键值的数据的数量未达到所述待对比系统的个数的情况下，确定数据错误。


3.根据权利要求1所述的方法，其特征在于，将满足预设要求的差异度结果写入数据库中，包括：
确定各个差异度结果是否超出预设的差异阈值；
将超出差异阈值的差异度结果写入所述数据库中。


4.根据权利要求1所述的方法，其特征在于，在从至少两个待对比系统的日志文件中采集数据之后，所述方法还包括：
对采集的数据进行正则过滤，确定出需进行对比的数据，作为目标数据；
按照预设的规则，将所述目标数据转换为标准化数据。


5.根据权利要求1所述的方法，其特征在于，在根据键值与业务问题之间的对应关系，确定差异度结果所对应的业务问题之后，还包括：
显示所述业务问题。


6.根据权利要求1至5中任一项所述的方法，其特征在于，所述待对比系统包括以下至少之一：线上的主系统、线上的备用系统、待上线的主系统、待上线的备用系统。


7.根据权利要求1至5中任一项所述的方法，其特征在于，上述方法通过Jstorm处理框架实现。


8.一种数据处理系统，其特征在于，包括：
采集...

【专利技术属性】
技术研发人员：张东浩，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY