一种数据处理方法和系统技术方案

本申请提供了一种数据处理方法和系统，其中，该方法包括：从至少两个待对比系统的日志文件中采集数据；按照键值对采集的数据进行归并聚合处理，其中，所述键值用于唯一标识一条数据；对归并聚合处理后的数据进行差异度计算，并将满足预设要求的差异度结果写入数据库中；根据键值与业务问题之间的对应关系，确定差异度结果所对应的业务问题。通过本申请的方案可以基于键值查找到对应的问题数据，且是在数据写数据库之前进行的操作，实时性更高。

A data processing method and system

【技术实现步骤摘要】
一种数据处理方法和系统
本申请属于计算机
，尤其涉及一种数据处理方法和系统。
技术介绍
目前，为了实现系统间数据的对比，不同的业务团队一般采用各自的对比工具进行对比，且一般都是基于DB(数据库)的对比需求，功能都是相似的，即，单纯基于数据库中所存储的数值或者字符型的比较。这就导致，对于每一项业务，或者每一个团队而言，如果需要对比，就需要重新做一个工具来进行对比，工作重复性太高，对比软件的通用性太低，且软件的生存期和使用频率很低，且实时性很差。针对现有数据对比系统所存在的通用性低、实时性差的问题，目前尚未提出有效的解决方案。
技术实现思路
本申请目的在于提供一种数据处理方法和系统，可以实现实时高效地进行数据对比。本申请提供一种数据处理方法和系统是这样实现的：一种数据处理方法，所述方法包括：从至少两个待对比系统的日志文件中采集数据；按照键值对采集的数据进行归并聚合处理，其中，所述键值用于唯一标识一条数据；对归并聚合处理后的数据进行差异度计算，并将满足预设要求的差异度结果写入数本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n从至少两个待对比系统的日志文件中采集数据；/n按照键值对采集的数据进行归并聚合处理，其中，所述键值用于唯一标识一条数据；/n对归并聚合处理后的数据进行差异度计算，并将满足预设要求的差异度结果写入数据库中；/n根据键值与业务问题之间的对应关系，确定差异度结果所对应的业务问题。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
从至少两个待对比系统的日志文件中采集数据；
按照键值对采集的数据进行归并聚合处理，其中，所述键值用于唯一标识一条数据；
对归并聚合处理后的数据进行差异度计算，并将满足预设要求的差异度结果写入数据库中；
根据键值与业务问题之间的对应关系，确定差异度结果所对应的业务问题。


2.根据权利要求1所述的方法，其特征在于，按照键值对采集的数据进行归并聚合处理，包括：
将对应同一键值的数据放置同一数据结构中；
确定对应同一键值的数据的数量是否达到待对比系统的个数；
在确定未达到所述待对比系统的个数的情况下，确定等待时间是否达到预设时长；
在所述等待时间达到所述预设时长，且对应同一键值的数据的数量未达到所述待对比系统的个数的情况下，确定数据错误。


3.根据权利要求1所述的方法，其特征在于，将满足预设要求的差异度结果写入数据库中，包括：
确定各个差异度结果是否超出预设的差异阈值；
将超出差异阈值的差异度结果写入所述数据库中。


4.根据权利要求1所述的方法，其特征在于，在从至少两个待对比系统的日志文件中采集数据之后，所述方法还包括：
对采集的数据进行正则过滤，确定出需进行对比的数据，作为目标数据；
按照预设的规则，将所述目标数据转换为标准化数据。


5.根据权利要求1所述的方法，其特征在于，在根据键值与业务问题之间的对应关系，确定差异度结果所对应的业务问题之后，还包括：
显示所述业务问题。


6.根据权利要求1至5中任一项所述的方法，其特征在于，所述待对比系统包括以下至少之一：线上的主系统、线上的备用系统、待上线的主系统、待上线的备用系统。


7.根据权利要求1至5中任一项所述的方法，其特征在于，上述方法通过Jstorm处理框架实现。


8.一种数据处理系统，其特征在于，包括：
采集...

【专利技术属性】
技术研发人员：张东浩，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY