一种不同文件格式的数据比对系统及方法技术方案

本发明专利技术提供一种不同文件格式的数据比对系统及方法，其中系统包括用于获取A平台和B平台中业务数据模板的数据获取模块、用于从对应的存储空间中提取需要对比的业务数据的数据提取模块、用于将提取的业务数据放入缓存或放入数据库中进行比较的数据比较模块和用于将差异数据根据设定的格式生成对比文件的数据生成模块；本发明专利技术数据比对系统不用具体关心业务数据，数据比对与业务本身分离，只需要各个业务负责人按照文件对应格式进行配置即可进行数据处理，处理之后，差异数据按照规定格式入库或生成文件，方便后期分析和处理，与之前的流程相比，极大程度上简化了处理数据的步骤，降低了运维成本，提高了工作效率。

【技术实现步骤摘要】

本专利技术主要涉及数据处理
，具体涉及一种不同文件格式的数据比对系统及方法。
技术介绍
目前各地区移动NGBOSS系统，用户使用的积分数据本地区有一套数据中心，而积分平台也有一份用户的积分数据中心。由于积分平台和各地区系统的独立性，再加上业务受理时异步处理、系统或数据库故障等原因，导致部分用户的积分数据在两个平台之间的同步时出现异常。所以，两个平台的数据需要定期(按天、按周或按月等)进行比对，并对差异数据进行分析和处理。而类似这样的两套系统两份数据中心的业务有很多，经常涉及到数据一致性的比对。由于这些业务本身业务逻辑的差异性，每类业务集团平台或地区平台下发的数据文件格式各不相同，数据库取值SQL脚本也各不相同，所以，每次新增一个业务数据的一致性比较的需求，各地区都要新增一套程序进行处理，成本较高。
技术实现思路
本专利技术所要解决的技术问题是提供一种不同文件格式的数据比对系统及方法，数据比对系统不用具体关心业务数据，数据比对与业务本身分离，只需要各个业务负责人按照文件对应格式进行配置即可进行数据处理，处理之后，差异数据按照规定格式入库或生成文件，方便后期分析和处理，与之前的流程相比，极大程度上简化了处理数据的步骤，降低了运维成本，提高了工作效率。本专利技术解决上述技术问题的技术方案如下：一种不同文件格式的数据比对系统，包括数据获取模块、数据提取模块、数据比较模块和数据生成模块，所述数据获取模块，用于启动进程，并根据业务id或利用循环读取方式获取A平台和B平台中业务数据模板，其中，A平台的业务数据模板和B平台的业务数据模板的格式不同；所述数据提取模块，用于根据业务数据模板判断A平台和B平台的数据格式，再分别根据判断出的数据格式从对应的存储空间中提取需要对比的业务数据；所述数据比较模块，用于根据预设的数据量阈值将提取的业务数据放入缓存或放入数据库中进行比较，从而获得差异数据；所述数据生成模块，用于将所述差异数据根据设定的格式生成对比文件并保存。本专利技术的有益效果是：数据比对系统不用具体关心业务数据，数据比对与业务本身分离，只需要各个业务负责人按照文件对应格式进行配置即可进行数据处理，处理之后，差异数据按照规定格式入库或生成文件，方便后期分析和处理，与之前的流程相比，极大程度上简化了处理数据的步骤，降低了运维成本，提高了工作效率。在上述技术方案的基础上，本专利技术还可以做如下改进。进一步，所述数据获取模块包括检测单元、第一获取单元和第二获取单元，所述检测单元，用于检测是否配置业务id，如果配置，则发送第一获取指令至第一获取单元，否则发送第二获取指令至第二获取单元；所述第一获取单元，用于接收到第一获取指令后，根据业务id在预设的查询配置表中匹配对应该业务id的模板信息，并从A平台或B平台中获取该模板信息对应的业务数据模板；所述第二获取单元，用于接收到第二获取指令后，利用循环读取方式在预设的查询配置表中逐一读取模板信息，并从A平台或B平台中获取各个模板信息的业务数据模板。采用上述进一步方案的有益效果是：从不同平台获取不同格式的数据进行处理，兼容性强。进一步，所述数据提取模块中，根据业务数据模板在预设的模板配置表中判断A平台和B平台的数据格式，若数据格式为文件格式，则连接到对应主机提取文件格式的业务数据，若数据格式为数据串格式，则连接到对应数据库提取数据串格式的业务数据。数据格式可包括sql数据串格式、文本格式、xml数据串格式等。采用上述进一步方案的有益效果是：可支持多种数据格式，兼容多种主流数据库。进一步，所述数据比较模块包括判断单元、缓存比较单元和数据库比较单元，所述判断单元，用于根据预设的数据量阈值判断提取的业务数据的大小是否达到数据量阈值，如果未达到，则发送第一比较指令至缓存比较单元，否则发送第二比较指令至数据库比较单元；所述缓存比较单元，用于根据第一比较指令将业务数据以key-value的数据形式进行改写，再将改写的业务数据载入应用缓存中进行比较，从而获得差异数据；所述数据库比较单元，用于根据第二比较指令将业务数据以key-value的数据形式进行改写，再将改写的业务数据载入数据库临时表中进行比较，从而获得差异数据。采用上述进一步方案的有益效果是：按照数据量大小在应用缓存或数据库中进行比对，数据量较大时能够保证系统稳定，防止数据丢失。进一步，所述缓存比较单元中，改写的业务数据包括key值和value值，将key值保存至MAP_A应用缓存中，将value值保存至MAP_B应用缓存中，再循环遍历各个key值并与value值进行比较，从而获得差异数据；所述数据库比较单元中，改写的业务数据包括key值和value值，将key值保存至数据库TAB_A临时表中，将value值保存至数据库TAB_B临时表中，再循环遍历各个key值并与value值进行比较，从而获得差异数据。采用上述进一步方案的有益效果是：按照数据量大小在应用缓存或数据库中进行比对，数据量较大时能够保证系统稳定，防止数据丢失。本专利技术解决上述技术问题的另一技术方案如下：一种不同文件格式的数据比对方法，包括如下步骤：步骤S1：启动进程，并根据业务id或利用循环读取方式获取A平台和B平台中业务数据模板，其中，A平台的业务数据模板和B平台的业务数据模板的格式不同；步骤S2：根据业务数据模板判断A平台和B平台的数据格式，再分别根据判断出的数据格式从对应的存储空间中提取需要对比的业务数据；步骤S3：根据预设的数据量阈值将提取的业务数据放入缓存或放入数据库中进行比较，从而获得差异数据；步骤S4：将所述差异数据根据设定的格式生成对比文件并保存。在上述技术方案的基础上，本专利技术还可以做如下改进。进一步，实现步骤S1的具体步骤为：步骤S101：检测是否配置业务id，如果配置，则执行步骤102，否则执行步骤103；步骤S102：根据业务id在预设的查询配置表中匹配对应该业务id的模板信息，并从A平台或B平台中获取该模板信息对应的业务数据模板；步骤S103：利用循环读取方式在预设的查询配置表中逐一读取模板信息，并从A平台或B平台中获取各个模板信息的业务数据模板。进一步，所述步骤S2中，根据业务数据模板在预设的模板配置表中判断A平台和B平台的数据格式，若数据格式为文件格式，则连接到对应主机提取文件格式的业务数据，若数据格式为数据串格式，则连接到对应数据库提取数据串格式的业务数据。进一步，实现步骤S3的具体步骤为：步骤S301：根据预设的数据量阈值判断提取的业务数据的大小是否达到数据量阈值，如果未达到，则执行步骤S302，否则步骤S303；步骤S302：根据第一比较指令将业务数据以key-value的数据形式进行改写，再将改写的业务数据载入应用缓存中进行比较，从而获得差异数据；步骤S303：根据第二比较指令将业务数据以key-value的数据形式进行改写，再将改写的业务数据载入数据库临时表中进行比较，从而获得差异数据。进一步，所述步骤S302中，改写的业务数据包括key值和value值，将key值保存至MAP_A应用缓存中，将value值保存至MAP_B应用缓存中，再循环遍历各个key值并与value值进行比较，从而获得差异数据；所述步骤S303中，改写的业务数据包括key值和v本文档来自技高网...

【技术保护点】
一种不同文件格式的数据比对系统，其特征在于，包括数据获取模块、数据提取模块、数据比较模块和数据生成模块，所述数据获取模块，用于启动进程，并根据业务id或利用循环读取方式获取A平台和B平台中业务数据模板，其中，A平台的业务数据模板和B平台的业务数据模板的格式不同；所述数据提取模块，用于根据业务数据模板判断A平台和B平台的数据格式，再分别根据判断出的数据格式从对应的存储空间中提取需要对比的业务数据；所述数据比较模块，用于根据预设的数据量阈值将提取的业务数据放入缓存或放入数据库中进行比较，从而获得差异数据；所述数据生成模块，用于将所述差异数据根据设定的格式生成对比文件并保存。

【技术特征摘要】
1.一种不同文件格式的数据比对系统，其特征在于，包括数据获取模块、数据提取模块、数据比较模块和数据生成模块，所述数据获取模块，用于启动进程，并根据业务id或利用循环读取方式获取A平台和B平台中业务数据模板，其中，A平台的业务数据模板和B平台的业务数据模板的格式不同；所述数据提取模块，用于根据业务数据模板判断A平台和B平台的数据格式，再分别根据判断出的数据格式从对应的存储空间中提取需要对比的业务数据；所述数据比较模块，用于根据预设的数据量阈值将提取的业务数据放入缓存或放入数据库中进行比较，从而获得差异数据；所述数据生成模块，用于将所述差异数据根据设定的格式生成对比文件并保存。2.根据权利要求1所述的一种不同文件格式的数据比对系统，其特征在于，所述数据获取模块包括检测单元、第一获取单元和第二获取单元，所述检测单元，用于检测是否配置业务id，如果配置，则发送第一获取指令至第一获取单元，否则发送第二获取指令至第二获取单元；所述第一获取单元，用于接收到第一获取指令后，根据业务id在预设的查询配置表中匹配对应该业务id的模板信息，并从A平台或B平台中获取该模板信息对应的业务数据模板；所述第二获取单元，用于接收到第二获取指令后，利用循环读取方式在预设的查询配置表中逐一读取模板信息，并从A平台或B平台中获取各个模板信息的业务数据模板。3.根据权利要求1所述的一种不同文件格式的数据比对系统，其特征在于，所述数据提取模块中，根据业务数据模板在预设的模板配置表中判断A平台和B平台的数据格式，若数据格式为文件格式，则连接到对应主机提取文件格式的业务数据，若数据格式为数据串格式，则连接到对应数据库提取数据串格式的业务数据。4.根据权利要求1所述的一种不同文件格式的数据比对系统，其特征在于，所述数据比较模块包括判断单元、缓存比较单元和数据库比较单元，所述判断单元，用于根据预设的数据量阈值判断提取的业务数据的大小是否达到数据量阈值，如果未达到，则发送第一比较指令至缓存比较单元，否则发送第二比较指令至数据库比较单元；所述缓存比较单元，用于根据第一比较指令将业务数据以key-value的数据形式进行改写，再将改写的业务数据载入应用缓存中进行比较，从而获得差异数据；所述数据库比较单元，用于根据第二比较指令将业务数据以key-value的数据形式进行改写，再将改写的业务数据载入数据库临时表中进行比较，从而获得差异数据。5.根据权利要求4所述的一种不同文件格式的数据比对系统，其特征在于，所述缓存比较单元中，改写的业务数据包括key值和value值，将key值保存至MAP_A应用缓存中，将value值保存至MAP_B应用缓存中，再循环遍历各个key值并与value值进行比较，从而获得差异数据；所述数据库比较单元中，改写的业务数据包括key值和value...

【专利技术属性】
技术研发人员：李建华，
申请(专利权)人：北京思特奇信息技术股份有限公司，
类型：发明
国别省市：北京;11