基于云计算的财务数据一致性失效的发现与恢复方法技术

本发明专利技术公开了电力系统财务中台中一种基于云计算的财务数据一致性失效的发现与恢复方法，其步骤为：首先对存在数据一致性失效的可疑时间段进行检测，抽取数据中台HANA系统中需要同步的数据，记录数据的特征信息；其次在目标数据库Oracle系统中，根据上述数据进行一致性检测，记录Oracle系统中缺失的数据条目；最终利用重试机制同步缺失数据，确保财务中台与数据中台的一致性。该检测方法提供了物理节点失效导致的不同数据库系统间一致性失效问题的发现与恢复方法。题的发现与恢复方法。题的发现与恢复方法。

【技术实现步骤摘要】
基于云计算的财务数据一致性失效的发现与恢复方法


[0001]本专利技术涉及到电力系统财务中台中一种基于云计算的财务数据一致性失效的发现与恢复方法。

技术介绍

[0002]近年来，随着数字化时代的到来以及互联网技术的迅速发展，云计算、大数据等技术带给IT行业大量发展机遇的同时，也带给传统企业进行技术变革的契机。随着电力系统企业竞争力的不断增大，企业需要不断拓展业务及扩大规模，而传统的财务管理系统通常将本部门的相关数据存储在本地服务器的数据库上，跨部门协作时，数据交互需要的时间成本和传输成本昂贵，存在“信息孤岛”、资源浪费、重复建设现象。同时，系统对于用户的需求响应时间长，无法适应客户服务需求和企业发展需求。因此业界提出，将管理模式成熟、业务逻辑相对稳定、可复用的核心能力，如预算编制、预算执行等，进行合并管控，建立共享上述服务的财务中台，使之成为业务活动与财务管理的“桥梁”，通过业务与数据的结合和复用，能够简化跨部门合作业务流程，支撑各业务系统需求的快速迭代，提升前台应用快速响应，灵活调整的能力，深入促进业务与财务管理融合。
[0003]然而，财务数据海量庞大、计算任务繁多，财务中台与数据中台进行数据同步时，常出现数据一致性失效现象。数据同步失败原因较多，包括物理节点失效以及数据结构问题，其中超过90%的一致性失效发生在SAP系统HANA内存数据库与全面预算管理平台Oracle数据库间。因此，发现SAP系统HANA数据库与全面预算管理平台Oracle数据库间数据同步失败问题，并建立数据同步失败的恢复机制，解决大部分数据一致性失效问题，保证财务中台数据一致性，对业务活动的正常进行与财务信息的管理具有重要的现实意义。
[0004]当前，关于数据一致性失效的检测技术主要针对数据同步过程中发生的系统运行错误进行发现和恢复，对于物理节点失效或者数据格式问题导致的数据同步错误则难以检测，只能通过重新同步全部数据进行恢复。如果能确定数据一致性失效的范围，则可以以较小的代价实现恢复与问题的排查。

技术实现思路

[0005]本专利技术目的是提供一种基于云计算的财务数据一致性失效的发现与恢复方法，用于电力系统财务中，可以根据源数据表与目标数据表间的一致性检测，发现未同步数据集合，有效检测不一致数据位置；通过多次恢复重试机制，保证恢复的完整性，提升恢复性能。
[0006]为解决上述技术问题，本专利技术采用的技术方案为：一种基于云计算的财务数据一致性失效的发现与恢复方法，利用源系统与目标系统间数据一致性检测发现未同步数据并恢复，包括如下步骤：1）根据需要检测的时间段，从数据中台HANA数据库源表中获取需要同步的全部数据，记录数据的主键信息作为数据特征。
[0007]2）将步骤1）得到的数据特征集合在财务中台Oracle数据库中目标表数据进行一
致性检测，通过匹配同一时间段数据特征与目标表对应主键判断数据是否一致，并记录不一致数据条目特征信息。
[0008]3）对步骤2）得到的不一致数据进行恢复。设置恢复次数上限，根据记录的数据特征定位HANA系统源表中的数据，抽取该数据，通过转换规则将数据重新同步到Oracle系统目标表中。
[0009]4）检测步骤3）结束后未同步数据是否成功同步，对仍未同步数据重复步骤3）直到数据同步成功或者恢复次数到达上限。
[0010]进一步，所述步骤1）中获取数据特征的具体方法为：通过数据库接口连接HANA系统数据库，将时间段作为查询条件，查询相应数据的主键信息，构造待检测数据特征集。
[0011]所述步骤2）中数据一致性检测的具体方法为：在Oracle系统目标表中相应时间段，将待检测数据集中的主键信息作为条件，查询是否存在相应的数据条目。对于查询不到的数据，将数据条目的主键信息存入未同步数据集中等待恢复。
[0012]所述步骤3）中数据恢复的具体方法为，根据未同步数据集中主键信息，在HANA系统源表中查询到对应的数据条目，通过规则转换为目标表格式并存入Oracle数据库。
[0013]所述步骤4）中数据恢复的重试步骤具体方法为，使用步骤2）方法对未同步数据集中数据进行一致性检验，将恢复成功的数据从未同步数据集中去除，然后再次对剩余数据进行步骤3）所述的恢复工作。重复上述操作直到重试次数到达上限，此时输出仍未成功同步的数据，待人工排查原因。
[0014]本专利技术的有益效果为：本专利技术根据源数据表与目标数据表间的一致性检测，发现未同步数据集合，有效检测不一致数据位置；通过多次恢复重试机制，保证恢复的完整性，提升恢复性能。具体地讲，本专利技术具有如下优点：1、利用源数据表与目标数据表间的一致性检测，能够发现由于中间同步过程的多种原因导致的未同步数据集合，能够有效提高数据一致性失效发现的效率；2、在发现未同步数据集的基础上进行数据恢复，能够减少恢复时需要处理的数据量，有效提升恢复效率；3、数据恢复时加入重试机制并设置重试次数，能够确保数据恢复的完备性。对于超过重试次数仍无法恢复的数据可以通知人工排查。
附图说明
[0015]图1为本专利技术的数据一致性失效发现流程图。
[0016]图2为本专利技术的数据一致性失效恢复流程图。
[0017]图3为本专利技术的整体系统框架图。
具体实施方式
[0018]下面结合具体实施例，进一步阐明本专利技术，应理解这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围，在阅读了本专利技术之后，本领域技术人员对本专利技术的各种等同变换均落于本申请所附权利要求所限定的范围。
[0019]参见图1、图2和图3所示，本专利技术所述的电力系统财务中台中一种基于云计算的财务数据一致性失效的发现与恢复方法，包括如下步骤：
步骤1：连接HANA内存数据库，查询0点到6点时间段内，财务预算年度值表A与财务预算累计值表B中的数据条目，取两张表中共同的主键字段FISCYEAR，FISCVARNT，PROJECT，FISCPER3作为数据特征构建待检测数据集T。
[0020]步骤2：连接Oracle数据库，将待检测数据集T中数据主键信息作为条件，在目标表年度预算发生值表C中逐条查询待数据是否存在，将查询不到的数据视为未同步数据，构建为未同步数据集E。
[0021]步骤3：根据未同步数据集E中的数据主键信息，在HANA数据库表A与表B中定位对应的数据条目，使用ETL对两表数据进行合并与格式转换，重新同步到目标表C中。
[0022]步骤4：在目标表C中查询未同步数据集E中数据是否存在。若存在，表明数据恢复成功，将该数据移出未同步数据集E，不存在数据则继续留存在E中。
[0023]步骤5：重复步骤3,4直到重试次数到达预设上限，将此时未同步数据集E中的剩余数据条目输出到日志文件中，待人工检测同步失败的原因。
[0024]本专利技术根据源数据表与目标数据表间的一致性检测，发现未同步数据集合，有效检测不一致数据位置；通过多次恢复重试机制，保证恢复的完整性，提升恢复性能。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于云计算的财务数据一致性失效的发现与恢复方法，其特征在于，利用数据的特征信息对两个数据系统进行一致性检测与恢复，包括如下步骤：1）根据需要检测的时间段，从数据中台HANA数据库源表中获取需要同步的全部数据，记录数据的主键信息作为数据特征；2）将步骤1）得到的数据特征集合作为源数据，将财务中台Oracle数据库中目标表数据作为目标数据，对两者进行一致性检测，通过匹配同一时间段数据特征与目标表对应主键来判断数据是否一致，并记录不一致数据条目特征信息；3）对步骤2）得到的不一致数据进行恢复；设置恢复次数上限，根据记录的数据特征定位HANA系统源表中的数据，抽取该数据，通过转换规则将数据重新同步到Oracle系统目标表中；4）检测步骤3）结束后未同步数据是否成功同步，对仍未同步数据重复步骤3）直到数据同步成功或者恢复次数到达上限。2.根据权利要求1所述的基于云计算的财务数据一致性失效的发现与恢复方法，其特征在于，所述步骤1）中获取数据特征的具体方法为：通过数据库接口连接HANA系统数据库，将时间段作为查询条件，查询相...

【专利技术属性】
技术研发人员：王纪军，王婷，张震宇，赵琳，陈刚，任腾云，夏媛媛，
申请(专利权)人：国网江苏省电力有限公司，
类型：发明
国别省市：