一种云端数据转换方法及平台技术

本申请公开了一种云端数据转换方法及平台，方法包括：接收客户端发送的财务数据文件，并创建临时数据库；将财务数据文件进行解压缩；根据解压后的财务数据文件内容查找对应的数据转换模板；将解压后的财务数据文件导入到临时数据库；在临时数据库中将财务数据文件的原始表结构转换为cpas标准表结构，并将cpas标准表结构转化为数据分析系统表结构；将数据分析系统表结构数据从临时数据库中加载到指定正式数据库。本申请提供的云端数据转换方法及平台充分利用服务器的多核心、高性能，将数据转换为统一标准化结构后，加载到数据分析系统后台数据库中，数据清洗、转换结果准确，过程高效。效。效。

【技术实现步骤摘要】
一种云端数据转换方法及平台


[0001]本申请涉及数据处理
，具体涉及一种云端数据转换方法及平台。

技术介绍

[0002]数据标准化就是把各种异构数据处理成统一标准格式的数据，这些异构数据包括来自不同操作系统、不同财务erp系统以及不同数据库类型的数据，如何准确、高效的把这些数据标准化，放到统一的数据中心存储，供后续的数据分析使用，一直都是数据处理、数据采集领域持续研究的课题。目前，数据标准化工作仍然存在以下问题：
[0003]1、对各种财务erp系统数据结构分析存在困难。据统计，目前市面上存在的各种财务软件厂商有好几百家，要掌握几百种财务软件数据结构需要多年的积累，短时间是接触不到这么多财务数据的。
[0004]2、财务处理接口的正确性有待验证。一个财务数据处理接口的正确性验证，需要n倍的实际数据进行测试，而实际数据中有各种特殊情况，接口需要在多年积累中不断的修正和完善。
[0005]3、数据标准化过程的易用性不够。市面上的数据处理工具大多数类似于etl工具，有丰富的配置功能，但是对于终端用户学习难度太大，客户需要的是易用、简便的工具，看看界面就能使用的。
[0006]4、数据处理接口开发和管理难度大。现有的数据接口要么是代码开发编译后发布的，开发难度大，稍微修改点东西都需要动代码；要么是etl配置出来的，其接口配置难度也不小，而且一般都是实施人员来完成，不易于接口管理。
[0007]5、数据批量处理效率较低。信息化这么多年，企业积累了相当数量的财务与业务数据，同时对数据处理的时效性也有要求，因此，高效处理数据必然要求数据处理的并发能力，而大部分数据处理要么在单机运行，要么是串行的，很难用到服务器的算力和多核性能。
[0008]6、数据管理的安全性很难把握。目前很多企业都是用户自己处理自己需要的数据，除了单机运算效率问题外，更重要的是数据分散在个人手里，容易造成数据丢失或者泄露，不利于企业信息安全管理；同时由于专业化分工，企业也有专门的数据处理团队，集中处理企业数据，在制度上保证了数据的安全。
[0009]7、数据处理的SaaS应用较少。目前数据处理类产品大多是单机应用产品，或者企业内部服务器端应用，真正支持公有云的SaaS应用的产品不多。随着云财务产品等的普及推广，可以预见云端数据标准化产品需求量也会日益增长。

技术实现思路

[0010]为此，本申请提供一种云端数据转换方法及平台，以解决现有技术存在的数据处理效率低、准确性低的问题。
[0011]为了实现上述目的，本申请提供如下技术方案：
[0012]第一方面，一种云端数据转换方法，包括：
[0013]接收客户端发送的财务数据文件，并创建临时数据库；
[0014]将所述财务数据文件进行解压缩；
[0015]根据解压后的所述财务数据文件内容查找对应的数据转换模板；
[0016]将解压后的所述财务数据文件导入到所述临时数据库；
[0017]在所述临时数据库中将所述财务数据文件的原始表结构转换为cpas标准表结构，并将所述cpas标准表结构转化为数据分析系统表结构；
[0018]将所述数据分析系统表结构数据从所述临时数据库中加载到指定正式数据库。
[0019]进一步的，所述财务数据文件为数据搬运工采集的aud文件。
[0020]更进一步的，所述aud文件绑定被审单位与账套。
[0021]进一步的，所述根据解压后的所述财务数据文件内容查找对应的数据转换模板，具体是：
[0022]判断所述财务数据文件内容中的SoftGuid是否与数据转换模板中的mb表中的Match_Mb_id字段匹配；若匹配，则为所述财务数据文件对应的数据转换模板。
[0023]进一步的，所述将解压后的所述财务数据文件导入到所述临时数据库时采用bcp命令。
[0024]进一步的，所述在所述临时数据库中将所述财务数据文件的原始表结构转换为cpas标准表结构，具体为：根据所述财务数据文件查找到的数据转换模板的id在模板库中找到执行的sql脚本后，在所述临时数据库中将所述财务数据文件的原始表结构转换为cpas标准表结构。
[0025]进一步的，所述将所述cpas标准表结构转化为数据分析系统表结构，具体是：通过执行一个通用存储过程ProcCpas2Audit，将所述cpas标准表结构转化为数据分析系统表结构。
[0026]进一步的，每个所述数据转换模板对应一个财务系统。
[0027]第二方面，一种云端数据转换平台，包括：
[0028]数据文件接收单元，用于接收客户端发送的的财务数据文件，并创建临时数据库；
[0029]数据文件解压单元，用于将所述财务数据文件进行解压缩；
[0030]数据转换模板查找单元，用于根据解压后的所述财务数据文件内容查找对应的数据转换模板；
[0031]数据文件导入临时库单元，用于将解压后的所述财务数据文件导入到所述临时数据库；
[0032]数据模板执行单元，用于在所述临时数据库中将所述财务数据文件的原始表结构转换为cpas标准表结构，并将所述cpas标准表结构转化为数据分析系统表结构；
[0033]数据加载单元，用于将所述数据分析系统表结构数据从所述临时数据库中加载到指定正式数据库。
[0034]进一步的，所述云端数据转换平台能够批量上传财务数据文件。
[0035]相比现有技术，本申请至少具有以下有益效果：
[0036]本申请提供了一种云端数据转换方法及平台，方法包括：接收客户端发送的财务数据文件，并创建临时数据库；将财务数据文件进行解压缩；根据解压后的财务数据文件内
容查找对应的数据转换模板；将解压后的财务数据文件导入到临时数据库；在临时数据库中将财务数据文件的原始表结构转换为cpas标准表结构，并将cpas标准表结构转化为数据分析系统表结构；将数据分析系统表结构数据从临时数据库中加载到指定正式数据库。本申请提供的云端数据转换方法及平台充分利用服务器的多核心、高性能，将数据转换为统一标准化结构后，加载到数据分析系统后台数据库中，数据清洗、转换结果准确，过程高效。
附图说明
[0037]为了更直观地说明现有技术以及本申请，下面给出几个示例性的附图。应当理解，附图中所示的具体形状、构造，通常不应视为实现本申请时的限定条件；例如，本领域技术人员基于本申请揭示的技术构思和示例性的附图，有能力对某些单元(部件)的增/减/归属划分、具体形状、位置关系、连接方式、尺寸比例关系等容易作出常规的调整或进一步的优化。
[0038]图1为本申请实施例一提供的一种云端数据转换方法流程图；
[0039]图2为本申请实施例一提供的一种云端数据转换方法结构框图；
[0040]图3为本申请实施例二提供的一种云端数据转换平台的结构示意图。
具体实施方式
[0041]以下结合附图，通过具体实施例对本申请作进一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种云端数据转换方法，其特征在于，包括：接收客户端发送的财务数据文件，并创建临时数据库；将所述财务数据文件进行解压缩；根据解压后的所述财务数据文件内容查找对应的数据转换模板；将解压后的所述财务数据文件导入到所述临时数据库；在所述临时数据库中将所述财务数据文件的原始表结构转换为cpas标准表结构，并将所述cpas标准表结构转化为数据分析系统表结构；将所述数据分析系统表结构数据从所述临时数据库中加载到指定正式数据库。2.根据权利要求1所述的云端数据转换方法，其特征在于，所述财务数据文件为数据搬运工采集的aud文件。3.根据权利要求2所述的云端数据转换方法，其特征在于，所述aud文件绑定被审单位与账套。4.根据权利要求1所述的云端数据转换方法，其特征在于，所述根据解压后的所述财务数据文件内容查找对应的数据转换模板，具体是：判断所述财务数据文件内容中的SoftGuid是否与数据转换模板中的mb表中的Match_Mb_id字段匹配；若匹配，则为所述财务数据文件对应的数据转换模板。5.根据权利要求1所述的云端数据转换方法，其特征在于，所述将解压后的所述财务数据文件导入到所述临时数据库时采用bcp命令。6.根据权利要求1所述的云端数据转换方法，其特征在于，所述在所述临时数据库中将所述财务数据文件的原始表结构转换为cpas标准表结构，具体为：根...

【专利技术属性】
技术研发人员：陈泽，涂飞平，蒲维，金锐，高红，
申请(专利权)人：北京用友审计软件有限公司，
类型：发明
国别省市：