数据的置换迁移方法、装置计算机设备制造方法及图纸

本申请公开了一种数据的置换迁移方法、装置及计算机设备，涉及数据处理领域，可以解决在对数据进行置换迁移时，迁移效率低，且网络开销、运算资源开销大的问题。其中方法包括：将目标数据源的全量数据代入数据映射体系，获取各个所述全量数据对应的系统唯一标识；将所述全量数据置换为所述系统唯一标识；基于批量写入算法，异步迁移所述系统唯一标识。本申请适用于对数据的异步置换迁移处理。

【技术实现步骤摘要】
数据的置换迁移方法、装置计算机设备
本申请涉及数据处理领域，尤其涉及到一种数据的置换迁移方法、装置计算机设备。
技术介绍
随着大数据场景日益增多，关于海量数据的存储、运算处理需求日趋增加，对于平台处理能力要求越来越高。对系统来说，如何提高数据运算速度，如何在海量数据处理过程中，给用户带来好的交互体验，是当下急需解决的问题。目前在进行数据置换迁移时，由于千万数据转换、存储耗时较长，用户需要等待在10秒以上，效率较低，影响用户体验，同时，运算过程中需要多次进行数据转换，需要非常大的网络开销、运算资源开销。
技术实现思路
有鉴于此，本申请提供了一种数据的置换迁移方法、装置计算机设备，主要解决在对数据进行置换迁移时，迁移效率低，且网络开销、运算资源开销大的问题。根据本申请的一个方面，提供了一种数据的置换迁移方法，该方法包括：将目标数据源的全量数据代入数据映射体系，获取各个所述全量数据对应的系统唯一标识；将所述全量数据置换为所述系统唯一标识；基于批量写入算法，异步迁移所述系统唯一标识。优选地，在将目标数据源的全量数据代入数据映射体系，获取各个所述全量数据对应的系统唯一标识之前，具体还包括：创建各个预设数据类型和对应系统唯一标识的映射关系，并创建包含各个所述映射关系的数据映射体系。优选地，所述将目标数据源的全量数据代入数据映射体系，获取各个所述全量数据对应的系统唯一标识，具体包括：确定目标数据源中各个全量数据待置换的目标数据类型；在所述数据映射体系中筛选与所述目标数据类型匹配的目标唯一标识。优选地，所述确定目标数据源中各个全量数据待置换的目标数据类型，具体包括：获取目标数据源中各个全量数据对应录入的第一数据类型；确定所述第一数据类型支持置换的数据类型列表，以便用户在所述数据类型列表中选取待置换的目标数据类型。优选地，所述将所述全量数据置换为所述系统唯一标识，具体包括：将所述全量数据置换为所述目标唯一标识，并将所述目标唯一标识对应的标识文件存储于预设存储位置。优选地，所述基于批量写入算法，异步迁移所述系统唯一标识，具体包括：接收所述目标唯一标识置换完成的提示信息；依据所述提示信息，发送关于所述目标唯一标识的数据迁移指令，以便依据所述数据迁移指令，创建目标表结构，并将所述目标唯一标识对应的标识文件批量迁入所述目标表结构中。优选地，所述依据所述提示信息，发送关于所述目标唯一标识的数据迁移指令，以便依据所述数据迁移指令，创建目标表结构，并将所述目标唯一标识对应的标识文件批量迁入所述目标表结构中，具体包括：关闭数据库的自动提交功能；将所述标识文件增量提交到SQL语句池中，将预编译的SQL语句发送至所述数据库，所述SQL语句中携带有数据迁移指令以及待迁移的目标表结构，以便依据所述SQL语句将所述SQL语句池中的所述标识文件批量迁移至所述目标表结构中；待所特征数据迁移完成后，开启所述数据库的自动提交功能。根据本申请的另一个方面，提供了一种数据的置换迁移装置，该装置包括：获取模块，用于将目标数据源的全量数据代入数据映射体系，获取各个所述全量数据对应的系统唯一标识；置换模块，用于将所述全量数据置换为所述系统唯一标识；迁移模块，用于基于批量写入算法，异步迁移所述系统唯一标识。优选地，在将目标数据源的全量数据代入数据映射体系，获取各个所述全量数据对应的系统唯一标识之前，具体还包括：创建模块；创建模块，用于创建各个预设数据类型和对应系统唯一标识的映射关系，并创建包含各个所述映射关系的数据映射体系。优选地，获取模块，具体用于：确定目标数据源中各个全量数据待置换的目标数据类型；在所述数据映射体系中筛选与所述目标数据类型匹配的目标唯一标识。优选地，获取模块，具体用于：获取目标数据源中各个全量数据对应录入的第一数据类型；确定所述第一数据类型支持置换的数据类型列表，以便用户在所述数据类型列表中选取待置换的目标数据类型。优选地，置换模块，具体用于：将所述全量数据置换为所述目标唯一标识，并将所述目标唯一标识对应的标识文件存储于预设存储位置。优选地，迁移模块，具体用于：接收所述目标唯一标识置换完成的提示信息；依据所述提示信息，发送关于所述目标唯一标识的数据迁移指令，以便依据所述数据迁移指令，创建目标表结构，并将所述目标唯一标识对应的标识文件批量迁入所述目标表结构中。优选地，处理模块，具体用于：关闭数据库的自动提交功能；将所述标识文件增量提交到SQL语句池中，将预编译的SQL语句发送至所述数据库，所述SQL语句中携带有数据迁移指令以及待迁移的目标表结构，以便依据所述SQL语句将所述SQL语句池中的所述标识文件批量迁移至所述目标表结构中；待所特征数据迁移完成后，开启所述数据库的自动提交功能。根据本申请的又一个方面，提供了一种非易失性可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述数据的置换迁移方法。根据本申请的再一个方面，提供了一种计算机设备，包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述数据的置换迁移方法。借由上述技术方案，本申请提供的一种数据的置换迁移方法、装置计算机设备，涉及数据处理领域，可首先将目标数据源的全局数据代入数据映射体系，进一步获取全局数据对应的系统唯一标识，并将全量数据置换为系统唯一标识，之后依据批量写入算法，异步迁移系统唯一标识。在本申请中，通过将全量数据的数据标识置换为系统全局唯一标识，通过统一数据体系，大幅降低运算过程中的性能消耗，提升结果输出速度；其次，通过数据批量写入处理优化，去掉多余的系统开销、网络开销，提升千万数据写入速度，使海量数据运算可以尽快开始。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本地申请的不当限定。在附图中：图1示出了本申请实施例提供的一种数据的置换迁移方法的流程示意图；图2示出了本申请实施例提供的另一种数据的置换迁移方法的流程示意图；图3示出了本申请实施例提供的一种数据的置换迁移装置的结构示意图；图4示出了本申请实施例提供的另一种数据的置换迁移装置的结构示意图；图5示出了本专利技术实施例提供的一种计算机设备的结构示意图。具体实施方式下文将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。针对在对数据进行置换迁移时，迁移效率低，且网络开销、运算资源开销大的问题，本申请实施例提供了一种数据的置换迁移方法，如图1所示，该方法包括：101本文档来自技高网...

【技术保护点】
1.一种数据的置换迁移方法，其特征在于，包括：/n将目标数据源的全量数据代入数据映射体系，获取各个所述全量数据对应的系统唯一标识；/n将所述全量数据置换为所述系统唯一标识；/n基于批量写入算法，异步迁移所述系统唯一标识。/n

【技术特征摘要】
1.一种数据的置换迁移方法，其特征在于，包括：
将目标数据源的全量数据代入数据映射体系，获取各个所述全量数据对应的系统唯一标识；
将所述全量数据置换为所述系统唯一标识；
基于批量写入算法，异步迁移所述系统唯一标识。


2.根据权利要求1所述的方法，在将目标数据源的全量数据代入数据映射体系，获取各个所述全量数据对应的系统唯一标识之前，具体还包括：
创建各个预设数据类型和对应系统唯一标识的映射关系，并创建包含各个所述映射关系的数据映射体系。


3.根据权利要求2所述的方法，其特征在于，所述将目标数据源的全量数据代入数据映射体系，获取各个所述全量数据对应的系统唯一标识，具体包括：
确定目标数据源中各个全量数据待置换的目标数据类型；
在所述数据映射体系中筛选与所述目标数据类型匹配的目标唯一标识。


4.根据权利要求3所述的方法，其特征在于，所述确定目标数据源中各个全量数据待置换的目标数据类型，具体包括：
获取目标数据源中各个全量数据对应录入的第一数据类型；
确定所述第一数据类型支持置换的数据类型列表，以便用户在所述数据类型列表中选取待置换的目标数据类型。


5.根据权利要求4所述的方法，其特征在于，所述将所述全量数据置换为所述系统唯一标识，具体包括：
将所述全量数据置换为所述目标唯一标识，并将所述目标唯一标识对应的标识文件存储于预设存储位置。


6.根据权利要求5所述的方法，其特征在于，所述基于批量写入算法，异步迁移所述系统唯一标识，具体包括：
接收所述目标唯一标识...

【专利技术属性】
技术研发人员：赵子初，
申请(专利权)人：大箴杭州科技有限公司，
类型：发明
国别省市：浙江;33