基于数据处理的数据动态转换方法技术

本申请提供一种基于数据处理的数据动态转换方法。该方法通过从第一初始数据库中抽取项目初始数据文件集合，再遍历项目初始数据文件集合中的各个文件，再根据确定的第一数据转换规则将第一初始数据文件转换为第一目标数据文件，并在遍历结束后，生成项目目标数据文件集合，然后，将项目目标数据文件集合传递至数据处理平台，再对目标数据文件集合中的待处理数据文件子集进行预设数据处理，以生成处理后数据文件，最后将项目目标数据文件集合导出至目标数据库，一集将处理后数据文件导出至目标数据库，以使目标数据库将项目目标数据文件集合以及处理后数据文件进行存储，从而实现对于不同数据来源的数据进行转化后的统一化存储管理。储管理。储管理。

【技术实现步骤摘要】
基于数据处理的数据动态转换方法


[0001]本申请涉及数据处理技术，尤其涉及一种基于数据处理的数据动态转换方法。

技术介绍

[0002]随着信息技术的快速发展和广泛应用，各个应用场景下的项目数据规模也迅速扩大，所产生的数据呈爆炸性增长。此外，在项目的开展过程中，可能存在多方合作的情形。因此，对于多方按照不同方式，甚至在不同系统中所产生的数据，如何进行统一化的管理与存储就成为了亟需解决的问题。

技术实现思路

[0003]本申请提供一种基于数据处理的数据动态转换方法，用以解决的不同来源的数据如何在数据转化后进行统一化存储管理技术问题。
[0004]第一方面，本申请提供一种基于数据处理的数据动态转换方法，应用于数据管理系统，所述数据管理系统包括：多个初始数据库，数据转换平台、数据处理平台以及目标数据库，所述方法，包括：所述数据转换平台从第一初始数据库中抽取项目初始数据文件集合，所述项目初始数据文件集合中包括多种数据类型的数据文件，所述第一初始数据库为所述多个初始数据库中用于存储所述项目初始数据文件集合的数据库；所述数据转换平台遍历所述项目初始数据文件集合中的各个文件，并根据第一初始数据文件对应的第一初始数据类型以及第一目标数据类型确定第一数据转换规则，所述第一初始数据文件为所述初始数据文件集合中当前遍历的数据文件，所述第一目标数据类型为所述项目初始数据文件集合在所述目标数据库中配置的结构化数据存储类型；所述数据转换平台根据所述第一数据转换规则将所述第一初始数据文件转换为第一目标数据文件，并在遍历结束后，生成项目目标数据文件集合，所述项目目标数据文件集合包括所述项目初始数据文件集合对应的所有转换后的数据文件；所述数据转换平台将所述项目目标数据文件集合传递至所述数据处理平台，所述数据处理平台对所述目标数据文件集合中的待处理数据文件子集进行预设数据处理，以生成处理后数据文件，所述待处理数据文件子集包括所述目标数据文件集合中符合预设文件特征的所有数据文件；所述数据转换平台将所述项目目标数据文件集合导出至所述目标数据库，所述数据处理平台将所述处理后数据文件导出至所述目标数据库，以使所述目标数据库将所述项目目标数据文件集合以及所述处理后数据文件进行存储，其中，将外部数据访问接口设置于所述处理后数据文件，并在所述处理后数据文件中设置访问所述项目目标数据文件集合的访问接口。
[0005]可选的，所述根据所述第一数据转换规则将所述第一初始数据文件转换为第一目
标数据文件，包括：若所述第一初始数据类型为第一数据类型，则根据预设映射文档对所述第一初始数据文件进行数据转换，以生成所述第一目标数据文件；或者，若所述第一初始数据类型为第二数据类型，则确定所述第一初始数据文件的文件状态；若所述文件状态为文件集合，则利用文件分割组件，以文件级别作为切片粒度对所述第一初始数据文件进行切片，形成切片文件集合，并根据所述预设映射文档对所述切片文件集合中的各个切片文件进行数据转换，以生成所述第一目标数据文件，其中，所述第一目标数据文件中包括多个文件模块，每个所述文件模块对应一个所述切片文件；若所述文件状态为单个文件，则根据所述预设映射文档对所述第一初始数据文件进行数据转换，以生成所述第一目标数据文件；或者，若所述第一初始数据类型为第三数据类型，则确定所述第一初始数据文件的文件结构；若所述文件结构为行式结构，则按行对所述第一初始数据文件进行读取，并将读取结果存入第一二维数组，再根据所述预设映射文档对所述第一二维数组进行数据转换，以生成所述第一目标数据文件；若所述文件结构为列式结构，则按行对所述第一初始数据文件进行读取，并将读取结果存入第二二维数组，对所述二维数组进行转置，以生成第三二维数组，再根据所述预设映射文档对所述第三二维数组进行数据转换，以生成所述第一目标数据文件；或者，若所述第一初始数据类型为第四数据类型，则将所述第一目标数据文件直接转移至所述目标数据库的目标存储区域下，并生成所述第一目标数据文件，所述第一目标数据文件用于链接至所述目标存储区域下的所述第一目标数据文件，所述第一目标数据文件存储于所述项目目标数据文件集合在所述目标数据库的中的存储区域。
[0006]可选的，所述数据处理平台对所述目标数据文件集合中的待处理数据文件子集进行预设数据处理，以生成处理后数据文件，包括：根据预设特征字段从所述目标数据文件集合中获取待处理数据文件，所述待处理数据文件为在预设位置范围内包含了所述预设特征字段的数据文件，所述预设位置范围根据所述待处理数据文件中的文件内容分布特征进行确定，所述待处理数据文件子集包括从所述目标数据文件集合中获取的所有所述待处理数据文件；遍历特征字段集合中的各个所述预设特征字段，并根据各个所述预设特征字段从对应的所述待处理数据文件子集中的所述待处理数据文件提取特征数据，以生成各个所述预设特征字段对应的集合数据；根据所述特征字段集合中的各个所述预设特征字段以及对应的所述集合数据生成所述处理后数据文件。
[0007]可选的，若所述项目初始数据文件集合包括地理信息初始数据文件集合，则所述根据各个所述预设特征字段从对应的所述待处理数据文件子集中的所述待处理数据文件提取特征数据，以生成各个所述预设特征字段对应的集合数据，包括：根据各个所述预设特征字段从对应的所述待处理数据文件子集中的所述待处理数据文件提取坐标信息，所述坐标信息包括原始坐标数据以及所述原始坐标数据对应的原
始坐标系；根据所述原始坐标系以及预设坐标转换映射关系将所述原始坐标数据转换为特征坐标系下的特征坐标数据，所述特征数据包括所述特征坐标数据、所述特征坐标系、所述原始坐标数据以及所述原始坐标系。
[0008]可选的，所述数据转换平台将所述项目目标数据文件集合导出至所述目标数据库，所述数据处理平台将所述处理后数据文件导出至所述目标数据库，包括：所述数据转换平台根据预设加密算法中的第一私钥对所述项目目标数据文件集合进行加密，以生成基础数据文件，并将所述基础数据文件导出至所述目标数据库；所述数据处理平台根据所述预设加密算法中的第二私钥对所述处理后数据文件以及第一公钥进行加密，以生成引导数据文件，并将所述引导数据文件导出至所述目标数据库，以在对所述引导数据文件进行权限验证后，根据第一公钥对所述基础数据文件进行解密，其中，所述权限验证为用户利用第二公钥对所述引导数据文件进行解密的过程。
[0009]可选的，在所述数据转换平台从第一初始数据库中抽取项目初始数据文件集合之前，还包括：将所述第一初始数据库的注册信息提交至所述数据管理系统中的数据管理中心；所述数据管理中心根据所述注册信息对所述第一初始数据库中的数据信息格式进行有效性校验，所述有效性校验用于确认所述第一初始数据库中的数据为所述数据转换平台的兼容数据；若所述有效性校验结果为成功，则对所述数据管理系统进行更新操作，以接入所述第一初始数据库。
[0010]可选的，在所述数据转换平台从第一初始数据库中抽取项目初始数据文件集合之后，还包括：对所述项目初始数据文件集合中的初始数据文件进行文件预处理，所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据处理的数据动态转换方法，其特征在于，应用于数据管理系统，所述数据管理系统包括：多个初始数据库，数据转换平台、数据处理平台以及目标数据库，所述方法，包括：所述数据转换平台从第一初始数据库中抽取项目初始数据文件集合，所述项目初始数据文件集合中包括多种数据类型的数据文件，所述第一初始数据库为所述多个初始数据库中用于存储所述项目初始数据文件集合的数据库；所述数据转换平台遍历所述项目初始数据文件集合中的各个文件，并根据第一初始数据文件对应的第一初始数据类型以及第一目标数据类型确定第一数据转换规则，所述第一初始数据文件为所述初始数据文件集合中当前遍历的数据文件，所述第一目标数据类型为所述项目初始数据文件集合在所述目标数据库中配置的结构化数据存储类型；所述数据转换平台根据所述第一数据转换规则将所述第一初始数据文件转换为第一目标数据文件，并在遍历结束后，生成项目目标数据文件集合，所述项目目标数据文件集合包括所述项目初始数据文件集合对应的所有转换后的数据文件；所述数据转换平台将所述项目目标数据文件集合传递至所述数据处理平台，所述数据处理平台对所述目标数据文件集合中的待处理数据文件子集进行预设数据处理，以生成处理后数据文件，所述待处理数据文件子集包括所述目标数据文件集合中符合预设文件特征的所有数据文件；所述数据转换平台将所述项目目标数据文件集合导出至所述目标数据库，所述数据处理平台将所述处理后数据文件导出至所述目标数据库，以使所述目标数据库将所述项目目标数据文件集合以及所述处理后数据文件进行存储，其中，将外部数据访问接口设置于所述处理后数据文件，并在所述处理后数据文件中设置访问所述项目目标数据文件集合的访问接口。2.根据权利要求1所述的基于数据处理的数据动态转换方法，其特征在于，所述根据所述第一数据转换规则将所述第一初始数据文件转换为第一目标数据文件，包括：若所述第一初始数据类型为第一数据类型，则根据预设映射文档对所述第一初始数据文件进行数据转换，以生成所述第一目标数据文件；或者，若所述第一初始数据类型为第二数据类型，则确定所述第一初始数据文件的文件状态；若所述文件状态为文件集合，则利用文件分割组件，以文件级别作为切片粒度对所述第一初始数据文件进行切片，形成切片文件集合，并根据所述预设映射文档对所述切片文件集合中的各个切片文件进行数据转换，以生成所述第一目标数据文件，其中，所述第一目标数据文件中包括多个文件模块，每个所述文件模块对应一个所述切片文件；若所述文件状态为单个文件，则根据所述预设映射文档对所述第一初始数据文件进行数据转换，以生成所述第一目标数据文件；或者，若所述第一初始数据类型为第三数据类型，则确定所述第一初始数据文件的文件结构；若所述文件结构为行式结构，则按行对所述第一初始数据文件进行读取，并将读取结果存入第一二维数组，再根据所述预设映射文档对所述第一二维数组进行数据转换，以生成所述第一目标数据文件；
若所述文件结构为列式结构，则按行对所述第一初始数据文件进行读取，并将读取结果存入第二二维数组，对所述二维数组进行转置，以生成第三二维数组，再根据所述预设映射文档对所述第三二维数组进行数据转换，以生成所述第一目标数据文件；或者，若所述第一初始数据类型为第四数据类型，则将所述第一目标数据文件直接转移至所述目标数据库的目标存储区域下，并生成所述第一目标数据文件，所述第一目标数据文件用于链接至所述目标存储区域下的所述第一目标数据文件，所述第一目标数据文件存储于所述项目目标数据文件集合在所述目标数据库的中的存储区域。3.根据权利要求2所述的基于数据处理的数据动态转换方法，其特征在于，所述数据处理平台对所述目标数据文件集合中的待处理数据文件子集进行预设数据处理，以生成处理后数据文件，包括：根据预设特征字段从所述目标数据文件集合中获取待处理数据文件，所述待处理数据文件为在预设位置范围内包含了所述预设特征字段的数据文件，所述预设位置范围根据所述待处理数据文件中的文件内容分布特征进行确定，所述待处理数据文件子集包括从所述目标数据文件集合中获取的所有所述待处理数据文件；遍历特征字段集合中的各个所述预设特征字段，并根据各个所述预设特征字段从对应的所述待处理数据文件子集中的所述待处理数据文件提取特征数据，以生成各个所述预设特征字段对应的集合数据；根据所述特征字段集合中的各个所述预设特征字段以及对应的所述集合数据生成所述处理后数据文件。4.根据权利要求3所述的基于数据处理的数据动态转换方法，其特征在于，若所述项目初始数据文件集合包括地理信息初始数据文件集合，则所述根据各个所述预设特征字段从对应的所述待处理数据文件子集中的所述待处理数据文件提取特征数据，以生成各个所述预设特征字段对应的集合数据，包括：根据各个所述预设特征字段从对应的所述待处理数据文件子集中...

【专利技术属性】
技术研发人员：郭鹏，
申请(专利权)人：南京视云信息科技有限公司，
类型：发明
国别省市：