本发明专利技术涉及数据处理领域，公开了一种数据迁移装置及方法，该装置包括：后端导入模块和前端模块。通过后端导入模块获取当前环境中的数据源信息和导入数据文件包中的导入数据源信息，并发送至前端模块可视化展示，基于用户选取的当前数据源生成数据源映射信息，根据数据源映射信息对导入作业文件数据中作业对象进行信息转换，在转换完成时将作业对象存入当前环境的数据库中。本发明专利技术仅需用户将导入数据文件包上传，后端导入模块解析导入数据文件包，即可完成文件的导入以及导入文件中映射信息的替换，从而自动完成了数据文件在测试环境与生产环境中的迁移，部署快速灵活，减少了人工操作的步骤，提高了导入文件的准确性。提高了导入文件的准确性。提高了导入文件的准确性。
【技术实现步骤摘要】
数据迁移装置及方法
[0001]本专利技术涉及数据处理
，尤其涉及一种数据迁移装置及方法。
技术介绍
[0002]在证券、基金等金融公司的数据平台项目建设过程中，会根据不同业务配置相当多的数据采集、数据开发任务以及作业流程，也会涉及到不同环境下这些任务、流程的备份和迁移问题，比如在开发或测试环境经过测试验证配置好的这些任务和流程，希望能快速准确的迁移部署到生产环境。
[0003]现有技术中实现任务和流程在不同环境下的迁移，最简单的就是在新环境下重新配置一遍，但是这种方式耗时费力、操作步骤多、容易出错且灵活性差。
[0004]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
[0005]本专利技术的主要目的在于提供一种数据迁移装置及方法，旨在解决现有技术中现有技术中数据迁移人工操作步骤多、容易出错、灵活性差的技术问题。
[0006]为实现上述目的，本专利技术提供了一种数据迁移装置，所述数据迁移装置包括：后端导入模块和前端模块；
[0007]所述后端导入模块，用于获取导入数据文件包中的导入映射信息，并读取所述导入映射信息中的导入数据源信息；
[0008]所述后端导入模块，还用于查询出当前环境下所有的数据源，并将查询到的数据源信息和所述导入数据源信息发送至前端模块进行可视化展示；
[0009]所述后端导入模块，还用于获取用户基于可视化展示页面选取的当前数据源，根据所述导入数据源信息和所述当前数据源生成数据源映射信息；
[0010]所述后端导入模块，还用于获取所述导入数据文件包中的导入作业文件数据，根据所述导入作业生成作业对象；
[0011]所述后端导入模块，还用于根据所述数据源映射信息对所述作业对象进行信息转换，并在转换完成时，将所述作业对象存入当前环境的数据库中。
[0012]可选地，所述装置还包括：后端导出模块；
[0013]所述前端模块，用于在导出作业数据时，对可导出作业的作业列表进行可视化展示，并根据用户选择的需导出作业向所述后端导出模块发起导出请求；
[0014]所述后端导出模块，用于根据所述导出请求获取所述需导出数据文件的作业信息；
[0015]所述后端导出模块，还用于根据所述作业信息生成导出映射文件；
[0016]所述后端导出模块，还用于将所述需导出作业和所述导出映射文件转换为预设格式对象，并将所述预设格式对象分别存储至对应的存储目录；
[0017]所述后端导出模块，还用于在所述需导出数据文件全部转换完成并存储至对应的存储目录时，对所述存储目录进行压缩处理，生成预设结构的导出数据文件包。
[0018]可选地，所述导入数据文件包还包括：导入资源文件；
[0019]所述导入映射信息还包括：导入元数据信息；
[0020]所述后端导入模块，还用于根据所述当前数据源信息和所述导入数据源信息确定当前元数据，并根据所述导入元数据信息和所述当前元数据生成元数据映射信息；
[0021]所述后端导入模块，还用于根据所述导入资源文件生成当前资源文件，根据所述当前资源文件和所述导入资源文件生成资源文件映射信息；
[0022]相应的，所述后端导入模块，还用于执行根据所述数据源映射信息、所述元数据映射信息和所述资源文件映射信息对所述作业对象进行信息转换的操作。
[0023]可选地，所述需导出数据文件的文件类型包含流程类文件和任务类文件；
[0024]所述作业信息包括第一配置信息或第二配置信息；
[0025]所述后端导出模块，还用于在所述需导出数据文件的文件类型为任务类文件时，获取所述需导出数据文件的第一配置信息；
[0026]所述后端导出模块，还用于在所述需导出数据文件的文件类型为流程类文件时，获取所述需导出数据文件的流程配置信息，根据所述流程配置信息递归查询所述需导出数据文件依赖的任务的第二配置信息。
[0027]可选地，所述装置还包括：日志模块；
[0028]所述日志模块，用于在所述后端导出模块或所述后端导入模块运行时，生成运行日志，并将所述运行日志发送至所述前端模块；
[0029]所述前端模块，还用于根据所述运行日志对所述后端导出模块或所述后端导入模块的执行进度进行可视化展示。
[0030]此外，本专利技术还提供了一种数据迁移方法，所述方法包括：
[0031]获取导入数据文件包中的导入映射信息，并读取所述导入映射信息中的导入数据源信息；
[0032]查询出当前环境下所有的数据源，并对查询到的数据源信息和所述导入数据源信息进行可视化展示；
[0033]获取用户基于可视化展示页面选取的当前数据源，根据所述导入数据源信息和所述当前数据源生成数据源映射信息；
[0034]获取所述导入数据文件包中的导入作业文件数据，根据所述导入作业生成作业对象；
[0035]根据所述数据源映射信息对所述作业对象进行信息转换，并在转换完成时，将所述作业对象存入当前环境的数据库中。
[0036]可选地，所述方法还包括：
[0037]在导出作业数据时，对可导出作业的作业列表进行可视化展示，并根据用户选择的需导出作业向所述后端导出模块发起导出请求；
[0038]根据所述导出请求获取所述需导出数据文件的作业信息；
[0039]根据所述作业信息生成导出映射文件；
[0040]将所述需导出数据文件和所述导出映射文件转换为预设格式对象，并将所述预设
格式对象分别存储至对应的存储目录；
[0041]在所述需导出数据文件全部转换完成并存储至对应的存储目录时，对所述存储目录进行压缩处理，生成预设结构的导出数据文件包。
[0042]可选地，所述导入数据文件包还包括：导入资源文件；
[0043]所述导入映射信息还包括：导入元数据信息；
[0044]所述获取用户基于可视化展示页面选取的当前数据源，根据所述导入数据源信息和所述当前数据源生成数据源映射信息的步骤之后，还包括：
[0045]根据所述当前数据源信息和所述导入数据源信息确定当前元数据，并根据所述导入元数据信息和所述当前元数据生成元数据映射信息；
[0046]根据所述导入资源文件生成当前资源文件，根据所述当前资源文件和所述导入资源文件生成资源文件映射信息；
[0047]相应的，根据所述数据源映射信息对所述作业对象进行信息转换的步骤还包括：
[0048]根据所述数据源映射信息、所述元数据映射信息和所述资源文件映射信息对所述作业对象进行信息转换。
[0049]可选地，所述需导出数据文件的文件类型包含流程类文件和任务类文件；
[0050]所述作业信息包括第一配置信息或第二配置信息；
[0051]所述根据用户选择的需导出数据文件获取所述需导出数据文件的作业信息的步骤，包括：
[0052]在所述需导出数据文件的文件类型为任务类文件时，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据迁移装置，其特征在于，所述装置包括：后端导入模块和前端模块；所述后端导入模块，用于获取导入数据文件包中的导入映射信息，并读取所述导入映射信息中的导入数据源信息；所述后端导入模块，还用于查询出当前环境下所有的数据源，并将查询到的数据源信息和所述导入数据源信息发送至前端模块进行可视化展示；所述后端导入模块，还用于获取用户基于可视化展示页面选取的当前数据源，根据所述导入数据源信息和所述当前数据源生成数据源映射信息；所述后端导入模块，还用于获取所述导入数据文件包中的导入作业文件数据，根据所述导入作业生成作业对象；所述后端导入模块，还用于根据所述数据源映射信息对所述作业对象进行信息转换，并在转换完成时，将所述作业对象存入当前环境的数据库中。2.如权利要求1所述的数据迁移装置，其特征在于，所述装置还包括：后端导出模块；所述前端模块，用于在导出作业数据时，对可导出作业的作业列表进行可视化展示，并根据用户选择的需导出作业向所述后端导出模块发起导出请求；所述后端导出模块，用于根据所述导出请求获取所述需导出数据文件的作业信息；所述后端导出模块，还用于根据所述作业信息生成导出映射文件；所述后端导出模块，还用于将所述需导出作业和所述导出映射文件转换为预设格式对象，并将所述预设格式对象分别存储至对应的存储目录；所述后端导出模块，还用于在所述需导出数据文件全部转换完成并存储至对应的存储目录时，对所述存储目录进行压缩处理，生成预设结构的导出数据文件包。3.如权利要求1所述数据迁移装置，其特征在于，所述导入数据文件包还包括：导入资源文件；所述导入映射信息还包括：导入元数据信息；所述后端导入模块，还用于根据所述当前数据源信息和所述导入数据源信息确定当前元数据，并根据所述导入元数据信息和所述当前元数据生成元数据映射信息；所述后端导入模块，还用于根据所述导入资源文件生成当前资源文件，根据所述当前资源文件和所述导入资源文件生成资源文件映射信息；相应的，所述后端导入模块，还用于执行根据所述数据源映射信息、所述元数据映射信息和所述资源文件映射信息对所述作业对象进行信息转换的操作。4.如权利要求2所述的数据迁移装置，其特征在于，所述需导出数据文件的文件类型包含流程类文件和任务类文件；所述作业信息包括第一配置信息或第二配置信息；所述后端导出模块，还用于在所述需导出数据文件的文件类型为任务类文件时，获取所述需导出数据文件的第一配置信息；所述后端导出模块，还用于在所述需导出数据文件的文件类型为流程类文件时，获取所述需导出数据文件的流程配置信息，根据所述流程配置信息递归查询所述需导出数据文件依赖的任务的第二配置信息。5.如权利要求1
‑
4任一项所述的数据迁移装置，其特征在于，所述装置还包括：日志模块；
所述日志模块，用于在所述后端导出模块或所述后端导入模块运行...
【专利技术属性】
技术研发人员：温路平，费启辉，冯春平，
申请(专利权)人：金证财富南京科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。