面向混合云场景的数据迁移任务调度系统技术方案

本发明专利技术公开了一种面向混合云场景的数据迁移任务调度系统，属于云存储技术领域，本发明专利技术要解决的技术问题为如何降低混合云的开发成本，同时优化混合云场景下的迁移任务调度，采用的技术方案为：该系统包括数据模型、适配器及任务调度管理平台，数据模型用于传输数据；适配器用于数据导入导出以及身份验证；任务调度管理平台用于处理任务、协调数据导入和导出、数据分页、失败请求重试、速率限制、事件通知以及日志监控；其中，任务调度管理平台构建在适配器和数据模型之上，任务调度管理平台用于提供高度抽象的接口，允许数据提供方适配接入。接入。接入。

【技术实现步骤摘要】
面向混合云场景的数据迁移任务调度系统


[0001]本专利技术涉及云存储
，具体地说是一种面向混合云场景的数据迁移任务调度系统。

技术介绍

[0002]混合云融合了公有云和私有云，实现了公有云上的资源和自有数据中心的资源内网互联互通，使用混合云可以满足大量数据存储的需求，还可以保证数据的安全。根据企业的需求，这些环境可能需要包括：至少1个私有云和至少1个公共云、2个或更多私有云、2个或更多公共云。在实际生活中，混合云数据迁移包括从公有云迁移到私有云、从私有云迁移到公有云，各公有云之间的迁移。
[0003]现有技术在面对混合云众多迁移场景时，难以高效率的应对，主要问题如下：
[0004]①
多个服务提供方之间需要对接大量的api，增加对接成本和难度；
[0005]②
数据迁移调度不够完善，缺少完善的限速和重试机制、日志监控、事件通知；
[0006]③
面对新加入的公有云提供方，扩展难度大。
[0007]故如何降低混合云的开发成本，同时优化混合云场景下的迁移任务调度是目前亟待解决的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向混合云场景的数据迁移任务调度系统，其特征在于，该系统包括，数据模型，用于传输数据；适配器，用于数据导入导出以及身份验证；任务调度管理平台，用于处理任务、协调数据导入和导出、数据分页、失败请求重试、速率限制、事件通知以及日志监控；其中，任务调度管理平台构建在适配器和数据模型之上，任务调度管理平台用于提供高度抽象的接口，允许数据提供方适配接入。2.根据权利要求1所述的面向混合云场景的数据迁移任务调度系统，其特征在于，所述数据模型包括视频、照片、音乐、邮件、文章及云对象存储对象；数据模型是由数据流和元数据组成；其中，元数据包括文件名、文件类型、文件描述、文件大小、文件权限及最后修改时间。3.根据权利要求1或2所述的面向混合云场景的数据迁移任务调度系统，其特征在于，所述适配器包括数据适配器和身份验证适配器，同时适配器支持自定义扩展；数据适配器包括数据导出器和数据导入器，数据导出器调用数据来源方api，将来源方的数据转换为数据模型；数据导入器调用数据目的方api，将数据模型转换为目标方数据；身份验证适配器用于调用提供方的身份验证api。4.根据权利要求3所述的面向混合云场景的数据迁移任务调度系统，其特征在于，所述数据导出器定义一个抽象的导出器接口，暴露导出器接口对应的导出方法；导出器接口包括导出权限数据和导出信息两个输入参数；导出信息包括分页信息和数据迁移文件列表。5.根据权利要求4所述的面向混合云场景的数据迁移任务调度系统，其特征在于，所述数据导入器定义一个抽象的导入器接口，暴露导入器接口对应的导出方法；接入器接口包括通用数据模型和导入权限数据两个输入参数。6.根据权利要求5所述的面向混合云场景的数据迁移任务调度系统，其特征在于，使用身份验证适配器获得各服务提供方的导入权限数据和导出权限数据；其中，导入权限数据和导出权限数据是一个合法的token，具体为：输入用户名和密码调用提供方api，提供方验证通过后，返回合法的token值，数据适配器携带该token值获得合法的数据迁移权限；或，导入权限数据和导出权限数据是secret key，具体为云服务对象存储sdk。7.根据权利要求6所述的面向混合云场景的数据迁移任务调度系统，其特...

【专利技术属性】
技术研发人员：许友，王大帅，李超，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：