一种数据迁移方法和系统技术方案

本发明专利技术公开了一种数据迁移方法和系统，属于数据存储技术领域。其中，所述方法包括：接收用户数据包并存储至第一集群，所述用户数据包包括用户数据和预设时间；在判断到第一集群的用户数据在预设时间内未被访问的情况下，将第一集群的用户数据迁移至第二集群进行存储，并删除第一集群的用户数据。本公开通过将存储至第一集群中，且在预设时间内未被访问的用户数据迁移至第二集群以节省第一集群存储空间。

【技术实现步骤摘要】

本公开涉及数据存储
，尤其涉及一种数据迁移方法和系统。
技术介绍
对象存储在互联网的大潮中受到了广发关注，并得到了迅速的发展。对象存储与文件存储不同，对象不以目录分层的结构进行组织。每个对象都位于被称为存储池的扁平的空间的相同层级，每一级的每个元素在存储系统中都有唯一的标识，用户通过这个标识来访问容器或者对象。采用扁平的数据组织结构抛弃了嵌套的文件夹，避免维护庞大的目录树。在大数据和互联网时代，存储的文件/对象超过上百万个，单位时间内的访问次数和并发访问量也达到了前所未有的量级，在这种情况下，目录树会给存储系统带来很大的开销和诸多问题，成为系统的瓶颈。另外一个让对象存储焕发生命力的因素是，对象存储不再提供POSIX兼容的接口(如open，close，read，write等)，而是可以非常方便地通过HTTPRestfulAPI接口和对象进行交互:通过PUT和GET进行上传下载，通过DELETE进行删除。对象存储可以为用户提供视频、音乐等较大文件的存储，也可以提供日志的服务，另外，存储服务取得更大发展的更大因素是取得了移动互联网的青睐，在移动端的APP中，对象存储简单的HTTP接口简化了开发者的开发流程，并且还可以为用户提供海量的存储空间。互联网行业的用户通常使用对象存储来存储较热的数据，但是随着时间推移，比如一年之后，这部分数据的热度可能会不断降低，即越来越难以被访问到，此时用户需要为大量不怎么热的数据支付较为昂贵的价格，并且浪费高性能集群的存储空间。而存储在高性能集群中的数据通常能够被快速访问，当较多热度较低数据长时间存储在高性能集群中，会造成高性能集群中热度较高数据存储空间减少的问题。
技术实现思路
本公开的目的是提供一种通过将存储至第一集群中，且在预设时间内未被访问的用户数据迁移至第二集群以节省第一集群存储空间的方法和系统。根据本专利技术实施例的一个方面，提供一种数据迁移方法，所述方法包括：接收用户数据包并存储至第一集群，所述用户数据包包括用户数据和预设时间；在判断到第一集群的用户数据在所述预设时间内未被访问的情况下，将第一集群的用户数据迁移至第二集群进行存储，并删除所述第一集群的用户数据。进一步，在将所述用户数据迁移至第二集群时，还包括：接收与所述用户数据匹配的迁移条件；将所述迁移条件发送至所述第二集群进行存储。进一步，当所述迁移条件为在第二集群的用户数据被访问的情况下，将第二集群的所述用户数据迁移至所述第一集群时，还包括：在判断到所述第二集群的用户数据被访问的情况下，将所述第二集群用户数据迁移至所述第一集群。进一步，将所述第二集群用户数据迁移至所述第一集群后，还包括：将所述第二集群的用户数据删除。进一步，当所述迁移条件为在第二集群的用户数据被访问的情况下，不将第二集群用户数据迁移至所述第一集群时，还包括：在判断到所述第二集群用户数据被访问的情况下，不将所述第二集群用户数据迁移至所述第一集群。根据本专利技术实施例的另一个方面，提供一种数据迁移系统，所述系统包括：第一集群，用于接收用户数据包并存储，所述用户数据包包括用户数据和预设时间；判断模块，用于判断第一集群的用户数据是否在所述预设时间内未被访问；迁移模块，用于在所述判断模块判断到第一集群的用户数据在所述预设时间内未被访问的情况下，将第一集群的用户数据迁移至第二集群进行存储；删除模块，删除所述第一集群的用户数据。进一步，所述第一集群还用于，接收与所述用户数据匹配的迁移条件；发送模块，用于将所述迁移条件发送至所述第二集群进行存储。进一步，所述判断模块还用于，判断所述第二集群的用户数据是否被访问；所述迁移模块还用于，当所述迁移条件为在第二集群的用户数据被访问的情况下，将第二集群的用户数据迁移至所述第一集群时，则在所述判断模块判断到所述第二集群的用户数据被访问的情况下，将所述第二集群的用户数据迁移至所述第一集群。进一步，所述判断模块还用于，判断所述第二集群用户数据是否被访问；所述迁移模块还用于，当所述迁移条件为在第二集群的用户数据被访问的情况下，不将所述第二集群的用户数据迁移至所述第一集群时，则在所述判断模块判断到所述第二集群的用户数据被访问的情况下，不将所述第二集群的用户数据迁移至所述第一集群。进一步，所述第一集群的数据访问速度高于所述第二集群的数据访问速度。如上所述，本公开通过接收用户数据包并存储至第一集群，所述用户数据包包括用户数据和预设时间，在用户数据存储至第一集群后，判断第一集群的用户数据是否在预设时间内未被访问；在第一集群的用户数据在预设时间内未被访问的情况下，将第一集群的用户数据迁移至第二集群进行存储，并将第一集群的用户数据删除。解决了现有技术中由于热度较低数据被保存在第一集群，导致浪费存储空间，以及需要支付昂贵的存储费用，同时，由于第一集群数据访问速度快，造成热度较高数据存储空间减少的问题，实现了保证最热的数据能够被存储在第一集群中，以被快速访问，同时节省了第一集群的存储空间，以及为移动端用户节省了存储费用。附图说明图1是本专利技术实施例一提供的一种数据迁移方法的流程示意图；图2是本专利技术实施例二提供的一种数据迁移方法的流程示意图；图3是本专利技术实施例三提供的一种数据迁移方法的流程示意图；图4是本专利技术实施例四提供的一种数据迁移方法的流程示意图；图5是本专利技术实施例五提供的一种数据迁移系统的结构示意图；图6是本专利技术实施例六提供的一种数据迁移系统的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本专利技术进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本专利技术的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本专利技术的概念。图1显示了本专利技术实施例一提供的一种数据迁移方法的流程示意图。如图1所示，该方法包括：S101，接收用户数据包并存储至第一集群，所述用户数据包包括用户数据和预设时间；具体地，用户数据为由移动端访问互联网产生的视频和音乐等数据，移动端可以通过相应接口将其上传至第一集群，并为该用户数据配置对应的预设时间，即配置该用户数据在第一集群中多长时间不被访问则被迁移至第二集群。S102，判断第一集群的用户数据是否在所述预设时间内未被访问；其中，第一集群的用户数据是指存储在第一集群当中的用户数据。具体地，在用户数据被上传至第一集群后，服务器则开始对第一集群的用户数据进行检查，即判断该用户数据是否在配置的预设时间内未被访问。作为一种实施方式，服务器会定期对第一集群的用户数据进行检查，判断是否有数据到期。作为另一种优选实施方式，服务器可以是记录每个预设时间，并基于预设时间判断是否有用户数据到期，若是，则基于预设时间查找对应用户数据，并执行步骤S103，若不是，则返回继续判断是否有用户数据到期。S103，在判断到第一集群的用户数据在所述预设时间内未被访问的情况下，将第一集群的用户数据迁移至第二集群进行存储，并删除第一集群的用户数据。其中，第一集群的性能高于第二集群，即第一集群的数据访问速度高于第二集群。通常，第一集群中存储的是热度较高的用户数据，而第二集群中存储的是热度较低的用户数据，即第一集群中存储的是最近一段时间访问频率较高的数据，当用户数据存储在第一本文档来自技高网...

【技术保护点】
一种数据迁移方法，其特征在于，所述方法包括：接收用户数据包并存储至第一集群，所述用户数据包包括用户数据和预设时间；在判断到第一集群的用户数据在所述预设时间内未被访问的情况下，将第一集群的用户数据迁移至第二集群进行存储，并删除所述第一集群的用户数据。

【技术特征摘要】
1.一种数据迁移方法，其特征在于，所述方法包括：接收用户数据包并存储至第一集群，所述用户数据包包括用户数据和预设时间；在判断到第一集群的用户数据在所述预设时间内未被访问的情况下，将第一集群的用户数据迁移至第二集群进行存储，并删除所述第一集群的用户数据。2.根据权利要求1所述的方法，在将所述用户数据迁移至第二集群时，还包括：接收与所述用户数据匹配的迁移条件；将所述迁移条件发送至所述第二集群进行存储。3.根据权利要求2所述的方法，当所述迁移条件为在第二集群的用户数据被访问的情况下，将第二集群的所述用户数据迁移至所述第一集群时，还包括：在判断到所述第二集群的用户数据被访问的情况下，将所述第二集群用户数据迁移至所述第一集群。4.根据权利要求3所述的方法，将所述第二集群用户数据迁移至所述第一集群后，还包括：将所述第二集群的用户数据删除。5.根据权利要求2所述的方法，当所述迁移条件为在第二集群的用户数据被访问的情况下，不将第二集群用户数据迁移至所述第一集群时，还包括：在判断到所述第二集群用户数据被访问的情况下，不将所述第二集群用户数据迁移至所述第一集群。6.一种数据迁移系统，其特征在于，所述系统包括：第一集群(10)，用于接收用户数据包并存储，所述用户数据包包括用户数据和预设时间；判断模块(11)，用于判断第一集群的用户数据是否在所述预设时间内未被访问；迁移模块(12)，用于在所述判断模块(1...

【专利技术属性】
技术研发人员：吴兴义，
申请(专利权)人：乐视控股北京有限公司，乐视云计算有限公司，
类型：发明
国别省市：北京;11