数据迁移方法及装置制造方法及图纸

本发明专利技术提供一种数据迁移方法及装置，用以解决传统的分级存储数据迁移过程中对硬盘读取次数较多，降低了系统内部性能的问题，其中，数据迁移方法包括：高速缓冲存储器Cache模块从分级存储模块处获知待迁移热点数据的地址空间；Cache模块根据地址空间写入待迁移热点数据；Cache模块将待迁移热点数据在Cache模块内的地址空间通知给分级存储模块，该方案提高了存储系统的性能。

【技术实现步骤摘要】

本专利技术涉及通讯领域，特别是涉及数据迁移方法及装置。
技术介绍
随着硬盘技术的进步，存储系统支持的存储介质类型和数量已显著增加。存储系统支持的存储介质包括：SSD(SolidStateDrive，固态硬盘)、SAS(SerialAttachedSCSI，串行连接SCSI)硬盘和NL(NearLine)SAS硬盘。存储资源(SSD、SAS、NL_SAS)调配是重复性高且耗时较长的任务，通过前期的规划使存储系统在性能需求和容量需求之间达到平衡是一件比较困难的事情，即使初期达到了平衡，性能和容量的需求也会发生变化，存储系统的资源调配需要不断的调整，因此，业界存储系统一般都支持分级存储功能，该功能的目的就是通过统计数据的活跃级别智能的管理数据的存放位置，提高存储系统整体性能并降低用户成本，其中，用户成本通常包括设备采购、空间、能耗和管理的成本。通过分级存储自动进行资源的调配，可以大大降低前期规划的难度，后期的维护和扩容也变得更容易。目前，业界对分级存储的实现基本上是通过统计、分析、迁移三个阶段进行的，也即通过对一定区域数据的访问频度统计，周期性的分析出是否为热点数据，然后通过数据迁移的手段实现从一个数据空间迁移至另外一个数据空间。而迁移的方式一般是在不影响主机IO的前提下，存储系统通过后台程序进行数据搬迁，如将需要迁移的数据从硬盘读出来，然后再写入到需要迁移的目的硬盘地址的方式实现。具体到存储系统来讲，由于分级存储位于Cache之下，传统的流程如图1所示，分级存储的热点迁移是分级存储模块对硬盘热点区域的读写操作。分级存储模块统计出硬盘的热点区域，迁移流程周期性的对热点区域进行数据搬迁，一般情况下搬迁过程首先是从需要搬迁的盘上读取一段数据，读取数据通过临时内存资源存放，然后分级存储模块将这块数据写到需要迁移的目的硬盘地址空间上，写完后释放掉临时内存资源，这样一次正常的搬迁动作完毕，此时搬迁过程会涉及一次读盘，一次内存资源申请释放和一次写盘。同时，考虑到存储系统中热点统计区域的粒度和一次搬迁的粒度不匹配，如图2，通常是热点区域统计粒度(通常是上层逻辑卷地址到硬盘地址映射粒度)大于一次搬迁粒度，所以，只有当热点区域的所有数据搬迁完成后，才能修改逻辑卷地址到硬盘地址映射。这样当热点区域数据没有搬迁完之前，如果此时正好有写IO访问到已经搬迁的部分数据内容时候，此时分级存储处理该写IO需要同时写两份数据，一份写到原来老的硬盘区域，一份需要写到新的硬盘区域，这样做的目的是为了保证数据一致性，此过程即为分级存储模块的双写流程，综述就是传统上的分级存储的数据迁移过程。可见，传统的分级存储数据迁移过程中对硬盘的读取次数较多，降低了存储系统内部性能。
技术实现思路
本专利技术提供一种数据迁移方法及装置，用以解决传统的分级存储数据迁移过程中对硬盘读取次数较多，降低了系统内部性能的问题。根据本专利技术的第一个方面，提供了一种数据迁移方法，包括：高速缓冲存储器Cache模块从分级存储模块处获知待迁移热点数据的地址空间；Cache模块根据地址空间写入待迁移热点数据；Cache模块将待迁移热点数据在Cache模块内的地址空间通知给分级存储模块。其中，Cache模块根据地址空间写入待迁移热点数据，包括：当未在Cache模块中查找到所有待迁移热点数据的地址空间的情况下，Cache模块向分级存储模块下发预读请求；Cache模块接收分级存储模块发送的待迁移热点数据，并将接收到的热点数据写入Cache模块。根据本专利技术的第二个方面，提供了一种数据迁移方法包括：分级存储模块将待迁移热点数据的地址空间告知高速缓冲存储器Cache模块；分级存储模块在获知待迁移数据在Cache模块内的地址空间后，将热点数据写到新的介质的地址空间；分级存储模块根据新的介质的地址空间修改逻辑卷与介质映射表的对应关系。其中，分级存储模块在获知待迁移数据在Cache模块内的地址空间后，将热点数据写到新的介质的地址空间，包括：当接收来自Cache模块转发的热点数据访问请求时，根据热点数据的迁移进度判断请求需要读取的数据是否为已迁移数据，得到判断结果；根据判断结果读取数据，数据读取完毕后，通知Cache模块数据读取完毕。进一步的，上述方法还包括：在将待迁移热点数据的地址空间告知述Cache模块之前，分级存储模块对逻辑卷LUN所在的层级的硬盘地址空间按照分级存储统计粒度进行热点数据统计；分级存储模块根据统计的数据分析出待迁移热点数据的空间地址。根据本专利技术的第三个方面，提供了一种数据迁移装置，包括：获知单元，用于通过高速缓冲存储器Cache模块从分级存储模块处获知待迁移热点数据的地址空间；第一写入单元，用于通过Cache模块根据地址空间写入待迁移热点数据；通知单元，用于通过Cache模块将待迁移热点数据在Cache模块内的地址空间通知给分级存储模块。其中，上述第一写入单元，包括：预读子单元，用于当未在Cache模块中查找到所有待迁移热点数据的地址空间的情况下，Cache模块向分级存储模块下发预读请求；写入子单元，用于通过Cache模块接收分级存储模块发送的待迁移热点数据，并将接收到的热点数据写入Cache模块。根据本专利技术的第四个方面，提供了一种数据迁移装置，包括：告知单元，用于通过分级存储模块将待迁移热点数据的地址空间告知高速缓冲存储器Cache模块；第二写入单元，用于通过分级存储模块在获知待迁移数据在Cache模块内的地址空间后，将热点数据写到新的介质的地址空间；修改单元，用于分级存储模块根据新的介质的地址空间修改逻辑卷与介质映射表的对应关系。其中，上述第二写入单元，包括：判断子单元，用于当接收来自Cache模块转发的热点数据访问请求时，根据热点数据的迁移进度判断请求需要读取的数据是否为已迁移数据，得到判断结果；通知子单元，用于根据判断结果读取数据，数据读取完毕后，通知Cache模块数据读取完毕。进一步的，上述装置还包括：统计单元，用于在将待迁移热点数据的地址空间告知Cache模块之前，分级存储模块对逻辑卷LUN所在的层级的硬盘地址空间按照分级存储统计粒度进行热点数据统计；分析单元，用于分级存储模块根据统计的数据分析出待迁移热点数据的空间地址。本专利技术有益效果如下：本专利技术实施例提供的方案，在进行数据迁移过程中可以减少一次读盘操作和一次内存占用，刷盘迁移过程中只涉及一次写盘操作，提高了存储系统内部性能。附图说明图1是现有技术中分级存储的热点数据迁移的流程图；图2是现有技术中分级存储的热点数据迁移过程中的双写流程图；图3是本专利技术实施例1提供的一种数据迁移方法的流程图；图4是本专利技术实施例1中Cache的基本原理图；图5是本专利技术实施例2提供的数据迁移方法的流程图；图6是本专利技术实施例3中在Cache中命中所有迁移数据情况下的数据迁移流程图；图7是本专利技术实施例3中在Cache未命中所有迁移数据情况下的数据迁移流程图；图8是本专利技术实施例3中在数据迁移过程中有写IO访问迁移区域情况下的数据迁移流程图；图9是本专利技术实施例3中在数据迁移过程中有读IO访问迁移区域情况下的数据迁移流程图；图10是本专利技术实施例4提供的数据迁移装置的结构框图；图11是本专利技术实施例5提供本文档来自技高网...

【技术保护点】
一种数据迁移方法，其特征在于，包括：高速缓冲存储器Cache模块从分级存储模块处获知待迁移热点数据的地址空间；所述Cache模块根据所述地址空间写入所述待迁移热点数据；所述Cache模块将待迁移热点数据在所述Cache模块内的地址空间通知给所述分级存储模块。

【技术特征摘要】
1.一种数据迁移方法，其特征在于，包括：高速缓冲存储器Cache模块从分级存储模块处获知待迁移热点数据的地址空间；所述Cache模块根据所述地址空间写入所述待迁移热点数据；所述Cache模块将待迁移热点数据在所述Cache模块内的地址空间通知给所述分级存储模块。2.根据权利要求1所述的方法，其特征在于，所述Cache模块根据所述地址空间写入所述待迁移热点数据，包括：当未在所述Cache模块中查找到所有待迁移热点数据的地址空间的情况下，所述Cache模块向所述分级存储模块下发预读请求；所述Cache模块接收所述分级存储模块发送的待迁移热点数据，并将接收到的热点数据写入所述Cache模块。3.一种数据迁移方法，其特征在于，包括：分级存储模块将待迁移热点数据的地址空间告知高速缓冲存储器Cache模块；所述分级存储模块在获知待迁移数据在所述Cache模块内的地址空间后，将所述热点数据写到新的介质的地址空间；所述分级存储模块根据所述新的介质的地址空间修改逻辑卷与介质映射表的对应关系。4.根据权利要求3所述的方法，其特征在于，所述所述分级存储模块在获知待迁移数据在所述Cache模块内的地址空间后，将所述热点数据写到新的介质的地址空间，包括：当接收来自所述Cache模块转发的热点数据访问请求时，根据热点数据的迁移进度判断所述请求需要读取的数据是否为已迁移数据，得到判断结果；根据判断结果读取数据，在数据读取完毕后，通知所述Cache模块数据读
\t取完毕。5.根据权利要求3或4所述的方法，其特征在于，所述方法还包括：在将待迁移热点数据的地址空间告知述Cache模块之前，所述分级存储模块对逻辑卷LUN所在的层级的硬盘地址空间按照分级存储统计粒度进行热点数据统计；所述分级存储模块根据统计的数据分析出待迁移热点数据的空间地址。6.一种数据迁移装置，其特征在于，...

【专利技术属性】
技术研发人员：张翼，秦长鹏，戴庆军，舒坦，刘卯银，牛克强，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东;44