一种数据处理方法及装置制造方法及图纸

本申请涉及数据存储技术领域，特别涉及一种数据处理方法及装置。该方法包括：接收目标虚拟机迁移指令；基于目标虚拟机对应的第一SSD缓存区中各数据条目的索引编号，以第一顺序将各数据条目对应的数据分别同步至目的主机；基于目标虚拟机对应的第二SSD缓存区中各数据条目的索引编号，以第二顺序将各数据条目对应的数据分别存储至后端存储，第一SSD缓存区为目标虚拟机的主本数据的缓存区/副本数据的缓存区，第二SSD缓存区为目标虚拟机的副本数据的缓存区/主本数据的缓存区，第一顺序和第二顺序为反向顺序；在确定各数据条目对应的数据均同步至目的主机，或存储至后端存储时，在源主机上关闭目标虚拟机，在目的主机上创建目标虚拟机。

【技术实现步骤摘要】
一种数据处理方法及装置
本申请涉及数据存储
，特别涉及一种数据处理方法及装置。
技术介绍
随着互联网时代的进一步发展，计算机中需要存储的有效数据也成倍地增长。随着数据的基数增长使其存储和传输将会变得极其缓慢，存储和传输将成为负担。目前，通常采用SSD加速存储的方式进行数据处理，SSD加速存储通常有两种方式，SSDwriteback策略和SSDwritethrough策略，其中，SSDwriteback策略可以对读写加速，而SSDwritethrough策略只能对读加速。目前，分布式存储系统中，为了提高虚拟磁盘的性能，通常采用SSDwriteback加速策略对读写加速。然而，为了保障可靠性，防止SSD损坏引发数据不完整，采用网络raid配置DRBD同步复制卷对SSDcache作副本。那么，当源主机中任一虚拟机(目标虚拟机)需要迁移至目的主机时，首先，需要在源主机上暂停目标虚拟机，然后，将目标虚拟机对应的SSD中缓存数据全部刷盘至后端存储中，最后，在目的主机上创建目标虚拟机，完成目标虚拟机的迁移。然而，当目标虚拟机对应的缓存数本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，应用于分布式存储系统，所述分布式存储系统采用SSD固态硬盘缓存的方式进行读写加速，所述方法包括：/n接收目标虚拟机迁移指令；/n基于所述目标虚拟机对应的第一SSD缓存区中缓存的各数据条目的索引编号，以第一顺序将所述各数据条目对应的数据分别同步至目的主机；/n基于所述目标虚拟机对应的第二SSD缓存区中缓存的各数据条目的索引编号，以第二顺序将所述各数据条目对应的数据分别存储至后端存储，其中，所述第一SSD缓存区为所述目标虚拟机的主本数据的缓存区/副本数据的缓存区，所述第二SSD缓存区为所述目标虚拟机的副本数据的缓存区/主本数据的缓存区，所述第一顺序和所述第二顺序为...

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于分布式存储系统，所述分布式存储系统采用SSD固态硬盘缓存的方式进行读写加速，所述方法包括：
接收目标虚拟机迁移指令；
基于所述目标虚拟机对应的第一SSD缓存区中缓存的各数据条目的索引编号，以第一顺序将所述各数据条目对应的数据分别同步至目的主机；
基于所述目标虚拟机对应的第二SSD缓存区中缓存的各数据条目的索引编号，以第二顺序将所述各数据条目对应的数据分别存储至后端存储，其中，所述第一SSD缓存区为所述目标虚拟机的主本数据的缓存区/副本数据的缓存区，所述第二SSD缓存区为所述目标虚拟机的副本数据的缓存区/主本数据的缓存区，所述第一顺序和所述第二顺序为反向顺序；
在确定所述各数据条目对应的数据均同步至目的主机，或存储至后端存储时，在源主机上关闭所述目标虚拟机，并在所述目的主机上创建所述目标虚拟机。


2.如权利要求1所述的方法，其特征在于，所述各数据条目为所述目标虚拟机对应的SSD缓存区中的写数据条目。


3.如权利要求1或2所述的方法，其特征在于，所述第一SSD缓存区为所述目标虚拟机的主本数据的缓存区，所述第一顺序为从小到大的顺序；
所述基于所述目标虚拟机对应的第一SSD缓存区中缓存的各数据条目的索引编号，以第一顺序将所述各数据条目对应的数据分别同步至目的主机的步骤包括：
基于所述目标虚拟机的主本数据的缓存区中缓存的各写数据条目的索引编号，以从小到大的顺序遍历各写数据条目，针对每一写数据条目分别执行以下操作：
向目的主机发送第一写数据条目对应的第一数据的同步指令，以使得所述目的主机在第三SSD缓存区中缓存所述第一数据，创建所述第一数据对应的写数据条目，并将新创建的所述第一数据对应的写数据条目标记为本地可用，以及向源主机发送所述第一数据同步完成指令；
接收所述目的主机发送的第一数据同步完成指令，并将所述第一写数据条目标记为远端可用。


4.如权利要求3所述的方法，其特征在于，所述第二SSD缓存区为所述目标虚拟机的副本数据的缓存区，所述第二顺序为从大到小的顺序；
基于所述目标虚拟机对应的第二SSD缓存区中缓存的各数据条目的索引编号，以第二顺序将所述各数据条目对应的数据分别存储至后端存储的步骤包括：
向后端存储发送第二写数据条目对应的第二数据的存储指令，以使得所述后端存储将所述第二数据存储在本地，并向源主机发送所述第二数据存储完成指令；
接收所述后端存储发送的第二数据存储完成指令，并将所述第二写数据条目标记为无效。


5.如权利要求3所述的方法，其特征在于，所述方法还包括：
接收客户端发送的IO指令；
若确定所述第一SSD缓存区中存在与所述IO指令匹配的写数据条目，且该写数据条目被标记为远端可用，则从所述第三SSD缓存区中读取/写入该写数据条目对应的数据；
若确定所述第一SSD缓存区中存在与所述IO指令匹配的写数据条目，且该写数据条目被标记为本地可用，则从所述第一SSD缓存区中读取/写入该写数据条目对应的数据；
若确定所述第一SSD缓存区中不存在与所述IO指令匹配的写数据条目，则将所述IO指令携带的数据写入所述第三缓存区中，并创建对应的写数据条目。


6.一种数据处理装置，其特征在于，应用于分布式...

【专利技术属性】
技术研发人员：钟晋明，
申请(专利权)人：新华三大数据技术有限公司，
类型：发明
国别省市：河南;41