数据处理方法及装置制造方法及图纸

本说明书提供数据处理方法及装置，其中所述数据处理方法包括：接收针对目标数据的数据转储指令；基于所述数据转储指令将所述目标数据从初始存储介质转储至目标存储介质，其中，在所述转储的过程中对所述目标数据进行第一次数据校验；在所述第一次数据校验通过的情况下，将所述目标数据保留在所述初始存储介质中。

【技术实现步骤摘要】
数据处理方法及装置
本说明书涉及计算机
，特别涉及一种数据处理方法。本说明书同时涉及一种数据处理装置，一种计算设备，以及一种计算机可读存储介质。
技术介绍
随着互联网技术的发展，各个企业所拥有的数据量越来越大，而这些数据中有些数据是被经常性访问的，而有些数据是不被经常性访问的，并且数据的价值大多会随着时间的增长而递减，例如数据大多会从被经常性访问的阶段逐渐转变到不被经常性访问的阶段，而针对不同阶段的数据可以通过采用不同类型的存储介质进行存储，从而减少存储成本，因此，在数据的价值转变时，通常需要对数据在不同类型的存储介质之间进行转储，而目前在数据的转储过程中，由于一些原因，比如程序代码问题、网络错误、目标存储介质不可用等等，可能会出现数据错误，因此，需要更安全的方式进行数据处理。
技术实现思路
有鉴于此，本说明书实施例提供了一种数据处理方法。本说明书同时涉及一种数据处理装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。根据本说明书实施例的第一方面，提供了一种数据处理方法，包括：接收针对目标数据的数据转储指令；基于所述数据转储指令将所述目标数据从初始存储介质转储至目标存储介质，其中，在所述转储的过程中对所述目标数据进行第一次数据校验；在所述第一次数据校验通过的情况下，将所述目标数据保留在所述初始存储介质中。根据本说明书实施例的第二方面，提供了一种数据处理装置，包括：接收针对目标数据的数据转储指令；基于所述数据转储指令将所述目标数据从初始存储介质转储至目标存储介质，其中，在所述转储的过程中对所述目标数据进行第一次数据校验；在所述第一次数据校验通过的情况下，将所述目标数据保留在所述初始存储介质中。根据本说明书实施例的第三方面，提供了一种计算设备，包括：存储器和处理器；所述存储器用于存储计算机指令，所述处理器用于执行所述计算机指令：接收针对目标数据的数据转储指令；基于所述数据转储指令将所述目标数据从初始存储介质转储至目标存储介质，其中，在所述转储的过程中对所述目标数据进行第一次数据校验；在所述第一次数据校验通过的情况下，将所述目标数据保留在所述初始存储介质中。根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机指令，所述计算机指令被处理器执行时实现所述数据处理方法的步骤。本说明书提供的数据处理方法，通过接收针对目标数据的数据转储指令基于所述数据转储指令将所述目标数据从初始存储介质转储至目标存储介质，其中，在所述转储的过程中对所述目标数据进行第一次数据校验；在所述第一次数据校验通过的情况下，将所述目标数据保留在所述初始存储介质中，实现了将目标数据转储至目标存储介质之后，将目标数据在初始存储介质中进行保留，作为对目标数据进行转储的缓冲，以便通过对目标数据转储的缓冲，提高了目标数据在不同类型的存储介质之间进行转储的数据安全性。附图说明图1是本说明书一实施例提供的一种数据处理方法的示意图；图2是本说明书一实施例提供的一种数据处理方法的流程图；图3是本说明书一实施例提供的一种应用于实际场景中的数据处理方法的示意图；图4是本说明书一实施例提供的一种数据处理装置的结构示意图；图5是本说明书一实施例提供的一种计算设备的结构框图。具体实施方式在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。首先，对本说明书一个或多个实施例涉及的名词术语进行解释。数据生命周期管理(datalifecyclemanagement，DLM)是一种基于策略的方法，用于管理信息系统的数据在整个生命周期内的流动：从创建和初始存储，到它过时被删除。循环冗余校验(CyclicRedundancyCheck，CRC)是一种根据网络数据包或计算机文件等数据产生简短固定位数校验码的一种信道编码技术，主要用来检测或校验数据传输或者保存后可能出现的错误。它是利用除法及余数的原理作错误侦测的。低频存储(InfrequentAccess)，一种适合不会被频繁访问的数据的存储类型，实际应用中，低频存储的单位存储成本比标准存储低，但是读写延时比标准存储高，并在读写过程中相比标准存储会产生更多网络开销，其中，标准存储也是一种存储类型，提供高可靠、高可用、高性能的存储服务，能够支持频繁的数据访问。为了实现数据在不同存储介质之间的转储，图1示出了根据本说明书一实施例提供的一种数据处理方法的示意图。具体的，以对线上(Online)目标数据的转储为例，目标数据(可以理解为待转储的数据)在未进行转储之前的存储状态为未转储状态，而在接收到针对目标数据的数据转储指令之后，将目标数据从初始存储介质中转储至目标存储介质中，并在转储完成后，将目标数据的存储状态从未转储状态，修改为已转储状态，并将目标数据的转储子状态修改为None状态，修改完成后，目标数据的存储状态为已转储状态且存储子状态为None状态，若在存储状态为已转储状态且转储子状态为None状态的期间，接收对目标数据的读写请求，则触发针对目标数据的数据取回(即将目标数据从目标存储介质中取回至初始存储介质中)。在数据取回后，将目标数据的转储子状态从None状态，修改为Recalled(召回)状态，修改完成后，目标数据的存储状态为已转储状态且转储子状态为Recalled(可以理解为下述实施例中的第二状态)，若该状态期间过程出现了针对目标数据的更新，则需要在目标数据满足重新转储的条件后，将目标数据从初始存储介质中重新转储至目标存储介质中，并在重新转储之后，将目标数据的存储子状态修改回None状态。此外，在对目标数据重新转储之前，可以将已经转储至目标存储介质的目标数据作为过期的数据加入GC(GarbageCollect)垃圾回收表，并通过数据删除程序，对该表中的过期数据进行删除。为本文档来自技高网...

【技术保护点】
1.一种数据处理方法，包括：/n接收针对目标数据的数据转储指令；/n基于所述数据转储指令将所述目标数据从初始存储介质转储至目标存储介质，其中，在所述转储的过程中对所述目标数据进行第一次数据校验；/n在所述第一次数据校验通过的情况下，将所述目标数据保留在所述初始存储介质中。/n

【技术特征摘要】
1.一种数据处理方法，包括：
接收针对目标数据的数据转储指令；
基于所述数据转储指令将所述目标数据从初始存储介质转储至目标存储介质，其中，在所述转储的过程中对所述目标数据进行第一次数据校验；
在所述第一次数据校验通过的情况下，将所述目标数据保留在所述初始存储介质中。


2.根据权利要求1所述的数据处理方法，还包括：
接收针对所述目标数据的二次校验指令；
基于所述二次校验指令，对所述目标数据进行第二次数据校验；
在所述第二次数据校验通过的情况下，将所述目标数据从所述初始存储介质中删除。


3.根据权利要求1所述的数据处理方法，所述基于所述数据转储指令将所述目标数据从初始存储介质转储至目标存储介质之后，还包括：
接收针对所述初始存储介质中所述目标数据的更新请求；
基于所述更新请求对所述初始存储介质中的所述目标数据进行更新。


4.根据权利要求3所述的数据处理方法，所述基于所述更新请求对所述初始存储介质中的所述目标数据进行更新之后，还包括：
接收针对所述目标数据的第二数据转储指令；
基于所述第二数据转储指令，将所述目标存储介质中的所述目标数据进行删除，并将更新后的目标数据从所述初始存储介质转储至所述目标存储介质。


5.根据权利要求2所述的数据处理方法，所述在所述第一次数据校验通过的情况下，还包括：
将所述目标数据在所述初始存储介质中的元数据中的存储状态修改为第一状态；
相应的，所述基于所述二次校验指令，对所述目标数据进行第二次数据校验，包括：
基于所述二次校验指令中携带的数据筛选条件，确定所述目标数据，其中，所述数据筛选条件包括：所述存储状态为所述第一状态且在所述初始存储介质中的保留时长满足预设时长；
对所述目标数据进行第二次数据校验。


6.根据权利要求5所述的数据处理方法，在所述第一次数据校验通过的情况下，还包括：
接收针对所述初始存储介质中所述目标数据的更新请求；
基于所述更新请求对所述初始存储介质中的所述目标数据进行更新，并将所述存储状态修改为第二状态。


7.根据权利要求6所述的数据处理方法，所述将所述存储状态修改为第二状态之后，还包括：
接收针对所述目标数据的第二数据转储指令；
基于所述第二数据转储指令，将所述目标存储介质中的所述目标数据进行删除，并将更新后的目标数据从所述初始存储介质转储至所述目标存储介质；
将所述存储状态修改从所述第二状态修改为所述第一状态。


8.根据权利要求5所述的数据处理方法，所述将所述目标数据从所述初始存储介质中删除之后，还包括：
将所述存储状态从所述第一状态修改为第三状态。


9.根据权利要求2所述的数据处理方法，所...

【专利技术属性】
技术研发人员：叶庆华，周栩孜，梅嘉，鲍利平，周沁，张锋，蒋悦涛，
申请(专利权)人：阿里巴巴新加坡控股有限公司，
类型：发明
国别省市：新加坡;SG