本申请公开一种数据处理方法和装置，其中，数据处理方法包括：获得待存储文件的第一数据结构，并获得已存储目标文件的第二数据结构；根据所述第一数据结构和所述第二数据结构的各节点存储信息确定差异数据；所述差异数据为所述待存储文件中与所述目标文件不同的数据；对所述差异数据进行存储。对所述差异数据进行存储。对所述差异数据进行存储。
【技术实现步骤摘要】
一种数据处理方法和装置
[0001]本申请属于数据存储
，尤其涉及一种数据处理方法和装置。
技术介绍
[0002]在基于已知存储技术进行数据存储时，如使用第三方云存储介质存储用户文档数据时，常常存在存储空间占用量高、存储资源浪费等问题，如何解决该问题成为本领域技术人员亟待解决的技术问题。
技术实现思路
[0003]为此，本申请公开如下技术方案：
[0004]一种数据处理方法，包括：
[0005]获得待存储文件的第一数据结构，并获得已存储目标文件的第二数据结构；
[0006]根据所述第一数据结构和所述第二数据结构的各节点存储信息确定差异数据；所述差异数据为所述待存储文件中与所述目标文件不同的数据；
[0007]对所述差异数据进行存储。
[0008]可选的，所述获得待存储文件的第一数据结构，并获得已存储目标文件的第二数据结构，包括：
[0009]获得所述待存储文件的第一元数据树，和所述目标文件的第二元数据树；
[0010]其中，文件的元数据树为通过将文件按设定的分片大小切分成至少一个分片所构建的用于存储文件分片信息的树型数据结构，元数据树中的一个叶节点对应文件的一个分片，叶节点至少用于存储所对应分片的摘要信息，非叶节点用于存储所对应各个子节点中摘要信息的合并结果的摘要信息。
[0011]可选的，获得所述待存储文件的第一元数据树，包括：
[0012]构建所述待存储文件的所述第一元数据树；
[0013]获得所述目标文件的第二元数据树，至少包括以下方式之一：
[0014]构建所述目标文件的所述第二元数据树；
[0015]从预设存储中读取预先存储的所述目标文件的所述第二元数据树。
[0016]可选的，根据所述第一数据结构和所述第二数据结构的各节点存储信息确定差异数据，包括：
[0017]比对所述第一元数据树与所述第二元数据树的节点中的摘要信息；
[0018]基于比对结果确定所述第一元数据树中与所述第二元数据树的相应叶节点所存储摘要信息相同的第一目标叶节点；
[0019]将所述第一元数据树中所述第一目标叶节点以外的叶节点在所述待存储文件中所对应分片的数据内容确定为所述差异数据。
[0020]可选的，比对所述第一元数据树与所述第二元数据树的节点中的摘要信息，基于比对结果确定所述第一元数据树中与所述第二元数据树的相应叶节点所存储摘要信息相
同的第一目标叶节点，包括：
[0021]按自上向下方式，比对所述第一元数据树和所述第二元数据树的对等层节点中的摘要信息；对等层节点对应的子树层数均相同；
[0022]基于比对结果，确定所述第一元数据树中与所述第二元数据树的相应节点所存储摘要信息相同的第一目标节点；
[0023]将所述第一目标节点包含的各个叶节点确定为所述第一目标叶节点。
[0024]可选的，文件元数据树中的叶节点，还用于存储所述叶节点所对应分片的存储位置的第一位置索引；在对所述差异数据进行存储之后，所述方法还包括：
[0025]获得所述差异数据的存储位置的第一位置索引，将获得的第一位置索引存储至所述差异数据在所述第一元数据树中所对应的叶节点；
[0026]获得所述第一目标叶节点在所述第二元数据树中对应的第二目标叶节点中的第一位置索引，将获得的第一位置索引存储至所述第一目标叶节点；所述第二目标叶节点为所述第二元数据树中与所述第一目标叶节点所存储摘要信息相同的叶节点。
[0027]可选的，所述方法，还包括：
[0028]响应于获得文件访问请求，获得目标元数据树的各个叶节点中的第一位置索引，并获得各个第一位置索引分别指示位置上的各个目标分片；所述目标元数据树为所述文件访问请求指示的元数据树；
[0029]合并各个所述目标分片，得到对应的合并结果文件；
[0030]向请求端反馈所述合并结果文件。
[0031]可选的，文件元数据树中的叶节点，还用于存储所述叶节点所对应分片在所属文件中对应的内容位置的第二位置索引；所述合并各个所述目标分片，包括：
[0032]从所述目标元数据树的各个叶节点中获得各个所述目标分片分别对应的第二位置索引；
[0033]按分别对应的第二位置索引，合并各个所述目标分片。
[0034]可选的，获得已存储目标文件的第二数据结构之前，所述方法还包括：
[0035]从已存储文件中确定与所述待存储文件的结构布局相同的第一文件；
[0036]从所述第一文件中确定与所述待存储文件的内容满足相似条件的所述目标文件。
[0037]一种数据处理装置，包括：
[0038]获取模块，用于获得待存储文件的第一数据结构，并获得已存储目标文件的第二数据结构；
[0039]确定模块，用于根据所述第一数据结构和所述第二数据结构的各节点存储信息确定差异数据；所述差异数据为所述待存储文件中与所述目标文件不同的数据；
[0040]存储模块，用于对所述差异数据进行存储。
[0041]由以上方案可知，本申请公开一种数据处理方法和装置，其中，数据处理方法包括：获得待存储文件的第一数据结构，并获得已存储目标文件的第二数据结构；根据所述第一数据结构和所述第二数据结构的各节点存储信息确定差异数据；所述差异数据为所述待存储文件中与所述目标文件不同的数据；对所述差异数据进行存储。
附图说明
[0042]为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0043]图1为本申请实施例提供的一种数据处理方法的流程示意图；
[0044]图2为本申请实施例提供的一种元数据树示例；
[0045]图3为本申请实施例提供的一种通过元数据树节点比对对差异数据进行存储的示例；
[0046]图4为本申请实施例提供的另一种数据处理方法的流程示意图；
[0047]图5为本申请实施例提供的以数据分片为粒度在存储介质对文件的数据内容进行存储的示例；
[0048]图6为是已知技术中以文件为粒度对文件的数据内容进行存储的示例；
[0049]图7为本申请实施例提供的数据处理方法的又一种流程示意图；
[0050]图8为本申请实施例提供的数据处理装置的组成结构图；
[0051]图9为本申请实施例提供的电子设备的组成结构图。
具体实施方式
[0052]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，包括：获得待存储文件的第一数据结构，并获得已存储目标文件的第二数据结构；根据所述第一数据结构和所述第二数据结构的各节点存储信息确定差异数据；所述差异数据为所述待存储文件中与所述目标文件不同的数据；对所述差异数据进行存储。2.根据权利要求1所述的方法，所述获得待存储文件的第一数据结构，并获得已存储目标文件的第二数据结构，包括：获得所述待存储文件的第一元数据树，和所述目标文件的第二元数据树；其中，文件的元数据树为通过将文件按设定的分片大小切分成至少一个分片所构建的用于存储文件分片信息的树型数据结构，元数据树中的一个叶节点对应文件的一个分片，叶节点至少用于存储所对应分片的摘要信息，非叶节点用于存储所对应各个子节点中摘要信息的合并结果的摘要信息。3.根据权利要求2所述的方法，获得所述待存储文件的第一元数据树，包括：构建所述待存储文件的所述第一元数据树；获得所述目标文件的第二元数据树，至少包括以下方式之一：构建所述目标文件的所述第二元数据树；从预设存储中读取预先存储的所述目标文件的所述第二元数据树。4.根据权利要求2所述的方法，根据所述第一数据结构和所述第二数据结构的各节点存储信息确定差异数据，包括：比对所述第一元数据树与所述第二元数据树的节点中的摘要信息；基于比对结果确定所述第一元数据树中与所述第二元数据树的相应叶节点所存储摘要信息相同的第一目标叶节点；将所述第一元数据树中所述第一目标叶节点以外的叶节点在所述待存储文件中所对应分片的数据内容确定为所述差异数据。5.根据权利要求4所述的方法，比对所述第一元数据树与所述第二元数据树的节点中的摘要信息，基于比对结果确定所述第一元数据树中与所述第二元数据树的相应叶节点所存储摘要信息相同的第一目标叶节点，包括：按自上向下方式，比对所述第一元数据树和所述第二元数据树的对等层节点中的摘要信息；对等层节点对应的子树层数均相同；基于比对结果，确定所述第一元数据树中与所述第二元数据树的相应节点所存储...
【专利技术属性】
技术研发人员：梁锦宣，胡其超，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。