数据处理方法及数据存储管理系统技术方案

本申请提供一种数据处理方法及数据存储管理系统，涉及数据存储管理技术领域。本申请在客户端获取到待读取数据标识后，由客户端在自身的临时缓存数据中查找存在待读取数据标识所属的数据关联关系的关联匹配数据，并在未查找到关联匹配数据的情况下，对应地从多个数据存储设备中确定出目标存储设备，而后向该目标存储设备发送针对该待读取数据标识所属的数据关联关系的数据获取请求，使该目标存储设备得以根据数据存储索引列表从自身的存储数据中查找出具有该数据获取请求所对应的数据关联关系的目标数据，并将查找到的所有目标数据发送给该客户端，从而实现对存在相同关联关系的多项数据的快速访问操作，改善关联数据访问高延时问题。问高延时问题。问高延时问题。

【技术实现步骤摘要】
数据处理方法及数据存储管理系统


[0001]本申请涉及数据存储管理
，具体而言，涉及一种数据处理方法及数据存储管理系统。

技术介绍

[0002]随着计算机技术及网络技术的不断发展，现有分布式数据存储方式已不再适用于各大行业，各大行业对于数据存储方式都提出了自身特色的需求，其中现有分布式数据存储方式通常采用目录树层级结构直接将数据(例如，图片、视频及音乐等)按照时间与空间上的分布状况进行排列存储。

技术实现思路

[0003]有鉴于此，本申请的目的在于提供一种数据处理方法及数据存储管理系统，能够实现对存在相同关联关系的多项数据进行快速访问，改善对具有相同关联关系的数据进行访问时存在的高延时问题。
[0004]为了实现上述目的，本申请实施例采用的技术方案如下：
[0005]第一方面，本申请提供一种数据处理方法，所述方法包括：
[0006]客户端按照获取到的待读取数据标识在自身的临时缓存数据中查找关联匹配数据进行读取，并在未查找到关联匹配数据的情况下，根据所述待读取数据标识从多个数据存储设备中确定对应的目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：客户端按照获取到的待读取数据标识在自身的临时缓存数据中查找关联匹配数据进行读取，并在未查找到关联匹配数据的情况下，根据所述待读取数据标识从多个数据存储设备中确定对应的目标存储设备，其中所述目标存储设备用于对具有该待读取数据标识所属的数据关联关系的多项数据进行存储；所述客户端向所述目标存储设备发送针对该待读取数据标识所属的数据关联关系的数据获取请求；所述目标存储设备根据数据存储索引列表从自身的存储数据中查找与所述数据获取请求对应的目标数据，并将查找到的所有目标数据发送给所述客户端。2.根据权利要求1所述的方法，其特征在于，所述根据所述待读取数据标识从多个数据存储设备中确定对应的目标存储设备的步骤，包括：在自身缓存的数据关联信息中查找该待读取数据标识所属的数据关联关系的目标关系编号；在查找到所述目标关系编号的情况下，根据所述目标关系编号以及数据存储设备总数确定与该目标关系编号对应的所述目标存储设备；在未查找到所述目标关系编号的情况下，对该待读取数据标识进行解码，得到所述目标存储设备的设备标识。3.根据权利要求1所述的方法，其特征在于，所述数据存储索引列表包括文件空间存储信息表及交换空间存储信息表，所述数据存储设备的文件空间用于实现数据持续存储，所述数据存储设备的交换空间用于对文件空间中的至少一种数据关联关系所对应的数据进行中心缓存，所述根据数据存储索引列表从自身的存储数据中查找与所述数据获取请求对应的目标数据的步骤包括：确定所述数据获取请求所对应的与该待读取数据标识匹配的数据关联关系的目标关系编号；在所述交换空间存储信息表中查找所述目标关系编号；在查找到所述目标关系编号的情况下，按照所述交换空间存储信息表中记录的与该目标关系编号对应的所有数据缓存位置信息，从所述目标存储设备的交换空间中获取位置匹配的数据作为所述目标数据；在未查找到所述目标关系编号的情况下，从所述文件空间存储信息表中获取与该目标关系编号对应的所有数据存储位置信息，并按照所述所有数据存储位置信息从所述目标存储设备的文件空间中提取位置匹配的数据作为所述目标数据。4.根据权利要求1
‑
3中任意一项所述的方法，其特征在于，所述方法还包括：所述客户端在获取到待存储数据的情况下，根据数据存储负载均衡策略在多个所述数据存储设备中确定匹配的期望存储设备；所述客户端向所述期望存储设备发送包括所述待存储数据的数据写入请求；所述期望存储设备将所述数据写入请求包括的所述待存储数据写入到自身的文件空间中进行存储，并根据自身的设备标识针对所述待存储数据编码生成对应的数据标识；所述期望存储设备采用所述待存储数据的数据标识对自身的数据存储索引列表进行更新，并将所述待存储数据的数据标识反馈给所述客户端。
5.根据权利要求1
‑
3中任意一项所述的方法，其特征在于，所述方法还包括：所述客户端向关系管理设备发送包括待查询数据标识的关联关系查询请求；所述关系管理设备根据所述待查询数据标识确定对应的待查询存储设备，并向所述待查询存储设备发送包括所述待查询数据标识的关系编号查询请求，其中所述待查询存储设备用于对所述待查询数据标识所对应的数据进行存储；所述待查询存储设备按照所述待查询数据标识在自身的数据存储索引列表查找匹配的关系编号，并将对应的关系编号查找结果反馈给所述关系管理设备；所述关系管理设备在所述关系编号查找结果表明查找成功的情况下，将所述待查询存储设备查找到的关系编号发送给所述客户端；所述关系管理设备在所述关系编号查找结果表明查找失败的情况下，从所述待查询存储设备所匹配的至少一种数据关联关系中为所述待查询数据标识分配一个数据关联关系的关系编号，并向所述待查询存储设备发送包括所述待查询数据标识及分配到的关系编号的数据关联请求；所述待查询存储设备按照所述数据关联请求对自身的数据存储索引列表进行更新，并向所述关系管理设备反馈对应的列表更新结果；所述关系管理设备在所述列表更新结果表明更新成功的情况下，将分配的关系编号发送给所述客户端；所述客户端采用所述待查询数据标识及接收到的关系编号，对自身缓存的数据关联信息进行更新。6.根据权利要求1
‑
3中任意一项所述的方法，其特征在于，所述方法还包括：所述客户端根据待缓存关系编号从多个数据存储设备中确定匹配的缓存存储设备，并向所述缓存存储设备发送包括所述待缓存关系编号的数据缓存请求；所述缓存存储设备根据数据存储索引列表从自身的存储数据中查找与所述数据缓存请求对应的具有与所述待缓存关系编号所对应的数据关联关系的待缓存数据，并将查找到的待缓存数据发送给所述客户端；所述客户端采用接收到的与所述待缓存关系编号相关的待缓存数据，对自身的临时缓存数据进行更新。7.根据权利要求6所述的方法，其特征在于，所述根据数据存储索引列表从自身的存储数据中查找与所述数据缓存请求对应的具有与所述待缓存关系编号所对应的数据关联关系的待缓存数据的步骤，包括：在所述数据存储索引列表包括的交换空间存储信息表中查找所述待缓存关系编号；在查找到所述待缓存关系编号的情况下，按照所述交换空间存储信息表中记录的与该待缓存关系编号对应的所有数据缓存位置信息，从所述缓存存储设备的交换空间中获取位置匹配的数据作为所述待缓存数据；在未查找到所述待缓存关系编号的情况下，从所述数据存储索引列表包括的文件空间存储信息表中获取与该待缓存关系编号对应的所有数据存储位置信息，并按照所述所有数据存储位置信息从所述缓存存储设备的文件空间中提取位置匹配的数据作为所述待缓存数据。8.根据权...

【专利技术属性】
技术研发人员：林杰，
申请(专利权)人：重庆紫光华山智安科技有限公司，
类型：发明
国别省市：