【技术实现步骤摘要】
本申请涉及分布式存储，特别是涉及一种分布式存储系统的数据处理方法、装置、电子设备及可读存储介质。
技术介绍
1、随着人工智能技术的快速发展，其被广泛应用至日常工作生活的方方面面，这就导致数据量和数据类型均呈现大幅增涨，数据处理方式也更加多样化，用户对存储技术，尤其是分布式存储技术的存储性能要求也就越来越高。
2、相关技术中的分布式存储系统的io(input/output，输入输出)响应速度无法满足用户的现实存储需求。鉴于此，通过提高io响应速度，以提升分布式存储系统的存储性能，是所属领域技术人员需要解决的技术问题。
技术实现思路
1、本申请提供了一种分布式存储系统的数据处理方法、装置、电子设备及可读存储介质，可以有效提高io响应速度，提升分布式存储系统的存储性能。
2、为解决上述技术问题，本申请提供以下技术方案：
3、本申请一方面提供了一种分布式存储系统的数据处理方法，包括：
4、当接收到客户端的业务操作请求，确定所述业务操作请求所携带的目标业务对象是否为热点对象数据；
5、当所述业务操作请求所携带的目标业务对象为热点对象数据，则根据当前缓存写入空间水位，将所述热点对象数据以存储引擎层对象的形式存储至对应的对象存储设备的本地对象存储中，并同时为所述目标业务对象和所述目标业务对象的缓存对象设置不同标识符。
6、在第一种示例性的实施方式下，所述当接收到客户端的业务操作请求，确定所述业务操作请求所携带的目标业务对象是
7、预先构建热度统计信息；所述热度统计信息用于存储用户在预设周期内所访问的对象；
8、当接收到客户端的业务操作请求，通过所述数据操作请求获取目标业务对象；
9、若所述目标业务对象对应的对象存储设备为主pg置放群组，且所述目标业务对象在所述热度统计信息中满足预设访问频率条件，则确定所述业务操作请求对应业务操作数据为热点对象数据。
10、在第二种示例性的实施方式下，所述热度统计信息包括当前热度统计容器和多个历史热度统计容器；所述目标业务对象在所述热度统计信息中满足预设访问频率条件，包括：
11、将所述当前热度统计容器上锁；
12、遍历所述当前热度统计容器和各历史热度统计容器，统计所述目标业务对象出现次数；
13、若所述目标业务对象出现次数大于预设热度阈值，则所述目标业务对象在所述热度统计信息中满足预设访问频率条件；
14、释放所述当前热度统计容器的锁。
15、在第三种示例性的实施方式下，所述将所述热点对象数据以存储引擎层对象的形式存储至对应的对象存储设备的本地对象存储中，并同时为所述目标业务对象和所述目标业务对象的缓存对象设置不同标识符，包括：
16、利用所述目标业务对象对应的pg在所述存储引擎层构建的第一句柄和第二句柄，分别存储所述目标业务对象和所述目标业务对象的缓存对象；
17、其中，所述第一句柄和所述第二句柄根据存储池的标识信息的最高有效位进行区分；所述第一句柄用于存储所述目标业务对象，所述第二句柄用于存储所述目标业务对象的缓存对象。在第四种示例性的实施方式下，所述当接收到客户端的业务操作请求，确定所述业务操作请求所携带的目标业务对象是否为热点对象数据之后，还包括：
18、若所述目标业务对象为热点对象数据，且所述业务操作请求为读操作请求，则将所述读操作请求对应读取到的业务操作数据写入至缓存中；
19、若所述目标业务对象为热点对象数据，且所述目标业务对象已经被缓存，若所述业务操作请求对应的操作类型为修改目标业务对象对应数据的目标操作，则对所述目标业务对象及其缓存对象进行相适应的操作。
20、在第五种示例性的实施方式下，所述对所述目标业务对象及其缓存对象进行相适应的操作，包括：
21、构造本地对象目标操作处理事务，向所述存储引擎层发送目标操作请求，并更新缓存管理记录；
22、当检测到所述目标操作请求对应的日志对象写完之后，聚合下刷之前，对所述目标业务对象的缓存对象进行相应的同步修改。
23、在第六种示例性的实施方式下，所述将所述读操作请求对应读取到的业务操作数据写入至缓存中，包括：
24、当所述读操作请求已经完成日志内存读处理，且存在未组装数据片段；
25、若所述目标业务对象已经被缓存，则从缓存数据中读取对应的目标数据片段；
26、若所述目标数据片段不能组装为所述业务操作数据，则从数据池读取相对应的剩余数据片段；
27、判断所述剩余数据片段是否需要被缓存；
28、若所述剩余数据片段需要被缓存，则构造本地对象读处理事务，向所述存储引擎层发送写请求，并更新缓存管理记录。
29、在第七种示例性的实施方式下，所述根据当前缓存写入空间水位，将所述热点对象数据以存储引擎层对象的形式存储至对应的对象存储设备的本地对象存储中之后，还包括：
30、当检测到当前缓存写入空间水位超过高水位阈值，基于所述当前缓存写入空间水位确定删除对象频率；所述高水位阈值根据高水位和修正参数确定；
31、调用预先构建的淘汰线程按照所述删除对象频率，构建删除请求，以释放缓存。
32、在第八种示例性的实施方式下，所述当接收到客户端的业务操作请求，确定所述业务操作请求所携带的目标业务对象是否为热点对象数据之后，还包括：
33、当检测所述目标业务对象对应的pg上所有已缓存的缓存对象的数据全部失效，则利用预先构建的单独的对象清除线程，以pg为单位，多批次对所述目标业务对象对应的各缓存对象进行清除。
34、在第九种示例性的实施方式下，所述当检测所述目标业务对象对应的pg上所有已缓存的缓存对象的数据全部失效，则利用预先构建的单独的对象清除线程，以pg为单位，多批次对所述目标业务对象对应的各缓存对象进行清除，包括：
35、当检测到所述目标业务对象对应的各pg中存在主备切换的pg或主pg生命周期发生变更，则利用所述单独的对象清除线程以pg为单位，多批次对所述目标业务对象对应的各缓存对象进行清除。
36、本申请另一方面提供了一种分布式存储系统的数据处理装置，包括：
37、热点判断模块，用于当接收到客户端的业务操作请求，确定所述业务操作请求所携带的目标业务对象是否为热点对象数据；
38、热点对象缓存模块，用于当所述业务操作请求所携带的目标业务对象为热点对象数据，则根据当前缓存写入空间水位，将所述热点对象数据以存储引擎层对象的形式存储至对应的对象存储设备的本地对象存储中，并同时为所述目标业务对象和所述目标业务对象的缓存对象设置不同标识符。
39、本申请还提供了一种电子设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述分布式存储系统的数据处理方法的步骤。<本文档来自技高网...
【技术保护点】
1.一种分布式存储系统的数据处理方法，其特征在于，包括：
2.根据权利要求1所述的分布式存储系统的数据处理方法，其特征在于，所述当接收到客户端的业务操作请求，确定所述业务操作请求所携带的目标业务对象是否为热点对象数据，包括：
3.根据权利要求2所述的分布式存储系统的数据处理方法，其特征在于，所述热度统计信息包括当前热度统计容器和多个历史热度统计容器；所述目标业务对象在所述热度统计信息中满足预设访问频率条件，包括：
4.根据权利要求1所述的分布式存储系统的数据处理方法，其特征在于，所述将所述热点对象数据以存储引擎层对象的形式存储至对应的对象存储设备的本地对象存储中，并同时为所述目标业务对象和所述目标业务对象的缓存对象设置不同标识符，包括：
5.根据权利要求1所述的分布式存储系统的数据处理方法，其特征在于，所述当接收到客户端的业务操作请求，确定所述业务操作请求所携带的目标业务对象是否为热点对象数据之后，还包括：
6.根据权利要求5所述的分布式存储系统的数据处理方法，其特征在于，所述对所述目标业务对象及其缓存对象进行相适应的操
7.根据权利要求5所述的分布式存储系统的数据处理方法，其特征在于，所述将所述读操作请求对应读取到的业务操作数据写入至缓存中，包括：
8.根据权利要求1所述的分布式存储系统的数据处理方法，其特征在于，所述根据当前缓存写入空间水位，将所述热点对象数据以存储引擎层对象的形式存储至对应的对象存储设备的本地对象存储中之后，还包括：
9.根据权利要求1至8任意一项所述的分布式存储系统的数据处理方法，其特征在于，所述当接收到客户端的业务操作请求，确定所述业务操作请求所携带的目标业务对象是否为热点对象数据之后，还包括：
10.根据权利要求9所述的分布式存储系统的数据处理方法，其特征在于，所述当检测所述目标业务对象对应的PG上所有已缓存的缓存对象的数据全部失效，则利用预先构建的单独的对象清除线程，以PG为单位，多批次对所述目标业务对象对应的各缓存对象进行清除，包括：
11.一种分布式存储系统的数据处理装置，其特征在于，包括：
12.一种电子设备，其特征在于，包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至10任一项所述分布式存储系统的数据处理方法的步骤。
13.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至10任一项所述分布式存储系统的数据处理方法的步骤。
...【技术特征摘要】
1.一种分布式存储系统的数据处理方法，其特征在于，包括：
2.根据权利要求1所述的分布式存储系统的数据处理方法，其特征在于，所述当接收到客户端的业务操作请求，确定所述业务操作请求所携带的目标业务对象是否为热点对象数据，包括：
3.根据权利要求2所述的分布式存储系统的数据处理方法，其特征在于，所述热度统计信息包括当前热度统计容器和多个历史热度统计容器；所述目标业务对象在所述热度统计信息中满足预设访问频率条件，包括：
4.根据权利要求1所述的分布式存储系统的数据处理方法，其特征在于，所述将所述热点对象数据以存储引擎层对象的形式存储至对应的对象存储设备的本地对象存储中，并同时为所述目标业务对象和所述目标业务对象的缓存对象设置不同标识符，包括：
5.根据权利要求1所述的分布式存储系统的数据处理方法，其特征在于，所述当接收到客户端的业务操作请求，确定所述业务操作请求所携带的目标业务对象是否为热点对象数据之后，还包括：
6.根据权利要求5所述的分布式存储系统的数据处理方法，其特征在于，所述对所述目标业务对象及其缓存对象进行相适应的操作，包括：
7.根据权利要求5所述的分布式存储系统的数据处理方法，其特征在于，所述将所述读操作请求对应读取到的业务操作...
【专利技术属性】
技术研发人员：张岩龙，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。