数据处理方法、装置、设备及可读存储介质制造方法及图纸

本申请实施例提供了一种数据处理方法、装置、设备及可读存储介质，涉及数据存储技术领域。该方法包括：数据处理单元DPU设备端接收来自主机端的压缩任务元数据；通过调用所述DPU设备端上的硬件加速器对所述压缩任务元数据执行压缩，得到压缩结果元数据；向所述主机端发送所述压缩结果元数据。本申请实施例中，通过将主机端的压缩(compaction)操作卸载到DPU设备端执行，用以消除数据移动，从而减少网络流量开销，同时，DPU设备端通过调用该DPU设备端上的硬件加速器对压缩任务元数据执行压缩，可以加快compaction操作的执行效率，从而减少对主机端CPU的占用，释放主机端的计算资源，提高能效。高能效。高能效。

【技术实现步骤摘要】
数据处理方法、装置、设备及可读存储介质


[0001]本申请涉及数据存储
，具体而言，本申请涉及一种数据处理方法、装置、设备及可读存储介质。

技术介绍

[0002]基于数据处理单元(Data Processing Unit，DPU)的解耦数据中心架构将不同的异构硬件解耦成对应的资源池，并通过高速网络进行连接，从而允许不同类型资源按需独立扩展，因而有着更好的资源利用率和弹性。此外，DPU硬件融合了计算、网络、存储相关的功能，能够辅助处理来自网络的数据流量，从而实现更高的能效比。
[0003]然而，现有的基于日志结构合并树的键值存储系统并不能很好的适配这种新的DPU分离结构，因为日志结构合并树的后台操作，尤其是压缩(compaction)操作，会引起数据写放大，从而导致大量的数据移动，同时消耗计算和网络资源并严重降低系统的性能。

技术实现思路

[0004]本申请提供了一种数据处理方法、装置、设备及可读存储介质，用于解决现有技术中的技术问题。
[0005]第一方面，提供了一种数据处理方法，应用于数据处理单元DPU设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于数据处理单元DPU设备端，包括：接收来自主机端的压缩任务元数据；通过调用所述DPU设备端上的硬件加速器对所述压缩任务元数据执行压缩，得到压缩结果元数据；向所述主机端发送所述压缩结果元数据。2.根据权利要求1所述的方法，其特征在于，通过调用所述DPU设备端上的硬件加速器对所述压缩任务元数据执行压缩，得到压缩结果元数据，包括：基于所述压缩任务元数据，获取相应的排序字符串表SSTable文件；通过调用所述DPU设备端上的硬件加速器对所述SSTable文件进行解压、合并、排序处理后生成的新SSTable文件进行压缩，得到所述压缩结果元数据。3.根据权利要求2所述的方法，其特征在于，所述获取相应的SSTable文件，包括：通过轻量级网络文件系统从存储设备端读取相应的SSTable文件；所述方法还包括：通过所述轻量级网络文件系统将所述压缩结果元数据写入到所述存储设备端。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：从实例通过所述轻量级网络文件系统读取主实例的写前日志文件，并根据所述写前日志文件与所述主实例的内存表进行同步，所述从实例运行在所述DPU设备端，所述主实例运行在所述主机端；得到压缩结果元数据的过程包括：所述从实例读取旧SSTable文件，并将所述旧SSTable文件的编号加上从实例线程号的前缀作为生成的新SSTable文件的编号，得到更新后的元数据；其中，所述旧SSTable文件为通过轻量级网络文件系统从存储设备端读取的SSTable文件；向所述主机端发送所述压缩结果元数据，包括：所述从实例将更新后的元数据返回给所述主实例，并保留所述旧SSTable文件。5.根据权利要求3或4所述的方法，其特征在于，通过所述轻量级网络文件系统进行传输的过程中，将数据面的IO操作经由所述DPU设备端上卸载的基于高速网络的非易失性内存标准对象直接传递到所述存储设备端，控制面的元数据操作由所述DPU设备端的通用计算单元处理。6.根据权利要求1所述的方法，其特征在于，接收所述主机端通过远程直接数据存取RDMA过程传输的压缩任务元数据，并通过所述RDMA过程向所述主机...

【专利技术属性】
技术研发人员：陈书宁，丁晨，王岩广，唐刘，
申请(专利权)人：平凯星辰北京科技有限公司，
类型：发明
国别省市：