数据索引方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种数据索引方法、装置、设备及存储介质，涉及通信技术领域，以解决数据索引速度慢的问题。数据索引方法，应用于分布式存储系统的索引层，线程与CPU核一一对应绑定，线程划分为接收线程组和任务处理线程组，方法包括：通过接收线程组中的目标接收线程，接收客户端的读写请求，根据读写请求调用对应的第一目标CPU核，访问第一目标CPU核对应的内存资源进行第一数据索引操作；通过目标接收线程，根据第一数据索引操作确定任务处理线程组中的目标任务处理线程；通过目标任务处理线程，调用对应的第二目标CPU核，访问第二目标CPU核对应的内存资源进行第二数据索引操作。CPU核对应的内存资源进行第二数据索引操作。CPU核对应的内存资源进行第二数据索引操作。

【技术实现步骤摘要】
数据索引方法、装置、设备及存储介质


[0001]本申请涉及通信
，尤其涉及一种数据索引方法、装置、设备及存储介质。

技术介绍

[0002]为了实现高通量、低时延、可扩展的分布式存储系统，需要将数据根据一定的规则进行打散后并行落盘，并通过同样的组织规则，将分散的数据重新组合。在这个过程中，数据的大小及在物理磁盘中的位置需要一个索引层来进行记录，以实现加速访问数据的目的。
[0003]目前，分布式存储系统的索引层一般在内存中构建，向上对接客户端的海量数据读写流量，向下对接成百上千的数据存储磁盘。在现有技术中，分布式存储系统一般是多线程、多核操作系统，存储层采用用户态模型加快IO处理，但是索引层的访问还是常采用中断模式利用多核资源来完成数据索引相关工作。
[0004]然而，对于多线程、多核的分布式存储系统而言，多线程以内核态中断的方式访问索引层势必带来多核切换开销大的问题，从而造成数据索引速度慢的问题，进而降低了分布式存储系统的数据读写速度。

技术实现思路

[0005]本申请实施例提供一种数据索引方法、装置、设备本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据索引方法，应用于分布式存储系统的索引层，其特征在于，在所述索引层中，用户态的线程与内核态的CPU核一一对应绑定，所述用户态的线程划分为接收线程组和任务处理线程组，所述接收线程组包括两个以上接收线程，所述任务处理线程组包括两个以上任务处理线程，所述方法包括：通过所述接收线程组中的目标接收线程，接收客户端的读写请求；通过所述目标接收线程，根据所述读写请求调用对应的第一目标CPU核，访问所述第一目标CPU核对应的内存资源进行第一数据索引操作；通过所述目标接收线程，根据所述第一数据索引操作确定所述任务处理线程组中的目标任务处理线程；通过所述目标任务处理线程，调用对应的第二目标CPU核，访问所述第二目标CPU核对应的内存资源进行第二数据索引操作。2.根据权利要求1所述的方法，其特征在于，所述通过所述接收线程组中的目标接收线程，接收客户端的读写请求之后，还包括：通过所述目标接收线程，以communicate message信息广播的方式，与所述接收线程组中的其他接收线程进行信息同步。3.根据权利要求1所述的方法，其特征在于，所述第一目标CPU核对应的内存资源和/或所述第二目标CPU核对应的内存资源为local access内存资源。4.根据权利要求1所述的方法，其特征在于，所述通过所述目标接收线程，根据所述第一数据索引操作确定所述任务处理线程组中的目标任务处理线程包括：通过所述目标接收线程，根据所述第一数据索引操作，从逻辑存储单元池中确定目标逻辑存储单元，其中，所述逻辑存储单元池包括多个逻辑存储单元，每个所述逻辑存储单元的云盘范围固定，任意两个所述逻辑存储单元之间相互独立设置；通过所述目标逻辑存储单元，根据预先设置的负载均衡算法，确定所述任务处理线程组中的目标任务处理线程。5.根据权利要求4所述的方法，其特征在于，所述通过所述目标逻辑存储单元，根据预先设置的负载均衡算法，确定所述任务处理线程组中的目标任务处理线程包括：根据所述目标逻辑存储单元的IO负载情况，以及所述分布式存储系统包括的两个以上服务器的CPU内存使用情况，根据预先设置的负载均衡算法，自动将所述目标逻辑存储单元调度到所述任务处理线程组中的目标任务处理线程。6.根据权利要求1所述的方法，其特征在于，所述索...

【专利技术属性】
技术研发人员：乔于洋，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：