读写请求处理方法、装置及电子设备制造方法及图纸

本公开提供一种读写请求处理方法、装置及电子设备，涉及互联网技术领域。读写请求处理方法应用于分布式存储系统，方法包括接收读写请求，所述读写请求中包括待读写对象的识别信息；根据所述待读写对象的识别信息对所述读写请求进行分配，将针对同一待读写对象的读写请求分配给同一处理线程进行处理。从而提高处理线程利用率，进而提升读写性能。

【技术实现步骤摘要】
读写请求处理方法、装置及电子设备
本公开涉及互联网
，具体而言，涉及一种读写请求处理方法、装置及电子设备。
技术介绍
随着互联网技术的快速发展，在高清视频、图像处理、视频监控等领域，数据容量正变得越来越大，相应地，对于存储数据的读写(又称Input/Output读写，I/O读写)性能的要求也在同步增加。经研究发现，存储数据的读写性能有待提升。
技术实现思路
有鉴于此，本公开提供一种读写请求处理方法、装置及电子设备。第一方面，本公开提供了一种读写请求处理方法，应用于分布式存储系统，所述方法包括：接收读写请求，所述读写请求中包括待读写对象的识别信息；根据所述待读写对象的识别信息对所述读写请求进行分配，将针对同一待读写对象的读写请求分配给同一处理线程进行处理。可选地，接收读写请求之后，所述方法还包括：将接收到的读写请求缓存在读写请求队列中；所述根据所述待读写对象的识别信息对所述读写请求进行分配的步骤，包括：按缓存的先后顺序，依次对所述读写请求队列中的读写请求进行分配。可选地，处理线程为多个，每个所述处理线程分别对应有缓存队列；所述根据所述待读写对象的识别信息对所述读写请求进行分配，将针对同一待读写对象的读写请求分配给同一处理线程进行处理的步骤，包括：根据接收到的读写请求中的待读写对象的识别信息，从多个处理线程中分析得到与该待读写对象对应的目标处理线程；判断所述目标处理线程对应的缓存队列中待处理的读写请求数量是否达到预设阈值，若达到所述预设阈值，则将接收到的读写请求重新缓存至所述读写请求队列的尾部；若未达到所述预设阈值，则将接收到的读写请求添加至所述目标处理线程对应的缓存队列中。可选地，将针对同一待读写对象的读写请求分配给同一处理线程进行处理的步骤，包括：根据待读写对象的识别信息，进行哈希计算得到对应的线程标识；将针对所述待读写对象的读写请求分配给所述线程标识对应的处理线程进行处理。第二方面，本公开提供一种读写请求处理装置，应用于分布式存储系统，所述读写请求处理装置包括：请求接收模块，用于接收读写请求，所述读写请求中包括待读写对象的识别信息；请求处理模块，用于根据所述待读写对象的识别信息对所述读写请求进行分配，将针对同一待读写对象的读写请求分配给同一处理线程进行处理。可选地，所述读写请求处理装置还包括：缓存模块；所述缓存模块用于将接收到的读写请求缓存在读写请求队列中；所述请求处理模块用于，按缓存的先后顺序，依次对所述读写请求队列中的读写请求进行分配。可选地，处理线程为多个，每个所述处理线程分别对应有缓存队列；所述请求处理模块用于通过以下方式根据所述待读写对象的识别信息对所述读写请求进行分配，将针对同一待读写对象的读写请求分配给同一处理线程进行处理：根据接收到的读写请求中的待读写对象的识别信息，从多个处理线程中分析得到与该待读写对象对应的目标处理线程；判断所述目标处理线程对应的缓存队列中待处理的读写请求数量是否达到预设阈值，若达到所述预设阈值，则将接收到的读写请求重新缓存至所述读写请求队列的尾部；若未达到所述预设阈值，则将接收到的读写请求添加至所述目标处理线程对应的缓存队列中。可选地，所述请求处理模块用于通过以下方式将针对同一待读写对象的读写请求分配给同一处理线程进行处理：根据待读写对象的识别信息，计算得到对应的线程标识；将针对所述待读写对象的读写请求分配给所述线程标识对应的处理线程进行处理。可选地，所述线程标识通过对待读写对象的识别信息进行哈希计算得到。第三方面，本公开提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的读写请求处理方法。第四方面，本公开提供一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，所述计算机程序运行时控制所述计算机可读存储介质所在电子设备执行上述的读写请求处理方法。本公开提供的读写请求处理方法、装置及电子设备，根据待读写对象的识别信息对读写请求进行分配，将针对同一待读写对象的读写请求分配给同一处理线程进行处理，从而避免针对同一待读写对象的读写请求分配至不同处理线程之后，因读写请求之间的相互等待所造成的处理线程浪费，提升了线程利用率，进而提升了读写性能，减少读写延迟，提升用户体验。为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本公开的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本公开提供的一种电子设备的方框示意图。图2为本公开提供的一种读写请求处理方法的流程示意图。图3为本公开提供的图2中步骤S12的一种流程示意图。图4为本公开提供的图2中步骤S12的另一种流程示意图。图5为本公开提供的一种读写请求处理逻辑示意图。图6为本公开提供的另一种读写请求处理逻辑示意图。图7为本公开提供的一种读写请求处理装置的方框示意图。图标：20-电子设备；21-存储器；22-处理器；23-网络模块；24-读写请求处理装置；241-请求接收模块；242-请求处理模块；243-缓存模块。具体实施方式在很多场景中，对存储数据的读写性能有较高要求。例如，用户在选购存储产品时，通常会对存储产品的读写性能提出明确的要求，以满足业务的需要。在许多业务场景下，存储产品的读写性能不仅仅是快慢的区别，甚至会影响到业务本身是否能够正常运行。以文件数字化为例，在档案馆、图书馆等场景中，将纸质文件数字化并存储到存储系统中，当越来越多的数字化文件存储至存储系统，存储系统的容量将会越来越大。随着存储系统的容量越来越大，存储的数字化文件越来越多，亦会有大量的用户进行并发的读写访问。该种情况下，如果存储系统的读写性能差、读写延迟高，将会降低读写效率，甚至导致无法正常读写，降低用户使用友好度，影响数字化的推进。因此提升存储系统的读写性能十分关键。经研究发现，为了满足存储需求，往往采用分布式存储系统存储数据。为了提升分布式存储系统的读写性能，大都选择提升读写请求处理的并发度，采用多个处理线程处理读写请求，通过多个处理线程同时处理多个读写请求，从而提升读写请求处理能力，提高读写性能。然而，当向分布式存储系统下发读写请求的速度大于多个处理线程处理读写请求的速度时，将会出现读写请求堆积，当堆积的读写请求超过缓存空间的最大缓存量之后，将阻塞系统，导致暂停接收读写请求，待缓存空间中的读写请求被处理后，才会继续接收读写请求。为了进一步提升读写性能，本领域技术人员常用的处理方式为增加处理线程的数量。增加处理线程的数量虽然能够提高读写请求的并发处理能力并且实现简单，但是增加处理线程的数量对分布式存储系统的处理性能具有较高要求，导致成本增加。基于此，专利技术人对能够提升分布式存储系统的读写性能的其他实现方式进行了分析。经专利技术人研究发现，在读写过程中，某些处理线程虽然接收到读写任务，但并未进行读写操作，处理线程的利用率具有较大的提升空间。经仔细分析，导致处理线程利用率不够高的主要原因是：采用多处理线程并发处理读写请本文档来自技高网...

【技术保护点】
1.一种读写请求处理方法，其特征在于，应用于分布式存储系统，所述方法包括：接收读写请求，所述读写请求中包括待读写对象的识别信息；根据所述待读写对象的识别信息对所述读写请求进行分配，将针对同一待读写对象的读写请求分配给同一处理线程进行处理。

【技术特征摘要】
1.一种读写请求处理方法，其特征在于，应用于分布式存储系统，所述方法包括：接收读写请求，所述读写请求中包括待读写对象的识别信息；根据所述待读写对象的识别信息对所述读写请求进行分配，将针对同一待读写对象的读写请求分配给同一处理线程进行处理。2.根据权利要求1所述的读写请求处理方法，其特征在于，接收读写请求之后，所述方法还包括：将接收到的读写请求缓存在读写请求队列中；所述根据所述待读写对象的识别信息对所述读写请求进行分配的步骤，包括：按缓存的先后顺序，依次对所述读写请求队列中的读写请求进行分配。3.根据权利要求2所述的读写请求处理方法，其特征在于，处理线程为多个，每个所述处理线程分别对应有缓存队列；所述根据所述待读写对象的识别信息对所述读写请求进行分配，将针对同一待读写对象的读写请求分配给同一处理线程进行处理的步骤，包括：根据接收到的读写请求中的待读写对象的识别信息，从多个处理线程中分析得到与该待读写对象对应的目标处理线程；判断所述目标处理线程对应的缓存队列中待处理的读写请求数量是否达到预设阈值，若达到所述预设阈值，则将接收到的读写请求重新缓存至所述读写请求队列的尾部；若未达到所述预设阈值，则将接收到的读写请求添加至所述目标处理线程对应的缓存队列中。4.根据权利要求1所述的读写请求处理方法，其特征在于，将针对同一待读写对象的读写请求分配给同一处理线程进行处理的步骤，包括：根据待读写对象的识别信息，进行哈希计算得到对应的线程标识；将针对所述待读写对象的读写请求分配给所述线程标识对应的处理线程进行处理。5.一种读写请求处理装置，其特征在于，应用于分布式存储系统，所述读写请求处理装置包括：请求接收模块，用于接收读写请求，所述读写请求中包括待读写对象的识别信息；请求处理...

【专利技术属性】
技术研发人员：刘浩，
申请(专利权)人：新华三技术有限公司成都分公司，
类型：发明
国别省市：四川,51