任务处理方法、装置、设备及存储介质制造方法及图纸

本申请实施例提供了一种任务处理方法、装置、设备及存储介质；所述方法包括：获取待处理任务和用于存放任务的存储桶；根据待处理任务的标识，确定所述待处理任务所属的存储单元；从所述存储桶中确定与所述存储单元的标识相匹配的目标存储桶；将所述存储单元的标识所对应的待处理任务放入所述目标存储桶，以使所述目标存储桶的管理单元按照预设的处理参数处理所述目标存储桶中存放的待处理任务；这样，按照处理参数对目标哈希桶中的待处理任务进行处理，使得网络中的存储单元的负载是均衡的，避免了存储单元局部过载。

Task handling methods, devices, equipment and storage media

【技术实现步骤摘要】
任务处理方法、装置、设备及存储介质
本申请涉及网络
，尤其涉及任务处理方法、装置、设备及存储介质。
技术介绍
在相关技术中，在大型网络中，为防止用户高删除频率导致存储引擎处理不及时出现过载的情况，对数据进行异步删除，并且对数据进行异步删除；但是异步删除服务的处理过程中，如果是顺序处理待删除服务，会导致处理速度较慢；如果是并发处理待删除服务，如果底层数据分布不均，会出现局部过载的情况。
技术实现思路
本申请实施例提供一种任务处理方法、装置、设备及存储介质，能够按照处理参数对目标哈希桶中的待处理任务进行处理，使得多个存储单元承受的压力均匀，避免了存储单元局部过载。本申请实施例的技术方案是这样实现的：第一方面，本申请实施例提供一种任务处理方法，包括：获取待处理任务和用于存放任务的存储桶；根据待处理任务的标识，确定所述待处理任务所属的存储单元；从所述存储桶中确定与所述存储单元的标识相匹配的目标存储桶；将所述存储单元的标识所对应的待处理任务放入所述目标存储桶，以使所述目标存储桶的管理单元按照预设的处理参数处理所述目标存储桶中存放的待处理任务。第二方面，本申请实施例提供一种任务处理装置，所述装置包括：第一获取模块，用于获取待处理任务和用于存放任务的存储桶；第一确定模块，用于根据待处理任务的标识，确定所述待处理任务所属的存储单元；第一匹配模块，用于从所述存储桶中确定与所述存储单元的标识相匹配的目标存储桶；第一处理模块，用于将所述存储单元的标识所对应的待处理任务放入所述目标存储桶，以使所述目标存储桶的管理单元按照预设的处理参数处理所述目标存储桶中存放的待处理任务。第三方面，本申请实施例提供一种任务处理的设备，包括：存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令时，实现上述任务处理方法。第四方面，本申请实施例提供一种存储介质，存储有可执行指令，用于引起处理器执行时，实现本申请实施例提供的任务处理方法。本申请实施例具有以下有益效果：对于获取的待处理任务，首先，按照存储待处理任务的存储单元的标识，确定与该存储单元的标识相匹配的目标存储桶；然后，将待处理任务分别放入相对应的目标存储桶中；这样，通过将待处理任务划分到存储桶中，使得存储单元中的待处理任务分布均匀；最后，管理单元按照预设的处理参数处理目标存储桶中存放的待处理任务；这样，按照处理参数对目标存储桶中的待处理任务进行处理，使得多个存储单元承受的压力均匀，避免了存储单元局部过载。附图说明图1是本申请实施例提供的任务处理系统的一个可选的架构示意图；图2A是本申请实施例提供的任务处理系统的另一个可选的架构示意图；图2B是本申请实施例提供的任务处理系统的结构示意图；图3是本申请实施例提供的任务处理方法的实现流程示意图；图4A是本申请实施例提供的任务处理方法的另一实现流程示意图；图4B是本申请实施例提供的任务处理方法的又一实现流程示意图；图5是本申请实施例提供的任务处理方法的另一实现流程示意图；图6是本申请实施例提供的任务处理方法的实验结果示意图。具体实施方式为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。1)云端存储服务(COS)：腾讯云对象存储产品，安全稳定、海量、便捷、低延迟、低成本的云端存储服务。2)实体(Object)：COS用于存储的具体文件，是存储的基本实体。3)分布式文件系统(TeamFoundationServer，TFS)：是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，小型化集合(SET)管理，SET内部使用红黑树保存对象，而红黑树的构建需要对元素进行排序，所以在向SET容器插入数据时，需要保证插入的数据是可排序的，或者提供排序方法供SET调用来对数据排序。4)有序键值对存储引擎(Lavadb)：是一种分布式有序键值对(Key-Value，KV)存储引擎。5)哈希虚拟桶(hashSLOT)：在分布式集群中，如何保证相同请求落到相同的机器上，并且后面的集群机器可以尽可能的均分请求，并且当扩容或down机的情况下能对原有集群影响最小；采用hashslot的方法解决这一问题，即某些hashslot区间对应一台机器，对于扩容或down机情况下，就改变某个hashslot区间就可以了，改动比较小，对之前分配的影响也较小。6)区块链(Blockchain)：由区块(Block)形成的加密的、链式的交易的存储结构。7)区块链网络(BlockchainNetwork)：通过共识的方式将新区块纳入区块链的一系列的节点的集合。8)云技术(CloudTechnology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。9)云存储(CloudStorage)，是在云计算概念上延伸和发展出来的一个新的概念，分布式云存储系统(以下简称存储系统)是指通过集群应用、网格技术以及分布存储文件系统等功能，将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作，共同对外提供数据存储和业务访问功能的一个存储系统。在相关技术中，在针对公司网络(ToBusiness，ToB)场景下，为防止用户高删除频率导致存储引擎处理不及时过载，影响线上上传或下载等同步请求，对数据进行异步删除，本文档来自技高网...

【技术保护点】
1.一种任务处理方法，其特征在于，所述方法包括：/n获取待处理任务和用于存放任务的存储桶；/n根据待处理任务的标识，确定所述待处理任务所属的存储单元；/n从所述存储桶中确定与所述存储单元的标识相匹配的目标存储桶；/n将所述存储单元的标识所对应的待处理任务放入所述目标存储桶，以使所述目标存储桶的管理单元按照预设的处理参数处理所述目标存储桶中存放的待处理任务。/n

【技术特征摘要】
1.一种任务处理方法，其特征在于，所述方法包括：
获取待处理任务和用于存放任务的存储桶；
根据待处理任务的标识，确定所述待处理任务所属的存储单元；
从所述存储桶中确定与所述存储单元的标识相匹配的目标存储桶；
将所述存储单元的标识所对应的待处理任务放入所述目标存储桶，以使所述目标存储桶的管理单元按照预设的处理参数处理所述目标存储桶中存放的待处理任务。


2.根据权利要求1所述的方法，其特征在于，所述从所述存储桶中确定与所述存储单元的标识相匹配的目标存储桶，包括：
根据所述存储单元的标识查询特定的关联关系，确定与所述存储单元的标识相匹配的目标存储桶，所述关联关系用于表征存储单元的标识与存储桶的编号之间的映射关系。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据所述存储单元的标识，为对应的存储桶进行编号，得到所述关联关系。


4.根据权利要求3所述的方法，其特征在于，如果所述待处理任务的存储方式为分布式存储，所述根据所述存储单元的标识，为对应的存储桶进行编号，包括：
将所述存储单元的标识对应的字符序列与预设数值相除；
将相除的结果确定为所述存储桶的编号。


5.根据权利要求3所述的方法，其特征在于，如果待处理任务与存储单元之间满足特定映射关系，所述根据所述存储单元的标识，为对应的存储桶进行编号，包括：
将所述存储单元的标识中包含的有符号数据转换为无符号数据；
将所述无符号数据确定为所述存储桶的编号。


6.根据权利要求1所述的方法，其特征在于，所述将所述存储单元的标识所对应的待处理任务放入所述目标存储桶，包括：
确定当前能够在缓存中保存的任务总数；
如果所述存储桶中当前未处理的任务量小于特定阈值，将所述待处理任务放入对应的目标存储桶；其中，所述特定阈值小于等于所述任务总数。


7.根据权利要求6所述的方法，其特征在于，所述将所述存储单元的标识所对应的所述待处理任务放入...

【专利技术属性】
技术研发人员：张立超，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44