【技术实现步骤摘要】
业务数据处理方法、装置、计算机设备及存储介质
[0001]本申请涉及数据处理
,尤其涉及一种业务数据处理方法、业务数据处理装置、计算机设备以及计算机可读存储介质。
技术介绍
[0002]在大数据处理的过程中,为了避免单台机器处理大批量数据而导致系统处理压力过大,影响机器正常运行,往往是将大批量数据划分为多批数据后,再将各批数据对应的业务数据处理任务分别交由各台机器处理。
[0003]但这样的方案一般对于固定数量的数据,才能更好的预先实现数据分组,而对于随时都有业务数据新增的场景,就难以实现将相应的业务数据处理任务均衡均配到各机器进行处理,不可以避免的导致其中一些机器分配的业务数据处理任务要比其他机器多,使得这些机器依然可能存在系统处理压力过大的问题。
[0004]上述内容仅用于辅助理解本申请的技术方案,并不代表承认上述内容是现有技术。
技术实现思路
[0005]本申请的主要目的在于提供一种业务数据处理方法、业务数据处理装置、计算机设备以及计算机可读存储介质,旨在解决如何提高对业务数据处理 ...
【技术保护点】
【技术特征摘要】
1.一种业务数据处理方法,其特征在于,包括:获取各个业务数据对应的标识值和并行处理量,并利用散列运算计算所述标识值对应的散列值,其中,所述并行处理量基于多个业务数据处理机器确定得到;每个所述业务数据处理机器对应的编号根据所述并行处理量配置;计算所述散列值除以所述并行处理量得到的余数,并将所述余数与所述散列值对应的业务数据关联;查询与所述余数匹配的所述编号,并将查询得到的所述编号对应的业务数据处理机器,作为所述余数对应的业务数据关联的目标机器;将各个所述业务数据对应的业务数据处理任务,分配至各个所述业务数据关联的目标机器中进行处理。2.如权利要求1所述的业务数据处理方法,其特征在于,所述获取各个业务数据对应的标识值和并行处理量的步骤之前,还包括:根据所有所述业务数据处理机器对应的处理线程的数量,计算所述处理线程对应的总数量,其中,所述业务数据处理机器具有至少一个所述处理线程;将所述总数量作为所述并行处理量;根据所述并行处理量配置所述处理线程对应的编号,并将所述处理线程对应的编号与所述处理线程所属的业务数据处理机器关联。3.如权利要求2所述的业务数据处理方法,其特征在于,所述获取各个业务数据对应的标识值和并行处理量的步骤之前,还包括:检测各个所述业务数据处理机器对应的处理线程的数量是否一致;若否,执行所述根据所有所述业务数据处理机器对应的处理线程的数量,计算所述处理线程对应的总数量的步骤;若是,将所述业务数据处理机器的数量作为所述并行处理量,并根据所述并行处理量配置所述业务数据处理机器对应的编号。4.如权利要求1
‑
3中任一项所述的业务数据处理方法,其特征在于,所述获取各个业务数据对应的标识值和并行处理量的步骤之前,还包括:检测到有所述业务数据生成时,将所述业务数据发送至存储服务端以块链式的账本进行存储。5.如权利要求1所述的业务数据处理方法,其特征在于,所述将各个所述业务数据对应的业务数据处理任务,分配至各个所述业务数据关联的目标机器中进行处理的步骤包括:根据各个所述业务数据对应的业务数据处理任务的优先级,对所述业务数据处理任务进行分组,得到多个任务组;根据所述任务...
【专利技术属性】
技术研发人员:邢雨濛,
申请(专利权)人:平安普惠企业管理有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。