一种分布式系统的数据处理方法、装置、设备和存储介质制造方法及图纸

本发明专利技术公开了一种分布式系统的数据处理方法，该方法包括：接收数据处理信号，确定待处理数据的数据量；从分布式系统中确定出用于处理待处理数据的内部处理节点，并统计内部处理节点的数量，作为内部处理节点数量；获取期望处理时长；获取历史数据的历史参数；根据历史参数、待处理数据的数据量、处理节点数量和期望处理时长判断内部处理节点能否在期望处理时长内处理完待处理数据；在判定内部处理节点不能在期望处理时长内处理完待处理数据时，选择一个或多个外部节点添加至分布式系统，并使内部处理节点和外部节点共同处理待处理数据。本发明专利技术还公开了一种分布式系统的数据处理装置、一种计算机设备和一种计算机可读存储介质。

A data processing method, device, device and storage medium of distributed system

【技术实现步骤摘要】
一种分布式系统的数据处理方法、装置、设备和存储介质
本专利技术涉及数据处理
，具体涉及一种分布式系统的数据处理方法、装置、计算机设备和计算机可读存储介质。
技术介绍
鉴于分布式系统具有开放性、并发性、可伸缩性及系统扩展性更高等特性，企业通常会利用分布式系统处理核心业务数据，以加快数据处理速度。然而，专利技术人在研究本专利技术的过程中发现，现有技术中至少存在如下缺陷：一个项目中通常存在多批次的数据等待处理，且每批数据对应一个预期的处理时间，由于现有技术在处理数据之前没有预估本批数据的处理时间，或者即便现有技术预估了处理时间，由于预估不准确或者只是单纯的预估未做任何调整，使得其他批次数据无限时间等待及严重拖慢进度的现象仍未有所改善。
技术实现思路
本专利技术的目的在于提供一种分布式系统的数据处理方法、装置、计算机设备和计算机可读存储介质，能够解决现有技术中的上述缺陷。本专利技术的一个方面提供了一种分布式系统的数据处理方法，上述方法包括：接收数据处理信号，确定待处理数据的数据量；从分布式系统中确定出用于处理上本文档来自技高网...

【技术保护点】
1.一种分布式系统的数据处理方法，其特征在于，所述方法包括：/n接收数据处理信号，确定待处理数据的数据量；/n从分布式系统中确定出用于处理所述待处理数据的内部处理节点，并统计所述内部处理节点的数量，作为内部处理节点数量；/n获取期望处理时长，其中，所述期望处理时长为期望处理所述待处理数据所花费的时长；/n获取历史数据的历史参数，其中，所述历史参数包括：所述历史数据的数据量、所述分布式系统中处理所述历史数据的历史节点的数量和处理所述历史数据所花费的时长；/n根据所述历史参数、所述待处理数据的数据量、所述内部处理节点数量和所述期望处理时长判断所述内部处理节点能否在所述期望处理时长内处理完所述待处理...

【技术特征摘要】
1.一种分布式系统的数据处理方法，其特征在于，所述方法包括：
接收数据处理信号，确定待处理数据的数据量；
从分布式系统中确定出用于处理所述待处理数据的内部处理节点，并统计所述内部处理节点的数量，作为内部处理节点数量；
获取期望处理时长，其中，所述期望处理时长为期望处理所述待处理数据所花费的时长；
获取历史数据的历史参数，其中，所述历史参数包括：所述历史数据的数据量、所述分布式系统中处理所述历史数据的历史节点的数量和处理所述历史数据所花费的时长；
根据所述历史参数、所述待处理数据的数据量、所述内部处理节点数量和所述期望处理时长判断所述内部处理节点能否在所述期望处理时长内处理完所述待处理数据；
当判定所述内部处理节点不能在所述期望处理时长内处理完所述待处理数据时，选择一个或多个外部节点添加至所述分布式系统，并使所述内部处理节点和所述外部节点共同处理所述待处理数据。


2.根据权利要求1所述的方法，其特征在于，获取历史数据的历史参数的步骤包括：
获取N个预定标签，其中，每个所述预定标签关联一批或多批所述历史数据，且处理每批所述历史数据所花费的时长在所述历史数据关联的所述预定标签表征的时长范围内，N为大于等于1的正整数；
从N个所述预定标签中确定出目标标签，其中，所述期望处理时长在所述目标标签表征的所述时长范围内；
获取所述目标标签关联的所述历史数据的所述历史参数。


3.根据权利要求2所述的方法，其特征在于，获取所述目标标签关联的所述历史数据的所述历史参数的步骤包括：
判断所述目标标签关联的所述历史数据是否存在多批；
在所述目标标签关联的所述历史数据存在多批时，获取处理每批所述历史数据所花费的时长，作为一个历史处理时长；
从获取的所有所述历史处理时长中确定出与所述期望处理时长的时间间隔最小的所述历史处理时长，作为目标处理时长；
获取所有批所述历史数据中与所述目标处理时长对应的所述历史数据的所述历史参数。


4.根据权利要求1所述的方法，其特征在于，根据所述历史参数、所述待处理数据的数据量、所述内部处理节点数量和所述期望处理时长判断所述内部处理节点能否在所述期望处理时长内处理完所述待处理数据的步骤包括：
计算所述分布式系统中每个处理所述历史数据的历史节点在单位时间内处理所述历史数据的数据量大小，作为单位时间处理数据量；
将所述单位时间处理数据量、所述内部处理节点数量和所述期望处理时长的乘积与所述待处理数据的数据量比较，以判断所述内部处理节点能否在所述期望处理时长内处理完所述待处理数据；或者
将所述待处理数据的数据量、所述单位时间处理数据量和所述内部处理节点数量之商与所述期望处理时长比较，以判断所述内部处理节点能否在所述期望处理时长内处理完所述待处理数据；或者
将所述待处理数据的数据量、所述单位时间处理数据量和所述期望处理时长之商与所述内部处理节点数量比较，以判断所述内部处理节点能否在所述期望处理时长内处理完所述待处理数据。


5.根据权利要求4所述的方法，其特征在...

【专利技术属性】
技术研发人员：赵善亮，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：广东;44