数据处理方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例涉及计算机技术领域，公开了一种数据处理方法、装置、电子设备及存储介质，该方法包括：响应于数据采集任务，确定数据采集任务对应的采集对象组；对于每一采集对象组，基于该采集对象组中对象的对象数量对该采集对象组中的各对象进行分组，得到至少一个第一分组；对于每一采集对象组，基于对象数据对应的参数配置信息，对该采集对象组对应的各第一分组进行调整，得到至少一个第二分组；确定各第二分组对应的并发线程，基于各第二分组对应的并发线程，在第一次数据采集周期采集各采集对象组中各对象的对象数据。采用本申请实施例，可提升数据采集过程中的数据处理效率，适用性高。用性高。用性高。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质


[0001]本申请涉及计算机
，具体而言，本申请涉及一种数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]随着计算机技术的不断发展，在大规模数据管理场景中需要对采集对象组中各对象的对象数据进行采集，以基于采集到的对象数据进行进一步处理。例如，某设备管理系统需要采集设备集群中各设备的数据，以通过对采集到的数据进行分析实现对设备集群的统一管理。
[0003]现有的对象数据的采集方式往往是按照一定规模的对象数量进行统一部署所得到的固定采集方式，但是在采集对象组中采集对象数量较多的情况下，对象数据采集时间较长会导致数据时效性降低，在采集对象组中采集对象数量较少的情况下，固定采集方式则会消耗更多的资源。例如操作维护中心(Operation and Maintenance Center，OMC)管理运营商网络中的各种网元(Network Equipment，NE)，北向管理系统(North Manage Agent，NMA)通过OMC获取各NE的数据，随着NE的数据量增加，数据采集和上报时间延长，无法满足时效性要求。NE数量较小时，NMA占用资源较多，当NE数量较大时，NMA无法及时完成数据采集。
[0004]基于此，如何提升在上述场景下的数据处理效率，减少资源消耗成为亟需解决的问题。

技术实现思路

[0005]本申请实施例提供了一种数据处理方法，以解决现有技术中，从多对象采集数据时的数据处理效率较低以及资源消耗较大的问题。
[0006]相应的，本申请实施例还提供了一种数据处理装置、一种电子设备以及一种存储介质，用以保证上述方法的实现及应用。
[0007]为了解决上述问题，本申请实施例公开了一种数据处理方法，上述方法包括：
[0008]响应于数据采集任务，确定上述数据采集任务对应的采集对象组；
[0009]对于每一上述采集对象组，基于该采集对象组中对象的对象数量对该采集对象组中的各上述对象进行分组，得到至少一个第一分组；
[0010]对于每一上述采集对象组，基于对象数据对应的参数配置信息，对该采集对象组对应的各上述第一分组进行调整，得到至少一个第二分组；
[0011]确定各上述第二分组对应的并发线程，基于各上述第二分组对应的并发线程，在第一次数据采集周期采集各上述采集对象组中各上述对象的对象数据。
[0012]本申请实施例还公开了一种数据处理装置，上述装置包括：
[0013]对象确定模块，用于响应于数据采集任务，确定上述数据采集任务对应的采集对象组；
[0014]初始调整模块，用于对于每一上述采集对象组，基于该采集对象组中对象的对象数量对该采集对象组中的各上述对象进行分组，得到至少一个第一分组；
[0015]分组调整模块，用于对于每一上述采集对象组，基于对象数据对应的参数配置信息，对该采集对象组对应的各上述第一分组进行调整，得到至少一个第二分组；
[0016]数据处理模块，用于确定各上述第二分组对应的并发线程，基于各上述第二分组对应的并发线程，在第一次数据采集周期采集各上述采集对象组中各上述对象的对象数据。
[0017]本申请实施例还公开了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现本申请实施例提供的数据处理方法。
[0018]本申请实施例还公开了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如本申请实施例中一个或多个上述的方法。
[0019]在本申请实施例中。通过并发线程可极大提升对象数据的采集效率，避免了对象数据积压风险以及延迟效应。并且通过对象数据的参数配置信息可对各采集对象组中各第一分组再次进行调整，使得各采集对象对应的对象分组更加合理，进而提升数据处理的效率，适用性高。
附图说明
[0020]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本申请实施例提供的数据处理方法的一流程示意图；
[0022]图2是本申请实施例提供的数据处理方法的另一流程示意图；
[0023]图3是本申请实施例提供的采集网元数据的一结构示意图；
[0024]图4是本申请实施例提供的调整网元分组的一结构示意图；
[0025]图5是本申请实施例提供的调整网元分组以及更新参数配置信息的一结构示意图；
[0026]图6是本申请实施例提供的数据处理装置的结构示意图；
[0027]图7是本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0028]下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
[0029]本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个
或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组合。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。
[0030]在本申请的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，包括一个或更多个相关联的列出项的全部或任一单元和全部组合，字符“/”，一般表示前后关联对象是一种“或”的关系。
[0031]在本申请所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。
[0032]此外，本领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本专利技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：响应于数据采集任务，确定所述数据采集任务对应的采集对象组；对于每一所述采集对象组，基于该采集对象组中对象的对象数量对该采集对象组中的各所述对象进行分组，得到至少一个第一分组；对于每一所述采集对象组，基于对象数据对应的参数配置信息，对该采集对象组对应的各所述第一分组进行调整，得到至少一个第二分组；确定各所述第二分组对应的并发线程，基于各所述第二分组对应的并发线程，在第一次数据采集周期采集各所述采集对象组中各所述对象的对象数据。2.根据权利要求1所述的方法，其特征在于，对于每一所述采集对象组，所述基于对象数据对应的参数配置信息，对该采集对象组对应的各所述第一分组进行调整，得到至少一个第二分组，包括：基于所述参数配置信息，确定该采集对象组在第一次数据采集周期的第一对象权值；基于该采集对象组的第一对象权值，对该采集对象组对应的各所述第一分组进行调整，得到至少一个第二分组。3.根据权利要求2所述的方法，其特征在于，对于每一所述采集对象组，所述基于所述参数配置信息，确定该采集对象组在第一次数据采集周期的第一对象权值，包括：基于所述参数配置信息，确定该采集对象组中各所述对象的对象数据中对应于各参数类型的参数的参数数量、以及各所述参数类型的类型权值；基于该采集对象组中各所述对象的对象数据中对应于各所述参数类型的参数的参数数量、以及各所述参数类型的类型权值，确定该采集对象组在第一次数据采集周期的第一对象权值。4.根据权利要求2所述的方法，其特征在于，对于每一所述采集对象组，所述基于该采集对象组的第一对象权值，对该采集对象组对应的各所述第一分组进行调整，得到至少一个第二分组，包括：确定各所述采集对象组的第一对象权值对应的平均权值；确定该采集对象组的第一对象权值与所述平均权值的权值比例，基于所述权值比例对该采集对象组对应的各所述第一分组进行调整，得到至少一个第二分组。5.根据权利要求4所述的方法，其特征在于，对于每一所述采集对象组，若该采集对象组对应的第一权值比例大于第一阈值，则该采集对象组对应的第二分组的组数大于该采集对象组对应的第一分组的组数；若该采集对象组对应的第一权值比例小于所述第一阈值，则该采集对象组对应的第二分组的组数小于该采集对象组对应的第一分组的组数。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：...

【专利技术属性】
技术研发人员：杨帆，
申请(专利权)人：大唐移动通信设备有限公司，
类型：发明
国别省市：