数据处理方法、装置、电子设备及介质制造方法及图纸

本申请涉及算力网络技术领域，提供一种数据处理方法、装置、电子设备及介质，基于全局感知模型的模型信息与各感知节点分别对应的元数据信息，确定各所述感知节点分别对应的感知子模型；向各所述感知节点下发对应的所述感知子模型与感知任务；对各所述感知节点上传的归集数据进行数据聚合，得到目标数据。本申请中心主节点根据全局感知模型与各感知节点分别对应的元数据信息，确定各感知节点分别对应的感知子模型并与感知任务一同下发至各感知节点，以通过下属的各感知节点快速进行所需数据的跨地域采集，并对各感知节点采集后上传的归集数据进行数据聚合，形成完整的数据集作为目标数据，完成对整个算力网络的数据感知，可以提高数据感知效率。提高数据感知效率。提高数据感知效率。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及介质


[0001]本申请涉及算力网络
，具体涉及一种数据处理方法、装置、电子设备及介质。

技术介绍

[0002]在算力网络场景下，算力网络操作系统管理着分布广泛且异构的算力和网络，包括通用算力、智算和超算等算力，以及接入网、承载网、核心网和传输网等网络。算力网络涉及到的资源类型和数量庞大，存在跨区域、跨地域的特点，并在随着虚拟化、云化和容器化的普及带来了便利的同时使系统架构变得更加复杂。这给算力网络操作系统下的统一感知和分析带来了重大的挑战。
[0003]传统的数据感知方式一般针对具体区域、具体场景设计独立的数据模型和感知接入，然后进行集中式的分析和处理。这就导致在跨域场景中数据模型缺乏标准而产生冲突，缺少应对多层次的海量数据场景下对多样化数据的实时感知手段。在算力网络分布式架构模式中，算力资源分布在跨地域的环境下，需要感知的数据量会非常庞大并且种类繁多，包括算力、网络、应用、服务、日志等。若基于传统的数据感知方式进行数据感知，需要耗费大量的时间，导致当前进行数据感知时的效率低下。

技术实现思路

[0004]本申请实施例提供一种数据处理方法、装置、电子设备及介质，用以解决当前基于传统的数据感知方式进行数据感知，需要耗费大量的时间，导致进行数据感知时的效率低下的问题。
[0005]第一方面，本申请实施例提供一种数据处理方法，包括：
[0006]基于全局感知模型的模型信息与各感知节点分别对应的元数据信息，确定各所述感知节点分别对应的感知子模型；其中，所述全局感知模型是基于各所述感知节点上传的所述元数据信息确定的；
[0007]向各所述感知节点下发对应的所述感知子模型与感知任务；
[0008]对各所述感知节点上传的归集数据进行数据聚合，得到目标数据；其中，所述归集数据是所述感知节点基于对应的所述感知子模型与所述感知任务得到的。
[0009]在一个实施例中，所述基于全局感知模型的模型信息与各感知节点分别对应的元数据信息，确定各所述感知节点分别对应的感知子模型，包括：
[0010]针对各感知节点，分别执行以下步骤：
[0011]将全局感知模型中，与当前感知节点的元数据信息不同的部分模型信息删除，得到当前感知节点对应的感知子模型。
[0012]在一个实施例中，所述对各所述感知节点上传的归集数据进行数据聚合之前，还包括：
[0013]接收各所述感知节点上传的归集数据；
[0014]其中，所述归集数据是所述感知节点基于感知任务进行数据采集，并基于与所述感知节点对应的感知子模型对采集数据进行数据转换得到的。
[0015]在一个实施例中，所述基于全局感知模型与感知节点的元数据信息，确定所述感知节点的感知子模型之前，还包括：
[0016]基于各感知节点上传的元数据信息进行感知模型设计，得到初始感知模型；
[0017]对所述初始感知模型进行验证，得到验证结果；
[0018]确定所述验证结果为所述初始感知模型通过验证，则将所述初始感知模型确定为全局感知模型。
[0019]在一个实施例中，所述对所述初始感知模型进行验证，得到验证结果，包括：
[0020]对所述初始感知模型进行模型信息的异常检测，得到第一检测结果；
[0021]将所述初始感知模型与验证任务下发至各所述感知节点，并接收各所述感知节点基于所述初始感知模型与所述验证任务反馈的第二检测结果；
[0022]基于所述第一检测结果与所述第二检测结果，确定所述初始感知模型的验证结果。
[0023]在一个实施例中，所述基于所述第一检测结果与所述第二检测结果，确定所述初始感知模型的验证结果，包括：
[0024]若确定所述第一检测结果与所述第二检测结果均为所述初始感知模型通过验证，则确定所述初始感知模型的验证结果为通过验证。
[0025]在一个实施例中，所述模型信息包括模型标识、模型名称、模型说明、属性关系中的至少一项。
[0026]第二方面，本申请实施例提供一种数据处理装置，包括：
[0027]确定模块，用于基于全局感知模型的模型信息与各感知节点分别对应的元数据信息，确定各所述感知节点分别对应的感知子模型；其中，所述全局感知模型是基于各所述感知节点上传的所述元数据信息确定的；
[0028]下发模块，用于向各所述感知节点下发对应的所述感知子模型与感知任务；
[0029]聚合模块，用于对各所述感知节点上传的归集数据进行数据聚合，得到目标数据；其中，所述归集数据是所述感知节点基于对应的所述感知子模型与所述感知任务得到的。
[0030]第三方面，本申请实施例提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述程序时实现第一方面所述的数据处理方法的步骤。
[0031]第四方面，本申请实施例提供一种存储介质，所述存储介质为计算机可读存储介质，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的数据处理方法的步骤。
[0032]本申请实施例提供的数据处理方法、装置、电子设备及存储介质，中心主节点根据全局感知模型与各感知节点分别对应的元数据信息，确定各感知节点分别对应的感知子模型并与感知任务一同下发至各感知节点，进而可以通过下属的各感知节点快速进行所需数据的跨地域采集，并对各感知节点采集后上传的归集数据进行数据聚合，形成一个完整的数据集作为目标数据，从而完成对整个算力网络的数据感知，可以提高数据感知效率。
附图说明
[0033]为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0034]图1是本申请实施例提供的数据处理方法的流程示意图之一；
[0035]图2是本申请实施例提供的数据处理方法的流程示意图之二；
[0036]图3是本申请实施例提供的数据处理方法的流程示意图之三；
[0037]图4是本申请实施例提供的数据处理方法的流程示意图之四；
[0038]图5是本申请实施例提供的数据处理方法中的数据归集流程示意图；
[0039]图6是本申请数据处理装置实施例的功能模块示意图；
[0040]图7是本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0041]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0042]下面结合实施例对本专利技术提供的数据处理方法、装置、电子设备及存储介质进行详细描述。...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：基于全局感知模型的模型信息与各感知节点分别对应的元数据信息，确定各所述感知节点分别对应的感知子模型；其中，所述全局感知模型是基于各所述感知节点上传的所述元数据信息确定的；向各所述感知节点下发对应的所述感知子模型与感知任务；对各所述感知节点上传的归集数据进行数据聚合，得到目标数据；其中，所述归集数据是所述感知节点基于对应的所述感知子模型与所述感知任务得到的。2.根据权利要求1所述的数据处理方法，其特征在于，所述基于全局感知模型的模型信息与各感知节点分别对应的元数据信息，确定各所述感知节点分别对应的感知子模型，包括：针对各感知节点，分别执行以下步骤：将全局感知模型中，与当前感知节点的元数据信息不同的部分模型信息删除，得到当前感知节点对应的感知子模型。3.根据权利要求1所述的数据处理方法，其特征在于，所述对各所述感知节点上传的归集数据进行数据聚合之前，还包括：接收各所述感知节点上传的归集数据；其中，所述归集数据是所述感知节点基于感知任务进行数据采集，并基于与所述感知节点对应的感知子模型对采集数据进行数据转换得到的。4.根据权利要求1所述的数据处理方法，其特征在于，所述基于全局感知模型与感知节点的元数据信息，确定所述感知节点的感知子模型之前，还包括：基于各感知节点上传的元数据信息进行感知模型设计，得到初始感知模型；对所述初始感知模型进行验证，得到验证结果；确定所述验证结果为所述初始感知模型通过验证，则将所述初始感知模型确定为全局感知模型。5.根据权利要求4所述的数据处理方法，其特征在于，所述对所述初始感知模型进行验证，得到验证结果，包括...

【专利技术属性】
技术研发人员：许俊东，仇树卿，马浩，
申请(专利权)人：浪潮通信信息系统有限公司，
类型：发明
国别省市：