算力网络资源中心、算力服务系统以及数据处理方法技术方案

本申请实施例公开了一种算力网络资源中心、算力服务系统以及数据处理方法，其中，算力网络资源中心包括：数据采集模块，用于根据算力网络中的各种数据的实时性要求，采用与实时性要求对应的数据采集方式采集各种数据；数据预处理模块，用于对采集到的各种数据进行预处理与入库处理；算力度量模块，用于按照预设的算力测量模型对各种数据中的资源数据进行计算与算力汇总，得到算力汇总数据，并对算力汇总数据进行上报。根据该技术方案，通过将算力网络资源中心从算力管理系统中独立出来，单独负责异构算力资源的纳管和算力度量，形成了批处理、流处理、机器学习为一体的数据处理架构，对外提供算力资源服务。对外提供算力资源服务。对外提供算力资源服务。

【技术实现步骤摘要】
算力网络资源中心、算力服务系统以及数据处理方法


[0001]本申请实施例涉及数据处理
，具体涉及一种算力网络资源中心、算力服务系统以及数据处理方法。

技术介绍

[0002]在目前的算力服务网络中通常包括算力感知管理能力、算力调度编排能力、网络调度编排能力和算力服务调度编排能力。算力服务调度编排能力是指需要根据用户需求，调用网络调度编排能力和算力调度编排能力，为用户提供算力和网络的集成服务。目前算力服务网络各个领域处于发展初期，算力服务网络的整体功能划分尚没有统一的方案，算力资源的纳管、感知尚没有成熟的整体技术架构方案，且无法满足多层次超大规模算网资源数据纳管要求。

技术实现思路

[0003]鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的算力网络资源中心、算力服务系统以及数据处理方法。
[0004]根据本申请实施例的一个方面，提供了一种算力网络资源中心，包括：
[0005]数据采集模块，用于根据算力网络中的各种数据的实时性要求，采用与实时性要求对应的数据采集方式采集各种数据；
[0006]数据预处理模块，用于对采集到的各种数据进行预处理与入库处理；
[0007]算力度量模块，用于按照预设的算力测量模型对各种数据中的资源数据进行计算与算力汇总，得到算力汇总数据，并对算力汇总数据进行上报。
[0008]根据本申请实施例的另一个方面，提供了一种算力服务系统，包括：算力管理系统以及上述的算力网络资源中心；
[0009]算力网络资源中心通过统一数据接口与算力管理系统进行交互，为算力管理系统提供算力度量服务和资源纳管服务。
[0010]根据本申请实施例的另一个方面，提供了一种用于算力网络资源中心的数据处理方法，包括：
[0011]根据算力网络中的各种数据的实时性要求，采用与实时性要求对应的数据采集方式采集各种数据；
[0012]对采集到的各种数据进行预处理与入库处理；
[0013]按照预设的算力测量模型对各种数据中的资源数据进行计算与算力汇总，得到算力汇总数据，并对算力汇总数据进行上报。
[0014]根据本申请实施例的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；
[0015]存储器用于存放至少一可执行指令，可执行指令使处理器执行上述用于算力网络资源中心的数据处理方法对应的操作。
[0016]根据本申请实施例的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述用于算力网络资源中心的数据处理方法对应的操作。
[0017]根据本申请实施例提供的算力网络资源中心、算力服务系统以及数据处理方法，通过将算力网络资源中心从算力管理系统中独立出来，单独负责异构算力资源的纳管和算力度量，形成了批处理、流处理、机器学习为一体的数据处理架构，对外提供算力资源服务；采用级联数据过滤与处理，便捷地实现了异构算力数据采集和数据清洗；并且，利用区块链的防篡改性以及加密算法技术，为数据防篡改提供了可信的数据对比源，消除了数据存入hive后被篡改和传输过程中被篡改的安全威胁，有效地保证了数据的可信度。
[0018]上述说明仅是本申请实施例技术方案的概述，为了能够更清楚了解本申请实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本申请实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请实施例的具体实施方式。
附图说明
[0019]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请实施例的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
[0020]图1示出了根据本申请一个实施例的算力网络资源中心的结构框图；
[0021]图2示出了根据本申请一个实施例的算力网络资源中心的实现架构示意图；
[0022]图3示出了根据本申请一个实施例的算力网络资源中心的数据处理示意图；
[0023]图4示出了一种异构多云算力网络拓扑结构图；
[0024]图5示出了一种基于区块链的数据防篡改的流程示意图；
[0025]图6示出了根据本申请一个实施例的算力服务系统的结构框图；
[0026]图7示出了根据本申请一个实施例的用于算力网络资源中心的数据处理方法的流程示意图；
[0027]图8示出了根据本申请一个实施例的一种计算设备的结构示意图。
具体实施方式
[0028]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0029]图1示出了根据本申请一个实施例的算力网络资源中心的结构框图，如图1所示，算力网络资源中心包括：数据采集模块101、数据预处理模块102以及算力度量模块103。
[0030]数据采集模块101用于：根据算力网络中的各种数据的实时性要求，采用与实时性要求对应的数据采集方式采集各种数据。
[0031]本实施例使用流处理和批处理协同的大数据处理方案，并融入人工智能以及区块链能力，能够统一纳管异构多云算网设备，并实现实时、准确的多元数据纳管以及分析预测能力。
[0032]为了更好地进行数据处理，针对不同实时性要求的数据设计了不同的数据处理方式。数据采集模块101进一步用于：确定算力网络中的各种数据的实时性要求；采用流处理方式实时采集实时性要求为第一等级的数据，定时批量采集实时性要求为第二等级的数据；其中，第一等级高于第二等级。各种数据包括：性能数据、告警数据、工单数据以及资源数据，各种数据还可包括：割接数据、动环数据以及其他数据等。
[0033]具体地，可将实时性要求分成两个等级，例如第一等级和第二等级，其中，第一等级高于第二等级。即实时性要求为第一等级的数据具有较高的实时性要求，例如性能数据、告警数据以及工单数据等；实时性要求为第二等级的数据具有较低的实时性要求，例如资源数据等。
[0034]图2示出了根据本申请一个实施例的算力网络资源中心的实现架构示意图，如图2所示，在数据处理的实现架构层面，将其分为数据源层、数据传输采集层、数据清洗/处理/存储层、应用数据存储层以及数据服务层。
[0035]在数据源层中，多云平台根据所需数据特性要求，数据采集模块101进一步用于：采用消息队列对接实时性要求为第一等级的数据对应的数据源，采用数据库和REST接口对接实时性要求为第二等级的数据对应的数据源，定时同步更新。
[0036]如图2所示，在数据传输采集层中，通过对数据，使用Flink流处理框架以及Flume工具实现对性能数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种算力网络资源中心，其特征在于，包括：数据采集模块，用于根据算力网络中的各种数据的实时性要求，采用与所述实时性要求对应的数据采集方式采集所述各种数据；数据预处理模块，用于对采集到的各种数据进行预处理与入库处理；算力度量模块，用于按照预设的算力测量模型对所述各种数据中的资源数据进行计算与算力汇总，得到算力汇总数据，并对所述算力汇总数据进行上报。2.根据权利要求1所述的算力网络资源中心，其特征在于，所述数据采集模块进一步用于：确定所述算力网络中的各种数据的实时性要求；采用流处理方式实时采集所述实时性要求为第一等级的数据，定时批量采集所述实时性要求为第二等级的数据；其中，所述第一等级高于所述第二等级。3.根据权利要求1所述的算力网络资源中心，其特征在于，所述数据采集模块进一步用于：采用消息队列对接所述实时性要求为第一等级的数据对应的数据源；采用数据库和REST接口对接所述实时性要求为第二等级的数据对应的数据源。4.根据权利要求1所述的算力网络资源中心，其特征在于，所述数据预处理模块进一步用于：对所述实时性要求为第一等级的数据进行汇总并存储至搜索引擎中；将所述实时性要求为第二等级的数据存储至数据存储层中，并调度数据分析工具对所述数据存储层中的数据进行处理，而后存储至关系型数据库；针对所述各种数据中的指定数据，调用机器学习模型，对所述指定数据对应的处理方案进行预测，将预测得到的处理方案存储至搜索引擎中。5.根据权利要求1所述的算力网络资源中心，其特征在于，所述数据预处理模块进一步用于：利用多级Flume工具对采集到的各种数据进行数据清洗、数据填充以及入库处理。6.根据权利要求1
‑
5任一项所述的算力网络资源中心，其特征在于，所述算力网络资源中心还包括：数据上链模块，用于针对所述各种数据中的至少一种数据，对所述至少一种数据进行加密处理，得到校验码；利用所述校验码与所述至少一种数据生成数据键值组，将所述数据键值组发送至kafka集群；通过消费端对所述kafka集群中的所述数据键值组进行消费并存储至对应分区；利用智能合约，将所述分区中的数据进行上链存储；数据防篡改模块，用于将所述分区中的数据与上链数据进行对比，以检测所述分区中的数据是否被篡改。7.一种算力服务系统，其特征在于，包括：算力管理系统以及权利要求1
‑
6任一项所述的算力网络资源中心；所述算力网络资源中心通过统一数据接口与所述算力管理系统进行交互...

【专利技术属性】
技术研发人员：顾明，陈涛，杨海，郑卿，赵宇，侯金凤，王沁，赵旭凇，陈曦，袁静，李慧，王洁丽，宋评，吴继新，蔡晶晶，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：