数据采集系统及方法技术方案

本发明专利技术公开了一种数据采集系统及方法，其中，该系统包括：采集平台、与采集平台连接的多个采集节点、与每个采集节点连接的多个网元；其中，采集平台用于：根据网元数据的数据类型，为各个网元配置多种采集服务；在新网元接入时，根据新网元数据的数据类型，为新网元配置采集服务；采集节点用于根据采集服务，采集网元数据；与同一采集节点连接的多个网元以及该采集节点布置在同一个云机房中。本发明专利技术可以提供统一的采集服务，提高数据采集的效率。

Data acquisition system and method

【技术实现步骤摘要】
数据采集系统及方法
本专利技术涉及数据处理
，特别涉及一种数据采集系统及方法。
技术介绍
传统的网元数据采集是按照不同的专业(如：无线、承载、核心、传输等)分别部署各自专业的采集机，在这些采集机上再部署相应的资源、性能、告警、日志等采集程序，采集各专业网元的数据。而同样的数据类型在采集方法有共同的地方，按照不同专业分开采集，不仅在开发上存在重复投入的风险，在部署上也会造成一定的资源浪费。此外，传统的网元采集是先规划并集中部署采集机，让集中的采集机去采集分散在不同地方的网元数据，当出现新增网元时，首先要在新增网元上做好路由配置(如白名单配置，保证采集机可以访问对应网元)，再去修改这些集中的采集机配置，以便可以采集新增网元的数据，这样会增加数据采集的链路，降低数据采集的效率。针对上述问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种数据采集系统，用以提供统一的采集服务，提高数据采集的效率，该系统包括：采集平台、与采集平台连接的多个采集节点、与每个采集节点连接的多个网元；其中，采集平台用于：根据网元数据的数据类型，为各个网元配置多种采集服务；在新网元接入时，根据新网元数据的数据类型，为新网元配置采集服务；采集节点用于根据采集服务，采集网元数据；与同一采集节点连接的多个网元以及该采集节点布置在同一个云机房中。本专利技术实施例还提供了一种数据采集方法，用以提供统一的采集服务，提高数据采集的效率，该方法包括：采集平台获取多个网元数据的数据类型，根据网元数据的数据类型，为各个网元配置多种采集服务；在新网元接入时，获取新网元数据的数据类型，根据新网元数据的数据类型，为新网元配置采集服务；采集节点根据采集服务，采集网元数据。本专利技术实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述数据采集方法。本专利技术实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有执行上述数据采集方法的计算机程序。本专利技术实施例通过：根据网元数据的数据类型，为各个网元配置多种采集服务，可以提供统一的采集服务，避免采集资源的浪费；在新网元接入时，根据新网元数据的数据类型，为新网元配置采集服务，可以简化新网元配置的流程，迅速为新网元配置相应的采集服务；将多个网元以及与多个网元连接的一个采集节点布置一个云机房中，可以实现数据的就近采集，减少了的数据采集的链路，提高了数据采集的效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1为本专利技术实施例中数据采集系统结构的示意图；图2为本专利技术实施例中数据采集方法流程的示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。为了提供统一的采集服务，提高数据采集的效率，本专利技术实施例提供了一种数据采集系统，图1为本专利技术实施例中数据采集系统结构的示意图，如图1所示，该系统包括：采集平台01、与采集平台连接的多个采集节点02、与每个采集节点02连接的多个网元03；其中，采集平台01用于：根据网元数据的数据类型，为各个网元03配置多种采集服务；在新网元03接入时，根据新网元数据的数据类型，为新网元03配置采集服务；采集节点02用于根据采集服务，采集网元数据；与同一采集节点02连接的多个网元03以及该采集节点02布置在同一个云机房04中。如图1所示：本专利技术实施例通过：根据网元数据的数据类型，为各个网元配置多种采集服务，可以提供统一的采集服务，避免采集资源的浪费；在新网元接入时，根据新网元数据的数据类型，为新网元配置采集服务，可以简化新网元配置的流程，迅速为新网元配置相应的采集服务；将多个网元以及与多个网元连接的一个采集节点布置一个云机房中，可以实现数据的就近采集，减少了的数据采集的链路，提高了数据采集的效率。具体实施时，可以将采集平台01与多个采集节点02分别连接，每个采集节点02与多个网元02分别连接，并且与同一采集节点02连接的多个网元03以及该采集节点02布置在同一个云机房04中。网元是网络中的设备，传统的网元采集是先规划并集中部署采集机，让集中的采集机去采集分散在不同地方的网元数据，随着网络虚拟化技术的发展，5G网络核心网UPF网元下沉、无线网CU网元上升到同一数据中心，云机房可以代替传统机房，由于一个云机房中的各个设备之间的网络是互通的，将多个网元03虚拟化部署在一个云机房04中可以减少路由等设备的配置。将与同一采集节点02连接的多个网元03以及该采集节点02布置在同一个云机房04中，与传统的集中采集机相比，可以实现数据的就地采集，减少了数据采集的链路，同时对于告警、信令等时限要求较高的数据，也可以加快数据采集的速度，更好地为上层应用提供数据支撑。将这样的多个采集节点02分别与部署在运营商核心节点的一个采集平台01连接，通过采集平台01为各个采集节点02部署采集服务，实现网元数据的采集。具体实施时，采集平台01可以根据网元数据的数据类型，为各个网元03配置多种采集服务。一个网元03可以包括多种类型的数据，例如：资源数据、配置数据、性能数据、告警数据、信令、MR等，采集平台01会为网元03的每一种数据分别配置不同的采集服务，并将这些采集服务统一下发至各个采集节点02，各个采集节点02根据这些采集服务进行网元数据的采集，此外，同一个采集服务，也可以对不同专业的数据进行采集，与传统的按照不同专业分别部署各自专业的采集机相比，本专利技术实施例可以避免采集资源的浪费。在一个实施例中，采集服务至少包括：网元接口协议适配、数据采集、数据检测、数据标准化处理、数据存储和数据分发。具体实施时，网元接口协议适配，可以将采集节点02与网元03的接口协议适配，从而实现采集节点02从网元03侧采集原始数据，网元接口协议适配可以支持多种类型的网元接口，包括：文件、REST、Telnet、SNMP、corba等，同时可以支持接口扩展。数据采集，可以支持各种类型数据的采集，包括资源数据、配置数据、告警数据、性能数据、信令、MR等。数据检测，可以及时检测网元03侧原始数据是否满足预设的完整性标准，当原始数据满足预设的完整性标准时，立即进行数据采集，当原始数据不满足预设的完整性标准时，也可以采集部分满足预设的完整性标准的数据，也即，数据检测可以尽可能及时的采集满足预设的完整性标准要求本文档来自技高网...

【技术保护点】
1.一种数据采集系统，其特征在于，包括：采集平台、与采集平台连接的多个采集节点、与每个采集节点连接的多个网元；/n其中，所述采集平台用于：根据网元数据的数据类型，为各个网元配置多种采集服务；在新网元接入时，根据新网元数据的数据类型，为新网元配置采集服务；/n所述采集节点用于根据所述采集服务，采集网元数据；/n与同一采集节点连接的多个网元以及该采集节点布置在同一个云机房中。/n

【技术特征摘要】
1.一种数据采集系统，其特征在于，包括：采集平台、与采集平台连接的多个采集节点、与每个采集节点连接的多个网元；
其中，所述采集平台用于：根据网元数据的数据类型，为各个网元配置多种采集服务；在新网元接入时，根据新网元数据的数据类型，为新网元配置采集服务；
所述采集节点用于根据所述采集服务，采集网元数据；
与同一采集节点连接的多个网元以及该采集节点布置在同一个云机房中。


2.如权利要求1所述的系统，其特征在于，所述根据新网元数据的数据类型，为新网元数据配置采集服务，包括：
根据新网元数据的数据类型，判断已有采集服务中是否存在满足新网元数据采集需求的目标采集服务；
当已有采集服务中存在满足新网元数据采集需求的目标采集服务时，为所述新网元配置所述目标采集服务；
当已有采集服务中不存在满足新网元数据采集需求的目标采集服务时，为新网元配置新的采集服务。


3.如权利要求1所述的系统，其特征在于，所述采集服务至少包括：网元接口协议适配、数据采集、数据检测、数据标准化处理、数据存储和数据分发。


4.如权利要求1所述的系统，其特征在于，所述采集平台还用于：接收用户发送的采集任务，根据各个采集节点的剩余资源信息，将所述采集任务分发至各个采集节点...

【专利技术属性】
技术研发人员：晏征，
申请(专利权)人：中盈优创资讯科技有限公司，
类型：发明
国别省市：北京;11