本发明专利技术提供了一种5G资源采集的方法及装置，所述方法包括：基于定时任务轮询主动拉取数据，一种平级的数据结构，步骤包括：判断数据是否为平级的数据结构；若为平级的数据结构，则采用基于定时任务轮询主动拉取数据，步骤包括：配置采集任务的相关信息；采用发送kafka消息的方式分发执行采集任务的服务实例；接收执行采集任务的消息，采用模板模式的设计模式执行采集任务；若为非平级的数据结构，则采用基于对端主动推送数据，步骤包括：动态配置通用接收数据的方法；使用动态的脚本语言将不同类型的源数据和目标数据进行转换，将树形嵌套机构转化为多个平级数据机构；将转换后的数据进行统一的标准处理。行统一的标准处理。行统一的标准处理。
【技术实现步骤摘要】
一种5G资源采集的方法及装置
[0001]本专利技术的实施例一般涉及数据处理
，尤其涉及一种5G资源采集方法及装置。
技术介绍
[0002]传统的5G资源采集往往受限于数据提供方的接口协议数据格式、各种资源数据的数据结构各不相同、系统之间数据的交互方式各不相同而导致接口复用率极低，往往针对一种资源数据采集开发一套程序代码，维护成本极高，学习成本高，代码复用性比较低。且现阶段的5G资源采集对于只有一级的数据结构处理比较方便，对于有多级层级机构的数据类型处理不太方便。
[0003]如专利：“一种应用于5G网络的数据采集方法和5G网络(申请号：CN202011245735.2)”：数据采集方法包括数据发送网元将需要提交至网络数据分析功能网元的数据生成数据文档，将数据文档存储于本地，网络数据分析功能网元向数据发送网元发送订阅消息，数据发送网元当确定本机的负载和订阅消息所形成的事件满足触发条件，根据订阅消息向网络数据分析功能网元发送本地所存储的数据文档等步骤。该方案可以避免数据采集产生的网络负载与5G网络本身的网络负载叠加造成过载的负面影响，但是没有解决程序代码维护成本极高、学习成本高、代码复用性比较低的问题，也没有解决有多级层级机构的数据类型处理不太方便的问题。
技术实现思路
[0004]为解决以上问题，本专利技术同时满足了基于定时任务轮询主动拉取数据和基于对端主动推送数据的需求，学习成本底，代码量少，基于配置实现数据采集，提高了交互效率，降低了开发和运维监控成本，代码复用性比较高。
[0005]根据本专利技术的实施例，提供了一种5G资源采集的方法及装置。
[0006]在本专利技术的第一方面，提供了一种5G资源采集的方法。该方法包括：
[0007]S01：判断数据是否为平级的数据结构；
[0008]S02：若为平级的数据结构，则采用基于定时任务轮询主动拉取数据，步骤包括：配置采集任务的相关信息；采用发送kafka消息的方式分发执行采集任务的服务实例；接收执行采集任务的消息，采用模板模式的设计模式执行采集任务；
[0009]S03：若为非平级的数据结构，则采用基于对端主动推送数据，步骤包括：动态配置通用接收数据的方法；使用动态的脚本语言将不同类型的源数据和目标数据进行转换，将树形嵌套机构转化为多个平级数据机构；将转换后的数据进行统一的标准处理。
[0010]进一步地，S02中所述的采集任务的相关信息包括：采集任务的名称、采集的方式、任务调度周期、源数据源字段以及目标数据源字段的映射关系。
[0011]进一步地，所述的采集的方式包括：HTTP协议的restful的url、基于csv文件的方式配置文件名以及sfpt连接相关信息；所述的字段映射转换关系包括：主键映射、一对一转
换、字典映射值转换、固定值以及可扩展的表达式。
[0012]进一步地，S02中所述的采用模板模式的设计模式执行采集任务，具体步骤为：
[0013]初始化目标表数据状态字段：将目标表中的changType字段标记为删除状态，用于在采集任务执行完后能够准确看出哪些数据是对方数据源是已经删除了该数据；
[0014]从数据源获取数据：一种数据源的数据获取对应一个实现类，获取到数据后返回统一的数据结构；
[0015]对获取到的数据进行数据转换：根据配置的相关信息中的目标数据源字段的映射关系，对需要转换的字段进行转换；
[0016]源字段和入库表目标字段映射转换：将源字段的值转换成目标字段的值，根据配置的相关信息中的目标数据源字段的映射关系转换源字段的值到目标字段，返回统一的数据结构；
[0017]数据落库：首先判断是否为关系表，如果是关系表则没有主键字段，统一采用先删除后新增记录的方式处理；如果不是关系表，则根据主键查询是否已有记录，如果有记录则更新该记录，否则新增记录；
[0018]记录任务执行日志：记录本次任务数据源记录总的条数；
[0019]目标数据源中自定义业务关系数据处理：待所有的业务数据入库后，保存目标数据源根据各个业务数据抽象出来的自定义各种关系数据。
[0020]进一步地，S03中所述的将转换后的数据直接入库数据库中的表后进行统一的标准处理。
[0021]进一步地，S03中所述的将转换后的数据生成csv文件或者kafka消息后进行统一的标准处理。
[0022]在本专利技术的第二方面，提供了一种5G资源采集的装置。该装置包括：
[0023]判断模块：用于判断数据是否为平级的数据结构，若为平级的数据结构，则调用拉取模块，若为非平级的数据结构，则调用推送模块；
[0024]拉取模块：用于配置采集任务的相关信息；采用发送kafka消息的方式分发执行采集任务的服务实例；接收执行采集任务的消息，采用模板模式的设计模式执行采集任务；
[0025]推送模块：用于动态配置通用接收数据的方法；使用动态的脚本语言将不同类型的源数据和目标数据进行转换，将树形嵌套机构转化为多个平级数据机构；将转换后的数据进行统一的标准处理。
[0026]进一步地，拉取模块中所述的采集任务的相关信息包括：采集任务的名称、采集的方式、任务调度周期、源数据源字段以及目标数据源字段的映射关系。
[0027]进一步地，所述的采集的方式包括：HTTP协议的restful的url、基于csv文件的方式配置文件名以及sfpt连接相关信息；所述的字段映射转换关系包括：主键映射、一对一转换、字典映射值转换、固定值以及可扩展的表达式。
[0028]进一步地，拉取模块还包括：
[0029]初始化模块：用于将目标表中的changType字段标记为删除状态，用于在采集任务执行完后能够准确看出哪些数据是对方数据源是已经删除了该数据；
[0030]数据获取模块：用于一种数据源的数据获取对应一个实现类，获取到数据后返回统一的数据结构；
[0031]数据转换模块：用于根据配置的相关信息中的目标数据源字段的映射关系，对需要转换的字段进行转换；
[0032]映射转换模块：用于将源字段的值转换成目标字段的值，根据配置的相关信息中的目标数据源字段的映射关系转换源字段的值到目标字段，返回统一的数据结构；
[0033]数据落库模块：用于首先判断是否为关系表，如果是关系表则没有主键字段，统一采用先删除后新增记录的方式处理；如果不是关系表，则根据主键查询是否已有记录，如果有记录则更新该记录，否则新增记录；
[0034]记录模块：用于记录本次任务数据源记录总的条数；
[0035]数据处理模块：用于待所有的业务数据入库后，保存目标数据源根据各个业务数据抽象出来的自定义各种关系数据。
[0036]进一步地，推送模块中所述的将转换后的数据直接入库数据库中的表后进行统一的标准处理。
[0037]进一步地，推送模块中所述的将转换后的数据生成csv文件或者kafka消息后进行统一的标准处理。
[0038]以本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种5G资源采集的方法，其特征在于，该方法包括：S01：判断数据是否为平级的数据结构；S02：若为平级的数据结构，则采用基于定时任务轮询主动拉取数据，步骤包括：配置采集任务的相关信息；采用发送kafka消息的方式分发执行采集任务的服务实例；接收执行采集任务的消息，采用模板模式的设计模式执行采集任务；S03：若为非平级的数据结构，则采用基于对端主动推送数据，步骤包括：动态配置通用接收数据的方法；使用动态的脚本语言将不同类型的源数据和目标数据进行转换，将树形嵌套机构转化为多个平级数据机构；将转换后的数据进行统一的标准处理。2.根据权利要求1所述的一种5G资源采集的方法，其特征在于，S02中所述的采集任务的相关信息包括：采集任务的名称、采集的方式、任务调度周期、源数据源字段以及目标数据源字段的映射关系。3.根据权利要求2所述的一种5G资源采集的方法，其特征在于，所述的采集的方式包括：HTTP协议的restful的url、基于csv文件的方式配置文件名以及sfpt连接相关信息；所述的字段映射转换关系包括：主键映射、一对一转换、字典映射值转换、固定值以及可扩展的表达式。4.根据权利要求1所述的一种5G资源采集的方法，其特征在于，S02中所述的采用模板模式的设计模式执行采集任务，具体步骤为：初始化目标表数据状态字段：将目标表中的changType字段标记为删除状态，用于在采集任务执行完后能够准确看出哪些数据是对方数据源是已经删除了该数据；从数据源获取数据：一种数据源的数据获取对应一个实现类，获取到数据后返回统一的数据结构；对获取到的数据进行数据转换：根据配置的相关信息中的目标数据源字段的映射关系，对需要转换的字段进行转换；源字段和入库表目标字段映射转换：将源字段的值转换成目标字段的值，根据配置的相关信息中的目标数据源字段的映射关系转换源字段的值到目标字段，返回统一的数据结构；数据落库：首先判断是否为关系表，如果是关系表则没有主键字段，统一采用先删除后新增记录的方式处理；如果不是关系表，则根据主键查询是否已有记录，如果有记录则更新该记录，否则新增记录；记录任务执行日志：记录本次任务数据源记录总的条数；目标数据源中自定义业务关系数据处理：待所有的业务数据入库后，保存目标数据源根据各个业务数据抽象出来的自定义各种关系数据。5.根据权利要求1所述的一种5G资源采集的方法，其特征在于，S03中所述的将转换后的数据直接入库数据库中的表后进行统一的标准处理。6.根据权利要求1所述的一种5G资源采集的方法，其特征在于，S03中所述的将转换后的数据生成csv...
【专利技术属性】
技术研发人员：徐建红，
申请(专利权)人：中盈优创资讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。