超大规模NFV网络资源池海量数据处理及数据接入方法技术

本发明专利技术实施例公开了本发明专利技术公开了一种超大规模NFV网络资源池海量数据处理及数据接入方法，以ODS

【技术实现步骤摘要】
超大规模NFV网络资源池海量数据处理及数据接入方法


[0001]本专利技术涉及移动通信领域，尤其涉及一种超大规模NFV网络资源池海量数据处理及数据接入方法。

技术介绍

[0002]在移动通信领域，NFV(网络功能虚拟化)技术的引入，利用IT虚拟化技术，将现有的网络设备功能整合进标准的IT通用设备中，以VNF(虚拟网络功能)的形式提供，实现了网络功能与专用硬件设备的脱离，降低了硬件成本，提升了业务创新的速度。为支撑大范围的通信业务，运营商会建设多地多节点符合MANO架构(网络功能虚拟化管理和编排)的超大规模NFV网络资源池，资源池内厂家型号各异且数量巨大的IT设备，以及MANO网络功能虚拟化管理和编排架构复杂的分层接口，每天会产生海量的数据，如何处理这些海量数据，并从中分析资源池的运行状态，是资源池运维工作面临的难题。
[0003]支撑NFV网络资源池运行分析的运维系统，需要对以上海量的数据进行高效正确的处理，同时支撑各种灵活多变的实时多维分析需求，会面临以下难题：
[0004]数据处理架构不清晰，数据处理限入无所适从的局面，缺少公共数据的提炼和汇总，出现烟囱式重复建设，同时也加剧了数据孤岛的问题；孤岛式的建设，缺少统一的组织及方法论，指标口径不统一、数据表级字段名不一致，数据有二义性；当不同业务之间有数据交叉的场景时，为了尽快响应业务需求，直接从其他业务明细层甚至原始数据层获取数据，不同的研发团队不同规范，造成模型设计不统一，复用性差；缺少公共聚合数据的沉淀和积累，数据开效率差，响应慢；
[0005]数据处理压力大成本高，从数据导入到数据存储到数据计算到数据查询，数据处理系统面临巨大压力，传统数据库，例如Oracle、Mysql、Postgresql，无论是单机还是集群，很难支撑如此规模的数据；如果使用Hadoop大数据平台，组件臃肿，部署规模复杂，维护难度大，需要投入极大的人力物力成本。
[0006]目前，现有技术中，较少有针对通信领域NFV网络资源池的海量数据处理方法，只有一些通用的大数据处理分析方法，技术实现上也有一些差异：
[0007]申请号为CN201810074821.8的中国专利技术专利提供一种多源海量数据处理系统及方法，系统包括计算模块和任务管理模块，其中：计算模块用于接收多源海量数据，并调取数据接收服务解析所述多源海量数据；多源海量数据是根据预先在所述任务管理模块中配置的任务所产生的开源数据；计算模块若接收到外界选择的预设模型的确认动作，将解析后的多源海量数据输入所述预设模型，以供分析所述预设模型的输出结果。
[0008]申请号为CN201910809222.0的中国专利技术专利提供海量数据分库存储的方法、装置、计算机设备及存储介质，方法包括：提取同类型海量数据的关键字段的值；根据所述关键字段的值对同类型海量数据进行分段；为各段的海量数据分配相应的数据库，并将各段的海量数据存储至相应的数据库中。
[0009]申请号为CN201810496314.3的中国专利技术专利提出一种海量数据平台与大数据平
台融合方法，该平台包括数据采集层、数据缓存层和数据存储层；该融合方法包括：数据采集层采用分布式消息队列Kafka机制，实现测点数据传输；数据缓存层采用REDIS键值型内存数据库，实现用户即席查询需求；数据存储层采用HBASE列式存储，结合测点数据时序特征，对测点数据特征进行列式存储。
[0010]一种多源海量数据处理系统及方法(申请号：CN201810074821.8)提出一种简单通用的大数据量任务计算处理架构，过程过于简单，没有涵盖整个数据处理过程，缺乏实质的技术实现，对于海量数据的处理无法给予实质上的技术参考。
[0011]一种海量数据分库存储的方法、装置、计算机设备及存储介质(申请号：CN201910809222.0)提供了一种海量数据的分片分库存储，聚焦于关键字提取分片数据的算法，仅适合关键字强特征场景下的海量数据的存储，适用场景单一，同时该提案仅考虑了存储，无法应对海量数据的全过程处理。
[0012]一种海量数据平台与大数据平台融合方法(申请号：CN201810496314.3)提供了一种既有多数据平台的融合方案，着重于平台间的数据交换与接口交互，对于大数据或海量数据平台本身如何处理海量数据的过程与技术并未重点提及，无法作为海量数据处理的技术参考。
[0013]综合以上，现有技术实现有一个共性缺点：缺少抽象出来有一定通用性的清晰的可涵盖数据处理全过程的方法论，导致适用场景面较窄；以及缺乏容易落地实施的技术栈，导致技术落地困难。针对海量数据采用的数据处理平台存在冗余数据过多，实时性差，平台过于笨重无法轻量化。

技术实现思路

[0014]针对上述技术问题，本专利技术实施例提供了超大规模NFV网络资源池海量数据处理及数据接入方法，该方法以ODS
‑
DW
‑
ADS三层数据分层处理架构作为海量数据处理全过程的方法论，不限制于特定场景下的海量数据处理，可涵盖包括移动通信领域在内诸多领域的海量数据处理场景；并且超大规模NFV网络资源池海量数据处理方法以Doris为核心配合Kafka+Flink+MongoDB软件作为海量数据处理全过程的技术栈，具备低成本、简单易使用，可快速落地实施的优点。
[0015]第一方面，本专利技术提供了一种大规模NFV网络资源池海量数据处理方法，该方法包括：
[0016]从MongoDB获得Doris表模型的映射配置，根据所述映射配置对所述海量数据进行数据分层获得ODS、DWD、DWS以及ADS的数据层；
[0017]对大规模NFV网络资源池产生的数据文件进行解析，获得文件流并推送至Kafka分布式消息队列；基于Flink对Kafka分布式消息队列进行调度，将所述文件流分别推送至各个数据层进行数据处理；
[0018]所述数据处理，包括，
[0019]利用Kafka将文件流输入ODS层的Duplicate模型进行存储得到用于数据追溯、没有聚合需求的第一数据，并将所述第一数据推送至Kafka；所述第一数据为明细数据，重复上报的明细数据由所述Duplicate表模型接收并直接保存；
[0020]利用Kafka按照预设规则对所述第一数据进行清洗，输入DWD层中的Aggregate模
型采用REPLACE方式聚合，得到第二数据，并将所述第二数据推送至Kafka；所述第二数据包括资源类数据和性能数据，所述任一资源类数据单独对应一条资源拓扑关系进行缓存，以供性能数据查询；
[0021]利用Kafka将所述性能数据输入DWS层的Aggregate表模型，利用Doris对所述性能数据按照预定需求，采用SUM、MAX、MIN方式，进行实时预汇聚得到第三数据；
[0022]获取应用层需求，根据所述需求对DWS层的Aggregate表模型中的第三数据和包括空间类数据的其他维度数据，通过创建物化视图的方式进行实时汇聚并保存至ADS层的Aggregat本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大规模NFV网络资源池海量数据处理方法，其特征在于，所述方法包括：从MongoDB获得Doris表模型的映射配置，根据所述映射配置对所述海量数据进行数据分层获得ODS、DWD、DWS以及ADS的数据层；对大规模NFV网络资源池产生的数据文件进行解析，获得文件流并推送至Kafka分布式消息队列；基于Flink对Kafka分布式消息队列进行调度，将所述文件流分别推送至各个数据层进行数据处理；所述数据处理，包括，利用Kafka将文件流输入ODS层的Duplicate模型进行存储得到用于数据追溯、没有聚合需求的第一数据，并将所述第一数据推送至Kafka；所述第一数据为明细数据，重复上报的明细数据由所述Duplicate表模型接收并直接保存；利用Kafka按照预设规则对所述第一数据进行清洗，输入DWD层中的Aggregate模型采用REPLACE方式聚合，得到第二数据，并将所述第二数据推送至Kafka；所述第二数据包括资源类数据和性能数据，所述任一资源类数据单独对应一条资源拓扑关系进行缓存，以供性能数据查询；利用Kafka将所述性能数据输入DWS层的Aggregate表模型，利用Doris对所述性能数据按照预定需求，采用SUM、MAX、MIN方式，进行实时预汇聚得到第三数据；获取应用层需求，根据所述需求对DWS层的Aggregate表模型中的第三数据和包括空间类数据的其他维度数据，通过创建物化视图的方式进行实时汇聚并保存至ADS层的Aggregate或Duplicate表模型中。2.根据权利要求1所述的大规模NFV网络资源池海量数据处理方法，其特征在于，所述海量数据，包括：所述大规模NFV网络资源池中物理设备、虚拟设备、虚拟网络功能每天所产生的资源、性能、告警、巡检数据，以及网络功能虚拟化管理和编排架构中的分层接口所上报的资源、性能、告警数据。3.根据权利要求1所述的大规模NFV网络资源池海量数据处理方法，其特征在于，所述解析，包括：对所述数据文件进行解析，获得数据文件消息流并推送至Kafka分布式消息队列；利用Flink接收所述数据文件消息流，进行解析得到文件流；逐行读取所述文件流并输入到Flink数据处理列队；所述文件流包括各类文件混合打散的数据消息；Flink处理流接收文件流，根据数据分区广播的所述映射配置将所述文件流汇总切分为小份数据流；根据各个数据层的表名对所述小份数据流进行分区标识并利用HASH流向Flink开窗处理算子。4.根据权利要求3所述的大规模NFV网络资源池海量数据处理方法，其特征在于，所述调度，包括：利用Flink的Sink算子对哈希流进行批处理，所述批处理每5秒汇总一批；基于Flink对Kafka分布式消息队列进行调度，将批处理后的数据通过数据流的方式保存至Doris...

【专利技术属性】
技术研发人员：伍闵，钟世钦，董威，李超超，王松磊，陈延廷，罗晓惠，杨克伟，胡剑，
申请(专利权)人：杭州东方通信软件技术有限公司，
类型：发明
国别省市：