一种光缆管线数据分析系统、方法、服务器和存储介质技术方案

技术编号:26177887 阅读:33 留言:0更新日期:2020-10-31 14:24
本发明专利技术公开了一种光缆管线数据分析系统、方法、服务器和存储介质,通过数据采集模块采集存量的光缆管线数据作为批处理数据分析基础以及录入业务数据作为实时数据分析的基础;所述存量的光缆管线数据的批处理以及所述录入业务数据的实时处理;通过对管线数据批处理和业务数据的实时处理,实现了对海量管线数据进行实时分析,从而根据所述数据分析模块分析出的数据得出光缆管线数据巡检策略;根据数据巡检模块的巡检结果进行巡检结果呈现。从而解决了传统技术来管理这些海量数据将很难对这些数据进行快速的分析处理这一问题,确保管线数据的质量,同时也提高了巡检的效率,降低了故障的发生率。

An optical cable pipeline data analysis system, method, server and storage medium

【技术实现步骤摘要】
一种光缆管线数据分析系统、方法、服务器和存储介质
本专利技术涉及传输网
,具体涉及一种光缆管线数据分析系统、方法、服务器和存储介质。
技术介绍
随着通信技术的快速发展和中国移动通信资源建设范围的日益扩张,光缆管线资源已成为通信运营商的核心资源之一,因为现有的通信业务的开通都离不开光缆管线资源,怎么高效了解和利用自己的网络资源成为各家运营商的共识。目前国内的光缆管线系统大多采用B/S或C/S架构,采用关系型数据(MySQL、Oracle等数据库)进行存储数据,这种传统的资源管理较之前的手工管理资源方式有效的提高了光缆管线资源的管理效率,减少了相应的人力成本,但是随着网络规模和业务种类日益增多的情况下,数据量急剧增多,传统的存储方式无法满足海量数据的存储,传统的资源管理系统进行简单的查询和展示已不能满足实际需要,需要更多的去挖掘资源数据的内在价值尤其是海量资源数据组合后的内在价值,从而解决实际问题。然而,现有的光缆管线系统存在海量数据存储困难,维护成本高。随着通信技术的快速发展,其产生的数据是海量的,这些通信数据在管理方面对于企业来说是一个难题;现如今,数据已成为企业正常运行关键基础,如果一旦遭遇数据灾难,那么整个企业的工作将会陷入瘫痪;如果仍然使用传统技术来管理这些海量数据将很难对这些数据进行快速的分析处理。
技术实现思路
鉴于上述问题,提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的光缆管线数据分析系统和相应的光缆管线数据分析方法。根据本专利技术的一个方面,提供了一种光缆管线数据分析系统,包括:数据采集模块,用于采集存量的光缆管线数据作为批处理数据分析基础以及录入业务数据作为实时数据分析的基础;数据分析模块,用于对所述存量的光缆管线数据的批处理以及所述录入业务数据的实时处理;数据巡检模块,用于根据所述数据分析模块分析出的数据得出光缆管线数据巡检策略;数据呈现模块,用于根据所述数据采集模块、数据分析模块和数据巡检模块的处理数据进行结果呈现。根据本专利技术的另一方面,提供了一种光缆管线数据分析方法,所述方法基于上述的数据脱敏控制系统而实现,所述方法包括:采集存量的光缆管线数据作为批处理数据分析基础以及录入业务数据作为实时数据分析的基础;对所述存量的光缆管线数据进行批处理以及对所述录入业务数据进行实时处理;根据所述数据分析模块分析出的数据得出光缆管线数据巡检策略;根据所述数据采集模块、数据分析模块和数据巡检模块的处理数据进行结果呈现。根据本专利技术的又一方面,提供了一种服务器,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行上述的光缆管线数据分析方法对应的操作。根据本专利技术的又一方面,提供了一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行上述的光缆管线数据分析方法对应的操作。本专利技术的光缆管线数据分析系统和方法,通过数据采集模块采集存量的光缆管线数据作为批处理数据分析基础以及录入业务数据作为实时数据分析的基础;所述存量的光缆管线数据的批处理以及所述录入业务数据的实时处理;通过对管线数据批处理和业务数据的实时处理,实现了对海量管线数据进行实时分析,从而根据所述数据分析模块分析出的数据得出光缆管线数据巡检策略;根据数据巡检模块的巡检结果进行巡检结果呈现。从而解决了传统技术来管理这些海量数据将很难对这些数据进行快速的分析处理这一问题,确保管线数据的质量,同时也提高了巡检的效率,降低了故障的发生率。上述说明仅是本专利技术技术方案的概述,为了能够更清楚了解本专利技术的技术手段,而可依照说明书的内容予以实施,并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂,以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本专利技术的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:图1是本专利技术一示例性实施例示出的一种光缆管线数据分析系统;图2是本专利技术一示例性实施例示出的一种光缆管线数据分析系统;图3是本专利技术一示例性实施例示出的一种光缆管线数据分析方法;图4是本专利技术一示例性实施例示出的一种光缆管线数据分析方法;图5是本专利技术一示例性实施例示出的一种服务器的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。实施例一图1为本公开一示例性实施例示出的一种光缆管线数据分析系统,如图1所示,包括:数据采集模块11,用于采集存量的光缆管线数据作为批处理数据分析基础以及录入业务数据作为实时数据分析的基础。具体地说,数据采集模块采集存量的管线数据作为批处理数据分析基础以及采集用户通过管线系统进行录入业务数据作为实时数据分析的基础。存量的管线数据具有数据量大、业务逻辑复杂等特点,利用Sqoop工具将关系型数据与HDFS进行数据拷贝,这样做的可以利用Hadoop的MapReduce、Hive进行数据批处理分析,同时可以对存量的管线数据进行备份。当用户通过管线系统进行实时录入管线业务数据,数据首先保存到关系型数据库中,同时把新增的业务数据记录下写入到Kafka消息队列中。数据分析模块12,用于对所述存量的光缆管线数据的批处理以及所述录入业务数据的实时处理。具体地说,第一,对所述存量的光缆管线数据的批处理通过Hadoop的MapReduce编程模式及Hive来对数据进行分析,具体分析原理及分析规则如下:(1)MapReduce分析原理MapReduce编程模式,主要应用于大规模数据集的并行运算。MapReduce将复杂的、运行大规模集群上的并行计算过程高度地抽象到两个函数:Map函数和Reduce函数,采用“分而治之”策略,一个存储在分布式文件系统中的大规模数据集,会被切分成许多独立的分片,这些分片可以被多个Map任务并行处理。在我们的分析过程中,我们只需要实现Map函数进行数据处理将处理后的数据写入HDFS和Redice集群即可。例如,读取HDFS分布式文件系统上的文件,每条数据会被自动解析成一个<k,v>格式的键值对,k为该条数据的索引,v为该条数据记录。每一个键值对调用一次map函数。在map函数中,我们接受<k,v>数据,获取v数据记录后按照业务分析规则进行业务逻辑处理,并将处理后的结果分别写入HDFS和Redis集群。(2)业务分析规则孤立点数据分析:管线资源分本文档来自技高网...

【技术保护点】
1.一种光缆管线数据分析系统,其特征在于,包括:/n数据采集模块,用于采集存量的光缆管线数据作为批处理数据分析基础以及录入业务数据作为实时数据分析的基础;/n数据分析模块,用于对所述存量的光缆管线数据进行批处理以及对所述录入业务数据进行实时处理;/n数据巡检模块,用于根据所述数据分析模块分析出的数据得出光缆管线数据巡检策略;/n数据呈现模块,用于根据所述数据采集模块、数据分析模块和数据巡检模块的处理数据进行结果呈现。/n

【技术特征摘要】
1.一种光缆管线数据分析系统,其特征在于,包括:
数据采集模块,用于采集存量的光缆管线数据作为批处理数据分析基础以及录入业务数据作为实时数据分析的基础;
数据分析模块,用于对所述存量的光缆管线数据进行批处理以及对所述录入业务数据进行实时处理;
数据巡检模块,用于根据所述数据分析模块分析出的数据得出光缆管线数据巡检策略;
数据呈现模块,用于根据所述数据采集模块、数据分析模块和数据巡检模块的处理数据进行结果呈现。


2.根据权利要求1所述的系统,其特征在于,所述数据分析模块包括:
批处理模块,用于通过Hadoop集群对所述存量的光缆管线数据进行批量数据分析,得出光缆管线数据中孤立点数据、未完整敷设光缆管线、和/或未完整上架光缆管线数据;
实时处理模块,用于通过Storm集群对所述录入业务数据进行实时数据分析处理,得出重要巡检光缆管线数据。


3.根据权利要求2所述的系统,其特征在于,所述实时处理模块包括:
光缆管线业务数量统计子模块,用于统计当前数据承载业务数量;
光缆管线密集程度分析子模块,用于分析光缆管线所在位置的密集度;
光缆管线位置与施工道路匹配分析子模块,用于分析该条数据是否处于施工道路。


4.根据权利要求1所述的系统,其特征在于,所述数据呈现模块具体用于:
互联网GIS地图光缆管线资源呈现;
光缆管线数据关联性的呈现;
孤立点数据的呈现及统计;
未完整上架/敷设光缆管线数据的呈现;
巡检路线的GIS呈现;
巡检结果呈现。


5.一种光缆管线数据分析方法,所述方法基于权利要求1-4中任一项所述的光缆管线数据分析系统而实现,其特征在于,所述方法包括:
采集存量的光缆管线数据作为批处理数据分析基础以及录入业务数据作为实时数据分析的基础;
对所述存量的光缆管线数据...

【专利技术属性】
技术研发人员:李掣
申请(专利权)人:中国移动通信集团河北有限公司中国移动通信集团有限公司
类型:发明
国别省市:河北;13

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1