一种信息通信运行主动辅助决策的方法技术

本发明专利技术公开了一种信息通信运行主动辅助决策的方法，包括基于数据挖掘，对信息通信运行的实时数据流进行处理；根据处理后的数据，对信息通信运行进行故障根源定位；通过所述故障根源定位，对信息通信运行进行决策。因此，本发明专利技术所述信息通信运行主动辅助决策的方法能够对信息通信的运行起到主动辅助决策的作用。

A method of active assistant decision making for information communication operation

The invention discloses a method for information communication operation and active decision support, including based on data mining, processing of real time data communication operation flow; according to the processed data, the fault location of the source of information and communication operation; through the fault location, make decisions on the operation of information communication. Therefore, the method of active assistant decision-making of information communication in the invention can play an active auxiliary decision-making role in the operation of information communication.

【技术实现步骤摘要】

本专利技术涉及通信
，特别是指一种信息通信运行主动辅助决策的方法。
技术介绍
目前，通信技术在各行各业都广泛的应用。随着通信技术的不断发展，越来越注重信息通信的在运行过程中的决策。但是，在现有技术中还不能够系统、完整的对信息通信的运行进行辅助决策。
技术实现思路
有鉴于此，本专利技术的目的在于提出一种信息通信运行主动辅助决策的方法，能够对信息通信的运行起到主动辅助决策的作用。基于上述目的本专利技术提供的信息通信运行主动辅助决策的方法，包括：基于数据挖掘，对信息通信运行的实时数据流进行处理；根据处理后的数据，对信息通信运行进行故障根源定位；通过所述故障根源定位，对信息通信运行进行决策。在本专利技术的一些实施例中，所述基于数据挖掘对信息通信运行的实时数据流进行处理，包括：从前端业务系统获取数据；对数据进行实时处理并传入数据落地层；对数据进行挖掘处理。在本专利技术的一些实施例中，所述从前端业务系统获取数据的方式使用消息队列，直接通过网络Socket传输数据，前端业务系统专有数据采集API，对Log问价定时监控。在本专利技术的一些实施例中，所述对数据进行实时处理并传入数据落地层时，采用的数据实时处理方法为ApacheStorm、ApacheSparkStreaming或者ApacheSamza。在本专利技术的一些实施例中，所述数据落地层对接收到的数据进行挖掘时，采用WEKA、RapidMiner、NLTK、Orange、KNIME或R-Programming。在本专利技术的一些实施例中，所述对信息通信运行进行故障根源定位之前，还包括：对信息通信运行的数据需要进行数据清洗，其中所述数据清洗包括根据每个变量的合理取值范围和相互关系，检查数据是否合乎要求，发现超出正常范围、逻辑上不合理或者相互矛盾的数据的一致性检查；包括对无效值和缺失值记性估算，整例删除，变量删除和成对删除。在本专利技术的一些实施例中，所述数据清洗之后，还包括：进行数据压缩和数据归并，其中当业务数据急剧上涨，海量的冷数据、老数据需要被压缩，则采用HDFS集群的数据压缩；数据归并是指在对挖掘任务和数据本身内容理解的基础上、获得依赖于发现目标的数据的有用特征。在本专利技术的一些实施例中，所述数据归并的类型是特征归并、样本归并和特征值归并。附图说明图1为本专利技术实施例信息通信运行主动辅助决策的方法的流程示意。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。参阅图1所示，为本专利技术实施例信息通信运行主动辅助决策的方法的流程示意图，所述信息通信运行主动辅助决策的方法包括：步骤101，基于数据挖掘，对信息通信运行的实时数据流进行处理。在实施例中，运维数据是指在业务运行期间，通过各种途径产生的用于运维分析的实时数据和历史数据。这些数据的特点使得其需要以流处理的方式提高实时处理效率，而且以海量的存储达到历史数据分析挖掘的目的。其中，整个数据流处理过程可以包括：第一步：从前端业务系统获取数据。较佳地，有多种数据收集方式，包括使用消息队列(MetaQ)，直接通过网络Socket传输数据，前端业务系统专有数据采集API，对Log问价定时监控。(注：有时候我们的数据源是已经保存下来的log文件，那Agent就必须监控Log文件的变化，及时将变化部分的数据提取写入流处理中，这很难做到完全实时性。)。根据前面的调研结果，也可以用实时抓包分析的方式收集数据，并且这种方式能获取完整的并且实时性高的业务数据。第二步：对数据进行实时处理并传入数据落地层。较佳地，可以采用的数据实时处理方法为：ApacheStorm是一个免费开源、分布式、高容错的实时计算系统。它与其他大数据解决方案的不同之处在于它的处理方式。Hadoop在本质上是一个批处理系统，数据被引入Hadoop文件系统(HDFS)并分发到各个节点进行处理。当处理完成时，结果数据返回到HDFS供始发者使用。Hadoop的高吞吐，海量数据处理的能力使得人们可以方便地处理海量数据。但是，Hadoop的缺点也和它的优点同样鲜明——延迟大，响应缓慢，运维复杂。Storm就是为了弥补Hadoop的实时性为目标而被创造出来。Storm支持创建拓扑结构来转换没有终点的数据流。不同于Hadoop作业，这些转换从不停止，它们会持续处理到达的数据。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。Storm的部署管理非常简单，而且，在同类的流式计算工具，Storm的性能也是非常出众的。ApacheStorm类似于MapReduce降低了并行批处理复杂性，Storm降低了进行实时处理的复杂性。另外，ApacheStorm可以使用各种编程语言，在Storm之上使用各种编程语言。默认支持Clojure、Java、Ruby和Python。要增加对其他语言的支持，只需实现一个简单的Storm通信协议即可。同时，ApacheStorm会管理工作进程和节点的故障。模块都是无状态的，随时宕机重启。由于是分布式，一个节点挂了不能影响系统的正常运行。并且，ApacheStorm计算是在多个线程、进程和服务器之间并行进行的。保证每个消息至少能得到一次完整处理，任务失败时它会负责从消息源重试消息。消息能得到快速的处理，使用ZeroMQ(新的消息机制使用netty代替ZeroMQ)作为其底层消息队列。还有，ApacheStorm有一个“本地模式”，可以在处理过程中完全模拟Storm集群，可以快速进行开发和单元测试。可以用来处理源源不断流进来的消息，处理之后将结果写入到某个存储中去。由于ApacheStorm的处理组件是分布式的，而且处理延迟极低，所以可以作为一个通用的分布式rpc框架来使用。较佳地，可以采用的数据实时处理方法为：ApacheSparkStreaming类似于ApacheStorm，用于流式数据的处理。根据其官方文档介绍，SparkStreaming有高吞吐量和容错能力强这两个特点。SparkStreaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象原语如：map、reduce、join、window等进行运算。而结果也能保存在很多地方，如HDFS，数据库等。另外SparkStreaming也能和MLlib(机器学习)以及Graphx完美融合。在ApacheSparkStreaming中，处理数据的单位是一批而不是单条，而数据采集却是逐条进行的，因此SparkStreaming系统需要设置间隔使得数据汇总到一定的量后再一并操作，这个间隔就是批处理间隔。批处理间隔是SparkStreaming的核心概念和关键参数，它决定了SparkStreaming提交作业的频率和数据处理的延迟，同时也影响着数据处理的吞吐量和性能。较佳地，可以采用的数据实时处理方法为：ApacheSamza，Apa本文档来自技高网...

【技术保护点】
一种信息通信运行主动辅助决策的方法，其特征在于，包括：基于数据挖掘，对信息通信运行的实时数据流进行处理；根据处理后的数据，对信息通信运行进行故障根源定位；通过所述故障根源定位，对信息通信运行进行决策。

【技术特征摘要】
1.一种信息通信运行主动辅助决策的方法，其特征在于，包括：基于数据挖掘，对信息通信运行的实时数据流进行处理；根据处理后的数据，对信息通信运行进行故障根源定位；通过所述故障根源定位，对信息通信运行进行决策。2.根据权利要求1所述的方法，其特征在于，所述基于数据挖掘对信息通信运行的实时数据流进行处理，包括：从前端业务系统获取数据；对数据进行实时处理并传入数据落地层；对数据进行挖掘处理。3.根据权利要求2所述的方法，其特征在于，所述从前端业务系统获取数据的方式使用消息队列，直接通过网络Socket传输数据，前端业务系统专有数据采集API，对Log问价定时监控。4.根据权利要求2所述的方法，其特征在于，所述对数据进行实时处理并传入数据落地层时，采用的数据实时处理方法为ApacheStorm、ApacheSparkStreaming或者ApacheSamza。5.根据权利要求4所述的方法，其特征在于，所述数据落地层...

【专利技术属性】
技术研发人员：李敏，王国欢，殷平，孙欣，于仕，李炜，江虹，
申请(专利权)人：国网江西省电力公司信息通信分公司，国家电网公司，
类型：发明
国别省市：江西;36