移动网故障隐患智能定位系统技术方案

移动网故障隐患智能定位系统的目的在于，利用大数据实时处理、机器学习技术等技术，实现全自动的运营商网络故障定位功能。通过可视化界面来配置定义处理流程和判断规则，将运维人员的经验固化到系统中，在提高系统灵活性的同时也使系统具备基础的判断智能。通过机器学习使系统具备主动学习和自动更新的功能。通过实时计算使系统具备秒级或分钟级的快速精准的响应能力。

【技术实现步骤摘要】

移动通信软件开发人工智能机器学习大数据处理技术。
技术介绍
近年来随着移动互联网手机用户的快速发展，2/3/4G网络规模和业务量随之迅速膨胀，由于手机用户往往是随时随地都在上网，而且流量资费也比较高，因此手机用户比固定宽带用户更加敏感网络质量，而且在网络发生故障时手机用户的投诉也更加及时和激烈，这无疑对移动运营商提供的网络服务质量提出了更高的保障要求。然而，网络规模的快速发展必然造成网络调整和工程量不断、网络设备数激增、网络结构更加复杂化，要确保网络设备全天候运行稳定对每一个移动运营商的维护人员都不是一件容易的事情！而且随着网络结构的复杂化，发生故障时，维护人员往往需要消耗大量的时间在故障定位上，虽然目前运营商已有一些自动化手段实现告警推送，但对于汇聚网元(如：DNS、CE、FW、SW、AR、BR)故障定位的时间往往占故障处理总时长的70％以上，经常出现过重大故障定位时间超过1个小时，用户投诉一小时数万宗的情况，给运营商带来极大的经济损失。汇聚网元在出故障或人为数据定义错误的时候通常影响面大且没有告警可以参考，定位故障点时，需人工结合网络拓扑和各种网元设备的多个甚至几十个性能指标进行经验性判断分析，给出最可疑的网元节点，再针对性排查分析最终找到故障点，因此，故障定位效率较低，对维护人员经验和能力依赖性大。而对于运营商来讲，培养一个网络维护专家至少要5年的工作经验沉淀，单是人才培养成本至少1人100万以上。为让移动运营商减少网络故障投诉量、提高客户满意度，就必须帮助移动运营商解决网络故障定位难的问题，提升网络故障隐患处理速度。为此，本专利技术提出将网络性能指标异动情况、网管统计等动态数据与网络拓扑等静态信息关联整合，采用大数据处理技术，将维护人员的故障处理维护经验(知识库)映射固化到系统中，建立一套5分钟内快速精准的故障隐患智能定位系统(IntelligentFailureLocatingSystem)，实现“先于用户发现问题，先于投诉解决问题”的目标。随着网络的升级发展，网络维护方式也在不断演进，从拼人力的人工时代经过维护人员的努力，已经成功向自动化时代转变，目前已经有大批的系统予以支撑，给精细化维护提供了条件和基础。但是在数据业务不断发展的今天，现有的自动化手段同样面临挑战——先于用户发现问题，先于投诉解决问题。网络维护亟需借助大数据技术，探索从自动化向智能化时代演进之路，以顺应网络的发展。维护能力的智能化可以明显提升网络设备故障、隐患和用户投诉的处理效率。随着网络的不断发展和扩容，新网络通信技术的加入，势必会对本系统带来新的挑战。因此，基于大数据技术的移动网故障隐患智能定位系统需要具备一定自动学习能力和便捷的人机交互模式(方便调整网络拓扑配置)，不断维持系统的“学习成长”。
技术实现思路
本专利技术的目的在于，利用大数据实时处理、机器学习技术等技术，实现全自动的运营商网络故障定位功能。通过可视化界面来配置定义处理流程和判断规则，将运维人员的经验固化到系统中，在提高系统灵活性的同时也使系统具备基础的判断智能。通过机器学习使系统具备主动学习和自动更新的功能。通过实时计算使系统具备秒级或分钟级的快速精准的响应能力。1.大数据指标计算利用信令数据或信令数据衍生物作为数据源，通过实时流计算引擎源源不断地读取数据，然后在通用的大数据实时处理平台上，通过针对行业业务优化的特定算法进行拆解，分组，汇总生成各类指标，供后续的智能定位分析模块使用。2.智能定位分析智能定位分析包括运维人员经验的映射固化和机器学习。前者是通过灵活的配置界面，将人工的处理和判断流程映射到机器中，从而使机器具备运维人员的大部分处理能力，节省时间和金钱。后者则是采用人工智能技术，让机器从历史数据中学习故障判断规则，并在生产过程中不断提升和优化判断能力。【附图说明】附图1是故障智能定位总体架构图附图2是实时计算平台处理流程图附图3是智能定位分析处理流程图附图4是故障判断规则机器学习流程图【具体实施方式】1.采用实时计算框架和消息队列批处理的做法是先收集齐大量数据，然后再集中处理。实时计算(也称作流处理)的做法则是持续接收消息(消息是由事件产生的)，每个消息被接收后都会被立刻处理。这种做法的好处是能够及时处理数据。批处理和流式处理的区别类似于手扶梯与升降梯载人方式的的关系。“消息”是数据传输中的数据单位。“消息队列”是在消息的传输过程中保存消息的容器。消息队列管理器在将消息从它的源中继到它的目标时充当中间人。实时计算系统常常采用消息队列作为其接收源数据的手段，同时在实时计算系统内部也大量采用消息队列在各个处理环节之间传递数据。在故障隐患定位系统中采用消息队列，源数据通过网络直接送达实时系统进行处理，没有经过数据库，这种做法能有效提高实时性。2.采用横向扩展框架所谓横向扩展，是指当一个集群的处理能力不能满足要求时，只要增加一些新的节点，集群的能力就能得到有效的提升(例如呈线性提升)。由于硬件性能的限制，纵向扩展(Scaleup)的程度是有限。但采用集群方式，横向扩展的空间可以很大。3.人工经验映射固化人工经验映射固化主要包括流程定义和判断规则配置。一成不变的流程和判断规则是无法适应情势的变化的，我们提供一个灵活实用的流程定义引擎和一个能满足绝大部分行业生产需求的规则引擎，当业务场景变化或者有新需求时，只需变更引擎配置，就能改变系统功能，不需要修改代码。4.机器学习所谓机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。通过机器学习，可以从网元历史指标中发掘出人的经验以外的其他的规律，这些机器发现的新规律，可以自动更新到实时计算平台的算法配置规则中，从而使实时计算平台具备更丰富的判断能力，同时也节省了大量的人力投入。【技术方案】利用优化开源的storm实时流处理技术结合kafka消息队列来实现可配置化的网络数据指标分析功能，总体架构方案图见说明书附图1。1.实时计算平台原始清单作为输入，数据会经过如下步骤：a.清洗过滤单元：该单元主要将数据进行清洗，清除一些垃圾数据，并且过滤掉不符合条件的数据。b.关联分析单元：该单元主要将需要关联的数据根据一定的关联规则进行参数关联，得到真正要统计的维度名称。c.分组汇聚单元：则将要统计的维度值进行分组预处理，预处理完成后相同的维度值将被本文档来自技高网...

【技术保护点】
一种利用大数据解决方案来智能定位移动网网元故障隐患。通过实时运算平台和机器学习引擎来实现故障定位。

【技术特征摘要】
1.一种利用大数据解决方案来智能定位移动网网元故障隐患。通过实时运算平台和机
器学习引擎来实现故障定位。
2.如权利要求1所述的实时计算平台，其特征在于利用实时流处理技术将网络信令数
据(或网络信令衍生数据)进行实时采集并流入实时运算平台，实时计算平台将对流数据进
行拆解，过滤，关联，分组，汇总等处理后形成特定周期的统计数据，将当前周期的统计数据
跟上个周期(或一段周期内)的数据根据特定算法流程进行对比，获取到数据异动情况。实
时计算平台还用于根据机器学习的训练结果进行分类判断，以支持实时判断功能。
3.如权...

【专利技术属性】
技术研发人员：蔡群，陈琛，
申请(专利权)人：广州衡昊数据科技有限公司，
类型：发明
国别省市：广东;44