基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统技术方案

本发明专利技术公开的一种基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统中，分析处理模块运用多源异构数据融合技术对实时数据进行预处理、归一化、相关性分析之后，通过模型匹配来输出结果，通过根因分析确定问题的根本原因；模型管理模块，用于获取数据进行机器学习，输出各种推理模型到分析处理模块和推荐决策模块；推荐决策模块，通过上下文识别，并根据策略匹配对应的后续处理行为。本发明专利技术基于多源异构数据融合技术、机器学习的运维方式，兼顾了大数据的兼容性问题，提升了运维的自动化程度，保证网络安全和服务质量，同时具备一定的预测能力，降低相关运维成本；而客服机器人的结果输出模式，进一步实现运维的智能化。

【技术实现步骤摘要】
基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统
本专利技术涉及一种智能运维分析系统，具体涉及一种基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统。
技术介绍
传统IT系统运维过程中，故障预警、故障排查等是非常重要但费时费力的工作，常用的运维方式通常可以从高层抽象为4个过程：被运维对象建模、性能告警监控、对于收到的数据进行分析后再通过专家经验进行决策、最后通过配置脚本下发控制到被运维对象上。这个过程中，多数自动化措施和相关工具都是采用规则的方式实施，这种规则类似第一代人工智能中的规则，通过其来达到管理系统的自动化运维。例如告警的过滤规则、性能管理中的QoS规则、自组织网络中的ANR(自动相邻小区关系配置规则)。这里设置的规则都是专家经验的积累，被设置到软件系统中，用来达到自动化运维的目标。此处的规则就是在不同场景的运维过程中由维护人员定义符合本场景需求的各种事件、行为之间的逻辑关系，然后软件依照这种现场定义的逻辑关系来运行，提高运维的自动化程度。但是规则设置的方式存在几个缺陷：首先我们这个逻辑过程不能太复杂，否则只能用代码实现，而为了灵活性，又希望在现场直接定义，这样就产生了矛盾；其次这个规则在少量节点的时候比较好定义，但是如果存在大量节点，需要定义几万、几十万个规则，就非常困难；最后对于大型的开放网络，往往存在一定的生态性，即运维人员不知道什么时候在这个网络中会产生一个新的角色，这个角色会和其他角色产生什么关系，所以等到产生问题，再来设置规则监控时，往往损失已经发生，这类典型的问题就是金融风控问题。智能运维是基于机器学习和深度学习的运维方式，其通过对运维数据的学习，能自行生成各种规则用于自动监控网络异常，分析网络异常事件原因，选择网络优化和愈合行为；且随着网络运行质量和网络拓扑的变化，原有的各种运维规则能进行自我演进来适合当前网络的状况。智能运维是云计算、大数据、人工智能技术在运维领域的综合性应用，即云计算为各种日志大数据提供了采集、存贮与计算能力，人工智能技术提供了结合行业知识将运维问题转化为大数据分析建模的能力。因此，在大数据场景下，运维向智能化发展是一个重要趋势：基于对业务运维系统的理解，对积累的大量日志数据进行机器学习的算法建模，实现自动发现问题、分析问题、提前预判问题等多种功能，起到辅助运维人员，最终降低系统成本、提升运维效率的效果。同时，运维数据是异构、多源、多模的，日志数据、用户数据、网络数据、文本数据、图像/视频数据和位置数据等多种类型的数据，和不同设备、不用业务、不同层次、不同用户的数据如何融合使用，发挥出更大的成效是面临的重要挑战。随着通讯软件的不断开发和利用，运维客服中心所面对的客户咨询方式也在不断的增多，如QQ、微信以及短信等咨询方式都逐渐被客户运用到运维业务的咨询中，与此同时，客户咨询的问题也逐渐变得专业化和客观化，如果不能有效的建立运维行业的多种高效服务模式，就会面临客户所咨询的问题得不到及时、准确以及高效解答的问题。而以领域知识库建设为核心工作并通过文本或语音等方式交互的智能客服机器人系统则可以有效的和多渠道的客户服务中心做整合，在大幅缩减客服成本的同时能够有效减少人工成本、增强用户体验，从而提升服务的质量和企业创新的品牌形象。
技术实现思路
本专利技术的目的是克服上述现有技术的缺点，提供一种能够深度学习、具有预测功能、自动修复功能的基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统。本专利技术是通过以下技术方案来实现的：基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统，包括分析处理模块、模型管理模块、推荐决策模块、校验应用模块，其特征在于：所述分析处理模块，是运用多源异构数据融合技术对生产环境的实时数据进行预处理、归一化、相关性分析之后，通过模型匹配来输出结果，所述结果包含系统内部的各种异常、网络关键事件的各种预测结果，通过根因分析输出某一个特殊事件的上下文，通过所述上下文确定问题的根本原因；所述预处理是指对各种异构日志数据进行解析、转换、清洗、规约操作，完成数据使用前的必要处理及数据质量保证；所述分析处理，主要包括流式计算处理框架Spark、离线批处理MR框架、人工智能计算框架、数据存储及检索引擎；所述输出结果包括通过客服机器人来输出结果。所述模型管理模块，用于获取历史数据，进行机器学习，输出各种推理模型，其中输出上下文识别、预测、异常检测模型到所述分析处理模块进行分析处理，输出上下文处理、输出策略、规则模型到推荐决策模块用于自动化闭环运维；所述机器学习包括离线的机器学习训练平台、算法框架和模型；所述推荐决策模块，通过基于分析处理的上下文识别来确定当前事件所处的环境之后，根据策略匹配对应的后续处理行为，而行为列表则是基于用户的维护习惯学习得来，通过这样的方式，达到自动运维；所述校验应用模块，通过各种规则对自动运维的结果进行业务监控，防止整个自动运维跑偏。进一步的，所述多源异构数据融合技术是在不改变原始数据的存储和管理方式下，对多源异构数据进行逻辑整合。进一步的，所述多源异构数据融合技术是将数量巨大的运维指标数据抽象为时序数据，并存储至时间序列数据库，实现运维数据的快速存储和查询。进一步的，所述多源异构数据融合技术是将数量巨大的运维指标数据抽象成时间和空间两个维度，形成数据矩阵，以利于后续的管理和应用。进一步的，所述机器学习是机器聚类学习，通过机器聚类学习在一些随机事件中把属于同一类别的事件进行归类；然后通过异常事件之间的相关性分析，来发现这些事件的相关性；通过异常服务和事件贡献度的分析，找到导致异常服务的具体网络事件；通过全链路调用挖掘发现不同组件、拓扑对象之间的关系，结合前面的分析，找到故障传播链；将对于事件的预测成为事件异常检测的一种手段，如果发现检测的值相离预测值较远，则认为是异常。进一步的，所述机器学习的算法是日志智能聚合算法，通过对运维数据进行聚类分析，计算日志之间的距离以及正则模式的匹配，将数据进行无损压缩，提取出日志数据的模式，快速去除日志噪音，使运维人员快速定位到异常信息，进行事故根源分析；提取出的模式可以通过记录其特征值，加入每日、每小时的监控中，利用日志比较算法记录各个模式的异常信息的实际变化，应用到运维变更后，监控各个模式的增减，及时发现系统异常情况。进一步的，所述模型管理模块通过对每种容量指标分别设置模型参数，并综合运用ARMA和GARCH预测模型，对容量指标进行短期和长期预测；通过预测误差分析和参数修正流程，同时学习容量指标的历史数据和新产生数据，及时调整预测模型的参数组合，适应指标数据的发展变化，不断提高模型预测准确度。进一步的，所述模型管理模块中引入动态基线预警模型，运维人员只需统一设置不同的预警阈值，就可以通过所述动态基线预警模型自动采取动态平均、动态同比和动态环比不同算法，达到不同时间段、不同流量场景、不同系统负载下的统一阈值预警，实现智能自动化的预警效果。进一步的，所述客服机器人包括通过机器学习不断搭建和完善机器人知识库、进行后台数据分析及反馈。进一步的，所述客服机器人具有基于机器学习的语音处理系统。。本专利技术是基于机器学习的运维方式，通过对运维数据的学习，能自行生成各种规则用于自动监控网本文档来自技高网...

【技术保护点】
1.基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统，其特征在于，包括分析处理模块、模型管理模块、推荐决策模块、校验应用模块：所述分析处理模块，运用多源异构数据融合技术对生产环境的实时数据进行预处理、归一化、相关性分析；再通过模型匹配来输出结果，所述结果包含系统内部的各种异常、网络关键事件的各种预测结果；然后通过根因分析输出某一个特殊事件的上下文，通过所述上下文确定问题的根本原因；所述预处理是指对各种异构日志数据进行解析、转换、清洗、规约操作，完成数据使用前的必要处理及数据质量保证；所述分析处理，主要包括流式计算处理框架Spark、离线批处理MR框架、人工智能计算框架、数据存储及检索引擎；所述输出结果包括通过客服机器人来输出结果；所述模型管理模块，用于获取历史数据，进行机器学习，输出各种推理模型，其中，输出上下文识别、预测、异常检测模型到所述分析处理模块进行分析处理，输出上下文处理、输出策略、规则模型到推荐决策模块用于自动化闭环运维；所述机器学习包括离线的机器学习训练平台、算法框架和模型；所述推荐决策模块，通过基于分析处理的上下文识别来确定当前事件所处的环境之后，根据策略匹配对应的后续处理行为，而行为列表则是基于用户的维护习惯学习得来，通过这样的方式，达到自动运维；所述校验应用模块，通过各种规则对自动运维的结果进行业务监控，防止整个自动运维跑偏。...

【技术特征摘要】
1.基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统，其特征在于，包括分析处理模块、模型管理模块、推荐决策模块、校验应用模块：所述分析处理模块，运用多源异构数据融合技术对生产环境的实时数据进行预处理、归一化、相关性分析；再通过模型匹配来输出结果，所述结果包含系统内部的各种异常、网络关键事件的各种预测结果；然后通过根因分析输出某一个特殊事件的上下文，通过所述上下文确定问题的根本原因；所述预处理是指对各种异构日志数据进行解析、转换、清洗、规约操作，完成数据使用前的必要处理及数据质量保证；所述分析处理，主要包括流式计算处理框架Spark、离线批处理MR框架、人工智能计算框架、数据存储及检索引擎；所述输出结果包括通过客服机器人来输出结果；所述模型管理模块，用于获取历史数据，进行机器学习，输出各种推理模型，其中，输出上下文识别、预测、异常检测模型到所述分析处理模块进行分析处理，输出上下文处理、输出策略、规则模型到推荐决策模块用于自动化闭环运维；所述机器学习包括离线的机器学习训练平台、算法框架和模型；所述推荐决策模块，通过基于分析处理的上下文识别来确定当前事件所处的环境之后，根据策略匹配对应的后续处理行为，而行为列表则是基于用户的维护习惯学习得来，通过这样的方式，达到自动运维；所述校验应用模块，通过各种规则对自动运维的结果进行业务监控，防止整个自动运维跑偏。2.根据权利要求1所述的基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统，其特征在于，所述多源异构数据融合技术是在不改变原始数据的存储和管理方式下，对多源异构数据进行逻辑整合。3.根据权利要求1或2所述的基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统，其特征在于，所述多源异构数据融合技术是将数量巨大的运维指标数据抽象为时序数据，并存储至时间序列数据库，实现运维数据的快速存储和查询。4.根据权利要求1或2所述的基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统，其特征在于，所述多源异构数据融合技术是将数量巨大的运维指标数据抽象成时间和空间两个维度，形成数据矩阵，以利于后续的管理和应用。5.根据权利要求1所述的基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统，...

【专利技术属性】
技术研发人员：秦爱民，
申请(专利权)人：金税信息技术服务股份有限公司，
类型：发明
国别省市：广东,44