一种用于电力营销系统监控的数据处理系统和方法技术方案

本发明专利技术属于电力营销系统监控技术领域，具体涉及一种用于电力营销系统监控的数据处理系统和方法，数据处理系统包括实时采集探针监测模块、同步分析模块和监控告警模块；营销业务平台的多个节点都布设实时采集探针监测模块和同步分析模块；同步分析模块能够进行电力营销系统收费渠道内请求的结果分析、限流分析以及对实时元数据偏差值进行分析；本发明专利技术申请的优点和积极效果在于:(1)本发明专利技术摒弃了把实时数据写入到日志，再采集日志然后进行分析数据、处理数据的方式，产生实时数据时就进行计算处理，只把处理过有效的数据进一步分析；(2)充分利用各节点冗余的处理能力，省去了采购专门的存储和分析设备的投资。门的存储和分析设备的投资。门的存储和分析设备的投资。

【技术实现步骤摘要】
一种用于电力营销系统监控的数据处理系统和方法


[0001]本专利技术属于电力营销系统监控
，具体涉及一种用于电力营销系统监控的数据处理系统和方法。

技术介绍

[0002]在当今信息爆炸的时代，数据是企业管理决策的关键。而这些数据，往往需要通过不断地采集、存储、处理、分析才能被转化为有价值的信息。其中，日志数据是最为重要的一种数据类型之一，因为它包含了系统运行过程中的各种信息，如用户行为、操作日志、错误日志等。
[0003]日志采集方式是通过定期收集方式获取到日志文件，并将其存储在专门的存储和分析设备上。这种方式存在很多问题，例如对数据的分析存在滞后现象和无法及时发现问题；另外企业需要采购专门的存储和分析设备，设备投入成本高。

技术实现思路

[0004]本专利技术针对上述的问题，提供了一种用于电力营销系统监控的数据处理系统和方法。
[0005]为了达到上述目的，本专利技术采用的技术方案为：一种用于电力营销系统监控的数据处理系统，电力营销系统包括营销业务平台；数据处理系统包括实时采集探针监测模块、同步分析模块和监控告警模块；营销业务平台的多个节点都布设通信连接的所述实时采集探针监测模块和同步分析模块；所述实时采集探针监测模块能够采集电力营销系统收费渠道的实时元数据，所述实时元数据包括电力营销系统收费渠道内的请求；所述同步分析模块能够进行电力营销系统收费渠道内请求的结果分析、限流分析以及对实时采集探针监测模块采集的实时元数据偏差值进行分析；并将分析结果发送到监控告警模块；所述同步分析模块判断分析结果是否达到触发告警条件，如果达到触发告警条件将告警信息发送到监控告警模块；所述监控告警模块通过不同媒介进行通知告警。
[0006]作为优选,所述实时采集探针监测模块采集的实时元数据还包括渠道数据、接口数据、响应数据和耗时数据。
[0007]作为优选，所述同步分析模块把分析结果通过Netty长连接发送到监控告警模块。
[0008]作为优选，所述限流分析为同步分析模块收到实时采集探针监测模块采集的前置请求，计算每分钟的前置请求数量，根据令牌桶算法及配置数据判断是否限流；所述同步分析模块还能够进行耗时分析；所述耗时分析包括同步分析模块记录收到实时采集探针监测模块采集到前置请求的时间和营销业务平台针对所述前置请求返回响应数据的结束时间。
[0009]作为优选，经所述同步分析模块判断触发告警的分析结果包括请求结果异常、触发限流和实时数据偏差值超过阈值。
[0010]作为优选，经所述同步分析模块判断触发告警的请求结果异常包括未响应、解密失败、连接超时和响应超时。
[0011]一种用于电力营销系统监控的数据处理方法，利用所述的用于电力营销系统监控的数据处理系统对电力营销系统收费渠道的实时元数据进行处理，包括以下步骤：步骤一营销业务平台节点的所述实时采集探针监测模块接收到收费渠道内的请求，采集请求接口、请求数量、收到时间数据；所述同步分析模块把实时采集探针监测模块采集的实时元数据更新到本地Caffeine内存缓存中；步骤二所述同步分析模块进行限流分析，如果触发限流控制，根据缓存策略得出限流控制方式，所述限流控制方式包括进行告警、拒绝渠道请求或加入黑名单；如果未触发限流控制则进行下一步；如果请求过程中，出现营销业务平台未响应请求、解密失败、连接超时或响应超时，所述同步分析模块将请求结果异常实时更新到本地Caffeine内存缓存，并将请求结果异常告警信息发送到监控告警模块；步骤三所述同步分析模块根据缓存的周期数据和波动状态，计算标准差；如果标准差超过阈值，进行告警；如果标准差触发超量异常控制，直接拒绝渠道请求；如果标准差数据异常，写入到异常缓存中，不向缓存基数数据中写入；如果标准差数据正常，进行存储的基数数据的累积计算；步骤四所述同步分析模块把分析结果通过Netty长连接发送到监控告警模块；步骤五所述监控告警模块根据实时数据形成每个渠道、每个接口的监控大盘和流量曲线，并增加历史同期数据曲线对比，直观展现渠道和接口的健康状况；所述监控告警模块将告警信息通过不同媒介进行告警。
[0012]作为优选，所述步骤二中同步分析模块还进行耗时分析；所述步骤三中标准差计算用到的相关数据平均数根据存储的历史数据计算得出。
[0013]作为优选，所述步骤四中监控告警模块启用长连接服务端，在同步分析模块启用长连接客户端；同步分析模块产生的监控数据或告警数据，实时以流的方式传输到长连接服务端进行展示或处理。
[0014]作为优选，步骤五中所述不同媒介包括短信、邮件、微信和钉钉。
[0015]与现有技术相比，本专利技术申请的优点和积极效果在于：(1)本专利技术摒弃了把实时数据写入到日志，再采集日志然后进行分析数据、处理数据的方式，产生实时数据时就进行计算处理，只把处理过有效的数据进一步分析；(2)营销业务平台的多个节点都布设通信连接的所述实时采集探针监测模块和同步分析模块；充分利用各节点冗余的处理能力，省去了采购专门的存储和分析设备的投资；(3)同步分析模块把分析结果通过Netty长连接发送到监控告警模块；监控告警模块根据实时数据形成每个渠道、每个接口的监控大盘和流量曲线，并增加历史同期数据曲线对比，直观展现渠道和接口的健康状况；(4)同步分析模块能够进行电力营销系统收费渠道内请求的结果分析、限流分析以及对实时采集探针监测模块采集的实时元数据偏差值进行分析；并将分析结果发送到监控告警模块；监控告警模块将告警信息通过不同媒介进行告警。
附图说明
[0016]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍：图1为本专利技术用于电力营销系统监控的数据处理方法示意图。
具体实施方式
[0017]为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和实施例对本专利技术做进一步说明。
[0018]在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是，本专利技术还可以采用不同于在此描述的其他方式来实施，因此，本专利技术并不限于下面公开说明书的具体实施例的限制。
[0019]实施例1下面结合附图1对本专利技术作进一步的描述，一种用于电力营销系统监控的数据处理系统，电力营销系统包括营销业务平台；数据处理系统包括实时采集探针监测模块、同步分析模块和监控告警模块。
[0020]营销业务平台的多个节点(虚拟机的应用节点)都布设通信连接的实时采集探针监测模块和同步分析模块；实时采集探针监测模块能够采集电力营销系统收费渠道的实时元数据，实时元数据包括电力营销系统收费渠道内的请求。
[0021]同步分析模块能够进行电力营销系统收费渠道内请求的结果分析、限流分析以及对实时采集探针监测模块采集的实时元数据偏差值进行分析；并将分析结果发送到监控告警模块。
[0022]同步分析模块判断分析结果是否达到触发告警条件，如果达到触发告警条件将告警信息发送到监控告警模块；监控告警模块通过不同媒介进行通知告警。
[0023]实时采集探针监测模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于电力营销系统监控的数据处理系统，电力营销系统包括营销业务平台；其特征在于，数据处理系统包括实时采集探针监测模块、同步分析模块和监控告警模块；营销业务平台的多个节点都布设通信连接的所述实时采集探针监测模块和同步分析模块；所述实时采集探针监测模块能够采集电力营销系统收费渠道的实时元数据，所述实时元数据包括电力营销系统收费渠道内的请求；所述同步分析模块能够进行电力营销系统收费渠道内请求的结果分析、限流分析以及对实时采集探针监测模块采集的实时元数据偏差值进行分析；并将分析结果发送到监控告警模块；所述同步分析模块判断分析结果是否达到触发告警条件，如果达到触发告警条件将告警信息发送到监控告警模块；所述监控告警模块通过不同媒介进行通知告警。2.根据权利要求1所述的用于电力营销系统监控的数据处理系统，其特征在于,所述实时采集探针监测模块采集的实时元数据还包括渠道数据、接口数据、响应数据和耗时数据。3.根据权利要求2所述的用于电力营销系统监控的数据处理系统，其特征在于，所述同步分析模块把分析结果通过Netty长连接发送到监控告警模块。4.根据权利要求3所述的用于电力营销系统监控的数据处理系统，其特征在于，所述限流分析为同步分析模块收到实时采集探针监测模块采集的前置请求，计算每分钟的前置请求数量，根据令牌桶算法及配置数据判断是否限流；所述同步分析模块还能够进行耗时分析；所述耗时分析包括同步分析模块记录收到实时采集探针监测模块采集到前置请求的时间和营销业务平台针对所述前置请求返回响应数据的结束时间。5.根据权利要求4所述的用于电力营销系统监控的数据处理系统，其特征在于，经所述同步分析模块判断触发告警的分析结果包括请求结果异常、触发限流和实时数据偏差值超过阈值。6.根据权利要求5所述的用于电力营销系统监控的数据处理系统，其特征在于，经所述同步分析模块判断触发告警的请求结果异常包括未响应、解密失败、连接超时和响应超时。7.一种用于电力营销系统监控的数据处理方法，其特征在于，利用权利要求6所述的用于电力营...

【专利技术属性】
技术研发人员：任光海，李太焰，李守法，杨绍惠，郭雪景，杨云磊，郝继旭，刘鲁超，尚松松，刘宗炀，
申请(专利权)人：山东盛德智能科技股份有限公司，
类型：发明
国别省市：