数据处理方法、处理器、装置及存储介质制造方法及图纸

本申请涉及计算机技术领域，具体地，涉及一种数据处理方法、处理器、装置及存储介质。方法包括：获取针对每个数据接口配置的接口监控规则，并将接口监控规则保存至redis中；实时获取每个数据接口的日志数据，并将日志数据存储至消息队列；实时采用flink对消息队列中的日志数据进行消费，以得到每个数据接口的每条日志数据的日志数据流；实时消费redis中存储的接口监控规则，以得到每个数据接口的监控规则数据流；融合每个数据接口的日志数据流和监控规则数据流，以得到每个数据接口的融合数据流；根据融合数据流中包含的监控规则数据流对融合数据流进行分析，以得到每个数据接口的监控分析数据。通过对数据接口的日志数据进行实时分析，提高了管理效率。提高了管理效率。提高了管理效率。

【技术实现步骤摘要】
数据处理方法、处理器、装置及存储介质


[0001]本申请涉及计算机
，具体地，涉及一种数据处理方法、处理器、装置及存储介质。

技术介绍

[0002]在计算机
，随着各种大数据组件日臻完善，大部分组件都可以对外提供数据查询功能，供应用层进行数据访问，为了对数据安全和权限进行有效管控，现在大数据治理平台都会集成数据服务平台，由于大数据接口服务一般数据量大，对接口传输数据有很高的要求，为了保障服务质量和避免接口超时，需要对数据服务平台纳管的接口进行有效的管理和监控。
[0003]现有技术中，主要通过ELK(Elasticsearch+Logstash+Kabana)技术方案，对数据服务纳管的接口运行日志进行采集，存储到索引数据库Elasticsearch，最后通过Kabana进行日主数据的展示，当数据服务有问题时，运维人员通过kabana进行日志的巡检和检查，发现出问题的原因，然后进行手动运维，解决问题；这是一种被动的解决问题的方式，当服务不可用和数据延迟时，会影响客户应用系统的正常运行。

技术实现思路

[0004]本申请的目的是提供一种对日志数据进行实时监控分析的数据处理方法、处理器、装置及存储介质。
[0005]为了实现上述目的，本申请提供一种数据处理方法，应用于数据服务平台，数据处理方法包括：
[0006]获取针对每个数据接口配置的接口监控规则，并将接口监控规则保存至redis中；
[0007]实时获取每个数据接口的日志数据，并将日志数据存储至消息队列；r/>[0008]实时采用flink对消息队列中的日志数据进行消费，以得到每个数据接口的每条日志数据的日志数据流；
[0009]实时消费redis中存储的接口监控规则，以得到每个数据接口的监控规则数据流；
[0010]融合每个数据接口的日志数据流和监控规则数据流，以得到每个数据接口的融合数据流；
[0011]根据融合数据流中包含的监控规则数据流对融合数据流进行分析，以得到每个数据接口的监控分析数据。
[0012]在本申请的实施例中，接口监控规则包括监控时间周期，数据处理方法还包括：在获取针对每个数据接口配置的接口监控规则后，根据每个数据接口的监控时间周期确定所有数据接口的监控时间周期的最大公约数；将最大公约数确定为针对日志数据的检测窗口的检测时间长度；其中，在通过检测窗口对融合数据流中的日志数据流进行分析时，按照检测时间长度将日志数据流切分成多个子日志数据流，并得到与每个子日志数据流的日志检测结果。
[0013]在本申请的实施例中，实时采用flink对消息队列中的日志数据进行消费，以得到每个数据接口的每条日志数据的日志数据流包括：对每个数据接口的日志数据进行检测，以确定任意一个数据接口在检测时间长度内是否发生真实日志数据缺失的情况；在发生真实日志数据缺失的情况下，生成预设数量的模拟日志数据，以对缺失真实日志数据的数据接口的日志数据进行补充，从而得到每个数据接口的每条日志数据的日志数据流。
[0014]在本申请的实施例中，根据融合数据流中包含的监控规则数据流确定针对融合数据流的分析规则，以得到每个数据接口的监控分析数据包括：将融合数据流传输至检测窗口，以确定每个子日志数据流的数据传输成功率，并将数据传输成功率存储至环形队列；根据融合数据流中包含的监控规则数据流确定每个数据接口的监控时间周期；针对每个数据接口，确定达到数据接口的监控时间周期所需的检测时间长度的第一数量；针对每个数据接口，从环形队列中按照时间的先后顺序选取数据接口对应的第一数量的子日志数据流的数据传输成功率；针对每个数据接口，根据第一数量的子日志数据流的数据传输成功率确定数据接口的监控分析数据。
[0015]在本申请的实施例中，接口监控规则包括在每个监控时间周期的成功率范围，针对每个数据接口，根据第一数量的子日志数据流的数据传输成功率确定数据接口的监控分析数据包括：确定第一数量的子日志数据流的数据传输成功率的平均值；在平均值处于成功率范围内的情况下，确定数据接口对应的日志数据流符合数据接口的接口监控规则；在平均值未处于成功率范围内的情况下，确定数据接口对应的日志数据流不符合数据接口的接口监控规则。
[0016]在本申请的实施例中，数据处理方法还包括：在确定数据接口对应的日志数据流符合数据接口的接口监控规则情况下，获取针对数据接口的反馈信息；在反馈信息为传输异常的情况下，确定接口监控规则待修改；在反馈信息为传输正常的情况下，确定数据接口的数据传输正常。
[0017]在本申请的实施例中，实时消费redis中存储的接口监控规则，以得到每个数据接口的监控规则数据流包括：确定接口监控规则待修改后，在获取到更新后的接口监控规则的情况下，将更新后的接口监控规则在flink集群中进行实时广播，以对更新前的接口监控规则进行覆盖。
[0018]本申请第二方面提供一种处理器，被配置成执行上述任意一项的数据处理方法。
[0019]本申请第三方面提供了一种数据处理装置，包括上述的处理器。
[0020]本申请第四方面提供了一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得处理器被配置成执行根据上述任意一项的数据处理方法。
[0021]通过上述技术方案，可以通过实时获取数据接口的日志数据，通过flink对日志数据和数据接口的接口监控规则进行融合分析，实时获取每个数据接口的监控分析数据，从而对海量大数据的服务接口的传输情况进行实时监控，并及时对传输过程中产生的问题进行排查，提高了管理效率。
[0022]本申请的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0023]附图是用来提供对本申请的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请，但并不构成对本申请的限制。在附图中：
[0024]图1示意性示出了根据本申请实施例的数据处理方法的流程示意图；
[0025]图2示意性示出了根据本申请实施例的计算机设备的内部结构图。
具体实施方式
[0026]以下结合附图对本申请的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请，并不用于限制本申请。
[0027]需要说明，若本申请实施例中有涉及方向性指示(诸如上、下、左、右、前、后
……
)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
[0028]另外，若本申请实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于数据服务平台，所述数据处理方法包括：获取针对每个数据接口配置的接口监控规则，并将所述接口监控规则保存至redis中；实时获取每个数据接口的日志数据，并将所述日志数据存储至消息队列；实时采用flink对所述消息队列中的日志数据进行消费，以得到每个数据接口的每条日志数据的日志数据流；实时消费所述redis中存储的接口监控规则，以得到每个数据接口的监控规则数据流；融合每个数据接口的日志数据流和监控规则数据流，以得到每个数据接口的融合数据流；根据所述融合数据流中包含的监控规则数据流对所述融合数据流进行分析，以得到每个数据接口的监控分析数据。2.根据权利要求1所述的数据处理方法，其特征在于，所述接口监控规则包括监控时间周期，所述数据处理方法还包括：在获取针对每个数据接口配置的接口监控规则后，根据每个数据接口的监控时间周期确定所有数据接口的监控时间周期的最大公约数；将所述最大公约数确定为针对所述日志数据的检测窗口的检测时间长度；其中，在通过所述检测窗口对所述融合数据流中的日志数据流进行分析时，按照所述检测时间长度将所述日志数据流切分成多个子日志数据流，并得到与每个子日志数据流的日志检测结果。3.根据权利要求2所述的数据处理方法，其特征在于，所述实时采用flink对所述消息队列中的日志数据进行消费，以得到每个数据接口的每条日志数据的日志数据流包括：对每个数据接口的日志数据进行检测，以确定任意一个数据接口在所述检测时间长度内是否发生真实日志数据缺失的情况；在发生真实日志数据缺失的情况下，生成预设数量的模拟日志数据，以对缺失真实日志数据的数据接口的日志数据进行补充，从而得到每个数据接口的每条日志数据的日志数据流。4.根据权利要求3所述的数据处理方法，其特征在于，所述根据所述融合数据流中包含的监控规则数据流确定针对所述融合数据流的分析规则，以得到每个数据接口的监控分析数据包括：将所述融合数据流传输至检测窗口，以确定每个子日志数据流的数据传输成功率，并将所述数据传输成功率存储至环形队列；根据所述融合数据流中包含的监控规则...

【专利技术属性】
技术研发人员：路培杰，刘文虎，张超，王鑫鹏，俞笛，
申请(专利权)人：中科云谷科技有限公司，
类型：发明
国别省市：