数据处理方法和电子设备技术

本申请实施例提供了一种数据处理方法和电子设备，该方法包括：确定历史平均生产速率，历史平均生产速率表征电子设备在历史时间段内获取初始数据的平均速率；确定预设的最大生产速率和历史平均生产速率的比值，得到第一比值；根据第一比值，确定多个预设采样率中是否存在临时采样率，临时采样率为多个预设采样率中小于第一比值的采样率中最大的一个，预设采样率大于0且小于或等于1；若存在临时采样率，则根据临时采样率确定目标采样率；若不存在临时采样率，则将预设值确定为目标采样率，预设值大于或等于0且小于1；根据目标采样率对获取的初始数据进行采样。该方法能够减少数据堆积，提高数据处理及时性。提高数据处理及时性。提高数据处理及时性。

【技术实现步骤摘要】
数据处理方法和电子设备


[0001]本申请涉及电子
，具体涉及一种数据处理方法和电子设备。

技术介绍

[0002]现如今，为了向终端提供服务，或者为了保证服务器功能的稳定等，出现了很多需要处理大量数据的平台，例如，监控平台、运营分析平台、物联网(internet of things，IoT)平台等。以监控平台中的业务服务监控平台为例，该平台主要用于接收业务服务器上报的数据(例如处理业务的数量、时间等)，并基于上报的数据进行分析，以对业务服务器提供业务的稳定性、可靠性等进行监控。
[0003]业务服务监控平台的数据处理量随业务服务器的业务量线性增长，在业务服务器所处理的业务量暴涨的情况下，业务服务监控平台需要处理的数据量也会暴涨。当数据量达到业务服务监控平台的性能瓶颈时，会造成数据处理延迟，从而导致监控结果延迟或出错，监控效果差，影响用户体验。

技术实现思路

[0004]本申请提供了一种数据处理方法、装置、电子设备、数据处理系统、芯片、计算机可读存储介质和计算机程序产品，能够减少平台的数据堆积，提高数据处理及时性。
[0005]第一方面，本申请提供一种数据处理方法，该方法由电子设备执行，该方法包括：确定历史平均生产速率，历史平均生产速率表征电子设备在历史时间段内获取初始数据的平均速率；确定预设的最大生产速率和历史平均生产速率的比值，得到第一比值；根据第一比值，确定多个预设采样率中是否存在临时采样率，临时采样率为多个预设采样率中小于第一比值的采样率中最大的一个，预设采样率大于0且小于或等于1；若存在临时采样率，则根据临时采样率确定目标采样率；若不存在临时采样率，则将预设值确定为目标采样率，预设值大于或等于0且小于1；根据目标采样率对获取的初始数据进行采样。
[0006]该数据处理方法中，根据应用场景的不同，电子设备可以是平台，也可以是客户端。
[0007]历史时间段是指当前时刻之前的时间段。初始数据是指电子设备获取的数据，可以为其他设备上报至电子设备的数据，也可以为电子设备自身采集的数据。预设的最大生产速率(也称为预设最大生产速率)用于表征电子设备能够承受的最大生产速率，为保证电子设备不发生异常，或者数据堆积量不持续增长的情况下，电子设备的最大生产速率。临时采样率也即初筛采样率中最大的一个，初筛采样率是指多个预设采样率中小于第一比值的采样率。
[0008]可选的，第一方面的方法中的所有步骤可以多次执行，以多次调整采样率。在一个具体的实施例中，该方法的步骤可以周期性执行，也就是说，每间隔预设周期时长，执行一次第一方面的过程，以实现对采样率的周期性调整，以及对初始数据的持续采样。
[0009]第一方面提供的方法，通过确定历史平均生产速率，并确定最大生产速率和历史
平均生产速率的比值，得到第一比值。根据第一比值在多个采样率中确定目标采样率，基于目标采样率对初始数据进行采样。该方法能够结合历史平均生产速率，确定出与历史平均生产速率相匹配的目标采样率，历史平均生产速率对当前的生产速率或后续生产速率具有一定的参考意义，因而目标采样率大概率能够与后续生产速率相匹配，减少电子设备的数据处理压力，减少数据量堆积，提高数据处理及时性，进而提高根据数据生成的数据处理结果的准确性，提高用户体验。另外，根据第一比值在多个预设采样率中确定临时采样率，并根据临时采样率确定目标采样率；在多个预设采样率中不存在临时采样率的情况下，将预设值确定为目标采样率。这样，采样率能够在预设采样率和预设值中切换调整，防止采样率变化过于频繁，减小算法运行复杂度，节约设备功耗。
[0010]结合第一方面，在第一方面的有些实现方式中，电子设备包括消息中间件，消息中间件用于传输初始数据，根据临时采样率确定目标采样率，包括：获取当前数据堆积量，当前数据堆积量表征当前时刻消息中间件中堆积的数据的量；获取预设的最大允许堆积量；根据当前数据堆积量、最大允许堆积量和临时采样率确定目标采样率。
[0011]可选的，包括消息中间件的电子设备例如可以为平台。电子设备包括消息中间件时，初始数据可能在消息中间件产生堆积。预设的最大允许堆积量(也称为预设最大允许堆积量)为电子设备允许消息中间件堆积数据的最大量。消息中间件的数据堆积量不超过最大允许堆积量时，电子设备不会因数据堆积导致数据延迟或丢失，或者因数据堆积导致的数据延迟或丢失能够被接受。
[0012]该实现方式中，通过获取预设的最大允许堆积量，并根据当前数据堆积量、最大允许堆积量和临时采样率确定目标采样率。也就是说，在确定目标采样率时，不仅考虑了历史平均生产速率，还考虑了当前数据堆积量，使得目标采样率能够和历史平均速率和当前数据堆积量相匹配，进一步防止数据堆积，提高数据处理及时性。
[0013]一种可能的实现方式中，根据当前数据堆积量、最大允许堆积量和临时采样率确定目标采样率，包括：若当前数据堆积量大于最大允许堆积量，则将临时采样率和当前采样率中较小的一个确定为目标采样率；若当前数据堆积量小于或等于最大允许堆积量，则将临时采样率确定为目标采样率。
[0014]也就是说，在当前数据堆积量较大的情况下，选取临时采样率和当前采样率中较小一个作为目标采样率进行采样。这样能够更快的减少数据堆积，提高数据处理及时性，防止数据延迟或丢失。在当前数据堆积量较小的情况下，将临时采样率作为目标采样率进行采样。这样，对初始数据采样得到的采样数据的输出速率与历史平均生产速率相匹配，在生产速率不发生过大变化的情况下，消息中间件不再产生数据堆积，保证了数据处理及时性，防止数据延迟或丢失。
[0015]一种可能的实现方式中，获取当前数据堆积量，包括：获取当前时刻的数据累计生产量和当前时刻的数据累计消费量，数据累计生产量表征消息中间件累计接收的数据的量，数据累计消费量表征消息中间件中累计被消费的数据的量；根据当前时刻的数据累计生产量与当前时刻的数据累计消费量的差值，确定当前数据堆积量。
[0016]可选的，当前数据堆积量＝当前时刻的生产偏移量
‑
当前时刻的消费偏移量。通过当前时刻的生产偏移量和当前时刻的消费偏移量能够简单、直接、准确的确定出当前数据堆积量，提高算法运行效率。
[0017]一种可能的实现方式中，数据累计生产量为生产偏移量，数据累计消费量为消费偏移量。
[0018]具体的，在消息中间件为Kafka或RocketMQ等时，数据累计生产量可以通过生产偏移量表征，数据累计消费量可以通过消费偏移量表征。这样能够直接利用消息中间件的参数确定当前数据堆积量等，无需再额外进行检测，提高算法运行效率。
[0019]一种可能的实现方式中，确定历史平均生产速率，包括：获取第一时刻的数据累计生产量和第二时刻的数据累计生产量，第一时刻为当前时刻或当前时刻之前的历史时刻，第二时刻为当前时刻之前的历史时刻，第一时刻晚于第二时刻；根据第一数据生产量与时间差的比值，确定历史平均生产速率，第一数据生产量为第一时刻的数据累计生产量与第二时刻的数据累计生产量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，所述方法由电子设备执行，其特征在于，所述方法包括：确定历史平均生产速率，所述历史平均生产速率表征所述电子设备在历史时间段内获取初始数据的平均速率；确定预设的最大生产速率和所述历史平均生产速率的比值，得到第一比值；根据所述第一比值，确定多个预设采样率中是否存在临时采样率，所述临时采样率为所述多个预设采样率中小于所述第一比值的采样率中最大的一个，所述预设采样率大于0且小于或等于1；若存在所述临时采样率，则根据所述临时采样率确定目标采样率；若不存在所述临时采样率，则将预设值确定为所述目标采样率，所述预设值大于或等于0且小于1；根据所述目标采样率对获取的初始数据进行采样。2.根据权利要求1所述的方法，其特征在于，所述电子设备包括消息中间件，所述消息中间件用于传输所述初始数据，所述根据所述临时采样率确定目标采样率，包括：获取当前数据堆积量，所述当前数据堆积量表征当前时刻所述消息中间件中堆积的数据的量；获取预设的最大允许堆积量；根据所述当前数据堆积量、所述最大允许堆积量和所述临时采样率确定所述目标采样率。3.根据权利要求2所述的方法，其特征在于，所述根据所述当前数据堆积量、所述最大允许堆积量和所述临时采样率确定所述目标采样率，包括：若所述当前数据堆积量大于所述最大允许堆积量，则将所述临时采样率和当前采样率中较小的一个确定为所述目标采样率；若所述当前数据堆积量小于或等于所述最大允许堆积量，则将所述临时采样率确定为所述目标采样率。4.根据权利要求2或3所述的方法，其特征在于，所述获取当前数据堆积量，包括：获取当前时刻的数据累计生产量和当前时刻的数据累计消费量，所述数据累计生产量表征所述消息中间件累计接收的数据的量，所述数据累计消费量表征所述消息中间件中累计被消费的数据的量；根据所述当前时刻的数据累计生产量与所述当前时刻的数据累计消费量的差值，确定所述当前数据堆积量。5.根据权利要求4所述的方法，其特征在于，所述数据累计生产量为生产偏移...

【专利技术属性】
技术研发人员：陈辉，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：