一种实时任务稳定性检测方法及系统技术方案

本发明专利技术公开了一种实时任务稳定性检测方法及系统，该方法包括：S1.实时接入第一数据源；S2.对接入的第一数据源的数据进行体量放大；S3.将进行体量放大后的数据作为第二数据源；S4.运行待检测的第一实时任务，并以第一数据源作为数据源；S5.运行待检测的第二实时任务，并以第二数据源作为数据源；S6.以第一实时任务的运行结果作为标准集，检测第二实时任务的稳定性。本发明专利技术方法能够快速精准地确定一个开发完成的实时任务在稳定性方面是否达到要求，无需进行繁琐的测试数据生成工作，比如数据分布函数的推理确认和测试数据的真实度模拟，使用简便，具有很好的可行性。具有很好的可行性。具有很好的可行性。

【技术实现步骤摘要】
一种实时任务稳定性检测方法及系统


[0001]本专利技术涉及数据校验
，具体涉及一种实时任务稳定性检测方法及系统。

技术介绍

[0002]目前，车辆大数据系统是以车辆数据为核心，实现多源海量车辆资源信息的联网接入、分析处理、云存储、智能研判及可视化展示的车辆大数据研判挖掘平台。受到人类的作息规律的影响，车辆大数据存在明显的以天为周期的波动，高峰时期的数据体量是低峰时期的数十倍甚至更多，除了以天为周期的波动外，以年为周期的波动也十分明显。除此之外，一些特殊的节假日、事件等也会使得数据体量突然暴涨。实时任务必须在高峰、低谷时期以及特殊的事件刺激下均能稳定运行并保证及时性、准确性符合数据质量标准要求，而这正是实时任务稳定性必须达到的目标。如何确定一个开发完成的实时任务在稳定性方面能达到要求，这是目前所面临的问题。

技术实现思路

[0003]本专利技术的目的在于克服现有技术之缺陷，本专利技术提供了一种实时任务稳定性检测方法及系统，本专利技术针对接入的车辆终端数据，为实时数仓任务的稳定给出衡量指标，以此实现实时任务稳定性检测。
[0004]为了到达预期效果，本专利技术采用了以下技术方案：
[0005]本专利技术公开了一种实时任务稳定性检测方法，包括：
[0006]S1.实时接入第一数据源；
[0007]S2.对接入的第一数据源的数据进行体量放大；
[0008]S3.将进行体量放大后的数据作为第二数据源；
[0009]S4.运行待检测的第一实时任务，并以第一数据源作为数据源；
[0010]S5.运行待检测的第二实时任务，并以第二数据源作为数据源；
[0011]S6.以第一实时任务的运行结果作为标准集，检测第二实时任务的稳定性。
[0012]进一步地，所述S1具体包括：通过Flink实时接入第一数据源。
[0013]进一步地，所述S2具体包括：通过flatMap函数，基于数据放大公式，对接入的第一数据源的数据进行倍数复制以实现体量放大。
[0014]进一步地，所述数据放大公式为：其中，a为程序的安全系数，t0为稳定性检测周期开始时间，t
n
为稳定性检测周期结束时间，s为特殊事件数据倍数，t
i
为特殊事件开始时间，t
j
为特殊事件结束时间。
[0015]进一步地，针对线性指标，所述实际准确率＝abs(1
‑
第二实时任务指标/(第一实时任务指标*N))，其中，N为正整数。
[0016]进一步地，针对非线性指标，所述实际准确率＝abs(1
‑
第二实时任务指标/第一实时任务指标)。
[0017]进一步地，第一数据源和第二数据源为同一数据源的不同队列。
[0018]进一步地，所述S6具体包括：如果第一实时任务和第二实时任务均稳定运行至检测结束，第二实时任务的实际准确率大于或等于预期准确率，且第二实时任务的实际延迟小于或等于预设最大延迟，则检测通过，否则检测不通过。
[0019]进一步地，所述实际延迟为总延迟时间95％分位数，具体计算步骤包括：
[0020]通过流计算引擎对待计算流数据进行处理，以生成原始数据层表，所述原始数据层表包括多条数据以及每条数据处理完成后对应的第一时刻；
[0021]基于所述流计算引擎和所述原始数据层表生成数据应用层表，所述数据应用层表包括每条数据处理完成后对应的第二时刻；
[0022]基于所述第二时刻和所述第一时刻计算所述数据应用层表中每条数据的总延迟时间；
[0023]根据所述数据应用层表中各条数据的总延迟时间确定出总延迟时间95％分位数。
[0024]本专利技术还公开了一种实时任务稳定性检测系统，包括：
[0025]接入模块，用于实时接入第一数据源；对接入的第一数据源的数据进行体量放大；将进行体量放大后的数据作为第二数据源；
[0026]检测模块，用于运行待检测的第一实时任务，并以第一数据源作为数据源；运行待检测的第二实时任务，并以第二数据源作为数据源；以第一实时任务的运行结果作为标准集，检测第二实时任务的稳定性。
[0027]与现有技术相比，本专利技术的有益效果是：本专利技术公开了一种实时任务稳定性检测方法及系统，该方法包括：S1.实时接入第一数据源；S2.对接入的第一数据源的数据进行体量放大；S3.将进行体量放大后的数据作为第二数据源；S4.运行待检测的第一实时任务，并以第一数据源作为数据源；S5.运行待检测的第二实时任务，并以第二数据源作为数据源；S6.以第一实时任务的运行结果作为标准集，检测第二实时任务的稳定性。本专利技术使用简便，无需进行繁琐的测试数据生成工作，比如数据分布函数的推理确认和测试数据的真实度模拟。此外，本专利技术无需修改实时任务源码，有利于源码的稳定性。本专利技术的应用场景多元且贴合实际，实际检测周期短。本专利技术的适用范围广，适合各种形态的实时任务的稳定性检测。
附图说明
[0028]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0029]图1是本专利技术实施例提供的流程图。
具体实施方式
[0030]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它
实施例，都属于本专利技术保护的范围。
[0031]参见图1，本专利技术公开了一种实时任务稳定性检测方法，包括：
[0032]S1.实时接入第一数据源；
[0033]S2.对接入的第一数据源的数据进行体量放大；
[0034]S3.将进行体量放大后的数据作为第二数据源；
[0035]S4.运行待检测的第一实时任务，并以第一数据源作为数据源；
[0036]S5.运行待检测的第二实时任务，并以第二数据源作为数据源；
[0037]S6.以第一实时任务的运行结果作为标准集，检测第二实时任务的稳定性。
[0038]这里需要说明的是，以第一实时任务作为参照组，而不是对应的离线数据作为参照组，主要有2个考量：一是实时任务本身会存在一定偏差，且这种偏差具有一定的随机性，以第一实时任务作为参照，可消除这种随机偏差的影响；二是离线数据一般是T+1的，这会增加整个校验过程的周期。因此，在本专利技术中，第一数据源为原始数据源，第一实时任务为参照任务，第二实时任务为待检测任务，将原始数据源作为参照任务的数据源进行运行得到的结果作为标准集，将原始数据源进行体量放大后作为第二数据源，将第二数据源作为待检测任务的数据源进行运行并计算待检测任务的实际准确率和实际延迟，根据实际准确率本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时任务稳定性检测方法，其特征在于，包括：S1.实时接入第一数据源；S2.对接入的第一数据源的数据进行体量放大；S3.将进行体量放大后的数据作为第二数据源；S4.运行待检测的第一实时任务，并以第一数据源作为数据源；S5.运行待检测的第二实时任务，并以第二数据源作为数据源；S6.以第一实时任务的运行结果作为标准集，检测第二实时任务的稳定性。2.如权利要求1所述的一种实时任务稳定性检测方法，其特征在于，所述S1具体包括：通过Flink实时接入第一数据源。3.如权利要求1所述的一种实时任务稳定性检测方法，其特征在于，所述S2具体包括：通过flatMap函数，基于数据放大公式，对接入的第一数据源的数据进行倍数复制以实现体量放大。4.如权利要求3所述的一种实时任务稳定性检测方法，其特征在于，所述数据放大公式为：其中，a为程序的安全系数，t0为稳定性检测周期开始时间，t
n
为稳定性检测周期结束时间，s为特殊事件数据倍数，t
i
为特殊事件开始时间，t
j
为特殊事件结束时间。5.如权利要求1所述的一种实时任务稳定性检测方法，其特征在于，针对线性指标，所述实际准确率＝abs(1
‑
第二实时任务指标/(第一实时任务指标*N))，其中，N为正整数。6.如权利要求1所述的一种实时任务稳定性检测方法，其特征在于，针对非线性指标，所述实际准确率＝abs(1
‑<...

【专利技术属性】
技术研发人员：龚浩，张宇，李晓聪，王浩东，代陶，
申请(专利权)人：南斗六星系统集成有限公司，
类型：发明
国别省市：