一种分布式时序数据分析处理方法技术

本发明专利技术公开了一种分布式时序数据分析处理方法，具体涉及数据处理技术领域，通过将区间综合性能值、时序数据处理变异指数以及故障异常及恢复性能综合评估指数通过归一化处理，计算计算节点性能颠簸评估系数，并通过计算节点性能颠簸评估系数与计算节点性能评估阈值的比较，能够更全面地量化了解计算节点的性能，提前发现并解决潜在的计算节点问题，有助于提高对时序数据处理的可用性和稳定性；通过计算综合性能判断值，并在分布计算节点综合正常信号时制定时序数据的处理分布策略，有利于时序数据分布传输到性能更好的计算节点，从而能够保证对生产设备产生的时序数据的实时分析和处理，保证对生产设备的监测的实时性和监测结果准确性。测结果准确性。测结果准确性。

【技术实现步骤摘要】
一种分布式时序数据分析处理方法


[0001]本专利技术涉及数据处理
，更具体地说，本专利技术涉及一种分布式时序数据分析处理方法。

技术介绍

[0002]时序数据是按照时间顺序记录形成的数据集合，其中每个数据点都与特定的时间点或时间段关联；时序数据通常用于捕获某个现象、变量或事件随时间的变化情况；这些数据可以是连续的、离散的，或者按照不同的时间间隔采样得到的。
[0003]在实际的生产中的多个生产设备，需要实时监测生产设备产生的时序数据，并通过设定的算法对时序数据进行处理，对生产设备的运行状态和故障趋势等进行分析处理，从而实时准确的了解生产设备的实际运行情况和预警故障趋势；但是一般对生产设备产生的时序数据都是随机分布到计算节点，计算节点在使用后各自的性能和实际运行稳定性会存在变化，生产设备产生的时序数据随机分布到计算节点没有考虑到计算节点的性能和实际运行稳定性的不同，如果某些计算节点的性能较差，处理时序数据的速度可能会受到限制，从而会对生产设备的运行状态和故障趋势的实时性监测和预警产生不利影响。
[0004]为了解决上述问题，现提供一种技术方案。

技术实现思路

[0005]为了克服现有技术的上述缺陷，本专利技术提供一种分布式时序数据分析处理方法以解决上述
技术介绍
中提出的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种分布式时序数据分析处理方法，包括如下步骤：步骤S1：采集计算节点速度信息，计算时序数据处理性能值；根据时序数据处理性能值计算区间综合性能值，根据时序数据处理性能值的波动情况，计算时序数据处理变异指数；步骤S2：采集计算节点故障信息，通过分析计算节点每次报错对应的恢复正常时间以及发生报错的频率计算故障异常及恢复性能综合评估指数；步骤S3：将区间综合性能值、时序数据处理变异指数以及故障异常及恢复性能综合评估指数通过归一化处理，对计算节点性能颠簸评估系数进行计算；通过计算节点性能颠簸评估系数与计算节点性能评估阈值的比较，生成计算节点推荐使用信号或计算节点运行糟糕信号；步骤S4：通过对多个计算节点对应的计算节点推荐使用信号或计算节点运行糟糕信号计算综合性能判断值，根据综合性能判断值和综合性能判断阈值的比较生成分布计算节点综合糟糕信号或分布计算节点综合正常信号。
[0007]在一个优选的实施方式中，在步骤S1中，设定数据处理性能监测区间，数据处理性能监测区间包括固定大小的时序数据的数据量，将数据处理性能监测区间均等分为多个小
区间，获取每个小区间对应的时序数据的数据量，每个小区间对应的时序数据的数据量相同；获取处理小区间对应的时序数据的数据量的时间；计算每个小区间对应的时序数据处理性能值，时序数据处理性能值为小区间对应的时序数据的数据量与处理小区间对应的时序数据的数据量的时间的比值。
[0008]在一个优选的实施方式中，区间综合性能值为数据处理性能监测区间内所有小区间对应的时序数据处理性能值的和与数据处理性能监测区间内小区间数量的比值；将区间综合性能值标记为。
[0009]在一个优选的实施方式中，获取每个小区间对应的时序数据处理性能值，计算时序数据处理变异指数，其表达式为：；其中，为数据处理性能监测区间内小区间的数量，为数据处理性能监测区间内小区间对应的时序数据处理性能值的编号，，均为大于1的正整数；分别为时序数据处理变异指数、数据处理性能监测区间内第个小区间对应的时序数据处理性能值以及数据处理性能监测区间内第个小区间对应的时序数据处理性能值。
[0010]在一个优选的实施方式中，在步骤S2中，设定故障监测区间，获取故障监测区间对应的时间长度；获取故障监测区间内该计算节点报错次数，获取在故障监测区间内该计算节点每次报错对应的恢复正常时间；设定恢复正常时间阈值，获取在故障监测区间内计算节点报错对应的恢复正常时间大于恢复正常时间阈值的计算节点的数量，获取计算节点报错对应的恢复正常时间大于恢复正常时间阈值的计算节点对应的恢复正常时间；计算故障异常及恢复性能综合评估指数，其表达式为：，其中，分别为在故障监测区间内计算节点报错对应的恢复正常时间大于恢复正常时间阈值的计算节点的数量以及在故障监测区间内计算节点报错对应的恢复正常时间大于恢复正常时间阈值的计算节点对应的恢复正常时间的编号；，均为大于1的正整数；分别为故障异常及恢复性能综合评估指数、故障监测区间内计算节点报错次数、故障监测区间对应的时间长度、故障监测区间内第个计算节点报错对应的恢复正常时间大于恢复正常时间阈值的计算节点对应的恢复正常时间以及恢复正常时间阈值。
[0011]在一个优选的实施方式中，在步骤S3中，计算节点性能颠簸评估系数的表达式为：；其中，为计算节点性能颠簸评估系数；分别为区间综合性能值、时序数据处理变异指数以及故障异常及恢复性能综合评估指数，分别为区间综合性能值、时序数据处理变异指数以及
故障异常及恢复性能综合评估指数的预设比例系数，且均大于0；设定计算节点性能评估阈值；当计算节点性能颠簸评估系数大于计算节点性能评估阈值，生成计算节点运行糟糕信号；当计算节点性能颠簸评估系数小于等于计算节点性能评估阈值，生成计算节点推荐使用信号。
[0012]在一个优选的实施方式中，在步骤S4中，设定共有h个计算节点，h为正整数；获取计算节点对应生成计算节点运行糟糕信号的数量；计算计算节点对应生成计算节点运行糟糕信号的数量与h的比值，将计算节点对应生成计算节点运行糟糕信号的数量与h的比值标记为综合性能判断值；设定综合性能判断阈值；当综合性能判断值大于综合性能判断阈值，生成分布计算节点综合糟糕信号；当综合性能判断值小于等于综合性能判断阈值，生成分布计算节点综合正常信号。
[0013]本专利技术一种分布式时序数据分析处理方法的技术效果和优点：1、通过将区间综合性能值、时序数据处理变异指数以及故障异常及恢复性能综合评估指数通过归一化处理，对计算节点性能颠簸评估系数进行计算，并通过计算节点性能颠簸评估系数与计算节点性能评估阈值的比较，判断计算节点的性能和运行状态，能够更全面地量化了解计算节点的性能，通过及时检测计算节点的性能问题和波动，提前发现并解决潜在的计算节点问题，从而减少性能下降或故障对系统的影响。这有助于提高对时序数据处理的可用性和稳定性。
[0014]2、通过计算综合性能判断值，并在分布计算节点综合正常信号时制定时序数据的处理分布策略，有利于时序数据分布传输到性能更好的计算节点，从而能够保证对生产设备产生的时序数据的实时分析和处理，保证对生产设备的监测的实时性和监测结果准确性。
附图说明
[0015]图1为本专利技术的一种分布式时序数据分析处理方法的流程图。
具体实施方式
[0016]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式时序数据分析处理方法，其特征在于，包括如下步骤：步骤S1：采集计算节点速度信息，计算时序数据处理性能值；根据时序数据处理性能值计算区间综合性能值，根据时序数据处理性能值的波动情况，计算时序数据处理变异指数；步骤S2：采集计算节点故障信息，通过分析计算节点每次报错对应的恢复正常时间以及发生报错的频率计算故障异常及恢复性能综合评估指数；步骤S3：将区间综合性能值、时序数据处理变异指数以及故障异常及恢复性能综合评估指数通过归一化处理，对计算节点性能颠簸评估系数进行计算；通过计算节点性能颠簸评估系数与计算节点性能评估阈值的比较，生成计算节点推荐使用信号或计算节点运行糟糕信号；步骤S4：通过对多个计算节点对应的计算节点推荐使用信号或计算节点运行糟糕信号计算综合性能判断值，根据综合性能判断值和综合性能判断阈值的比较生成分布计算节点综合糟糕信号或分布计算节点综合正常信号。2.根据权利要求1所述的一种分布式时序数据分析处理方法，其特征在于：在步骤S1中，设定数据处理性能监测区间，数据处理性能监测区间包括固定大小的时序数据的数据量，将数据处理性能监测区间均等分为多个小区间，获取每个小区间对应的时序数据的数据量，每个小区间对应的时序数据的数据量相同；获取处理小区间对应的时序数据的数据量的时间；计算每个小区间对应的时序数据处理性能值，时序数据处理性能值为小区间对应的时序数据的数据量与处理小区间对应的时序数据的数据量的时间的比值。3.根据权利要求2所述的一种分布式时序数据分析处理方法，其特征在于：区间综合性能值为数据处理性能监测区间内所有小区间对应的时序数据处理性能值的和与数据处理性能监测区间内小区间数量的比值；将区间综合性能值标记为。4.根据权利要求2所述的一种分布式时序数据分析处理方法，其特征在于：获取每个小区间对应的时序数据处理性能值，计算时序数据处理变异指数，其表达式为：；其中，为数据处理性能监测区间内小区间的数量，为数据处理性能监测区间内小区间对应的时序数据处理性能值的编号，，均为大于1的正整数；分别为时序数据处理变异指数、数据处理性能监测区间内第个小区间对应的时序数据处理性能值以及数据处理性能监测区间内第个小区间对应的时序数据处理性能值。5.根据权利要求1所述的...

【专利技术属性】
技术研发人员：李淑琴，肖勇，
申请(专利权)人：江西珉轩大数据有限公司，
类型：发明
国别省市：