【技术实现步骤摘要】
本申请涉及工业物联网数据处理，具体涉及一种时序数据降采样方法、装置、电子设备及存储介质。
技术介绍
1、在工业物联网领域，时序数据通常被应用于设备监控预警、实时流式计算、数据分析、数据加工等业务场景，它有着采集频率高、数据量大、吞吐量高等诸多特点。
2、在工业生产中，通常需要将时序数据提取至前端界面展示，以便于查看数据趋势，但时序数据的采集频率很高，在跨度较长的时间范围内查询出的时序数据量十分庞大，若将查询数据全部返回给前端，将导致前端服务器存在内存溢出风险，并且庞大的数据量会占据较高的带宽，还将导致前端服务器的传输、渲染、存储等性能都受到影响。此外，由于前端界面的画布展示受限于其分辨率，在单位像素里不能容纳太多数据点位，并且短时间内的大部分数据点位都是冗余的，不能体现其数据趋势。
技术实现思路
1、鉴于以上所述现有技术的缺点，本申请提供一种时序数据降采样方法、装置、电子设备及存储介质，以解决上述直接将查询的时序数据全部返回给前端容易导致前端服务器内存溢出、带宽较高，并且由于前端界面限制也无法全部展示，进而不能体现其数据趋势的技术问题。
2、本申请提供了一种时序数据降采样方法，所述方法包括：获取降采样配置参数，所述降采样配置参数包括目标输出总量、待抽样总量、滑动窗口容量和单个滑窗抽样阈值；根据所述目标输出总量、所述单个滑窗抽样阈值和所述滑动窗口容量确定连续-间隔抽样临界值；将所述待抽样总量分别与所述滑动窗口容量和所述连续-间隔抽样临界值进行比较，并根据比较结
3、于本申请的一实施例中，根据所述目标输出总量、所述单个滑窗抽样阈值和所述滑动窗口容量确定连续-间隔抽样临界值，包括：根据所述目标输出总量与所述单个滑窗抽样阈值的比值，确定滑动窗口数量阈值；将所述滑动窗口数量阈值与所述滑动窗口容量的乘积，作为所述连续-间隔抽样临界值。
4、于本申请的一实施例中，将所述待抽样总量分别与所述滑动窗口容量和所述连续-间隔抽样临界值进行比较，并根据比较结果确定目标降采样策略，包括：若所述待抽样总量小于或等于所述滑动窗口容量，确定所述目标降采样策略为直接降采样策略；若所述待抽样总量大于所述滑动窗口容量，且小于或等于所述连续-间隔抽样临界值，确定所述目标降采样策略为动态分桶降采样策略；若所述待抽样总量大于所述连续-间隔抽样临界值，确定所述目标降采样策略为间隔滑窗降采样策略。
5、于本申请的一实施例中，按照目标降采样策略读取时序数据，并对每一滑动窗口的目标抽样量进行确定，包括：若所述目标降采样策略为所述直接降采样策略，按照所述滑动窗口容量，读取一个滑动窗口的时序数据，并将所述目标输出总量作为滑动窗口的目标抽样量。
6、于本申请的一实施例中，按照目标降采样策略读取时序数据，并对每一滑动窗口的目标抽样量进行确定，包括：若所述目标降采样策略为所述动态分桶降采样策略，按照所述滑动窗口容量和滑动窗口总数，连续读取多个滑动窗口的时序数据，所述滑动窗口总数基于所述待抽样总量和所述滑动窗口容量确定；根据所述目标输出总量和所述滑动窗口总数确定最后一个滑动窗口之前的每一滑动窗口的目标抽样量；根据所述目标输出总量、所述滑动窗口总数、所述滑动窗口容量和最后一个滑动窗口内的实际点位数量，确定最后一个滑动窗口的抽样量初值，以通过对所述抽样量初值与所述单个滑窗抽样阈值的比较，确定最后一个滑动窗口的目标抽样量。
7、于本申请的一实施例中，按照目标降采样策略读取时序数据，并对每一滑动窗口的目标抽样量进行确定，包括：若所述目标降采样策略为所述间隔滑窗降采样策略，根据所述待抽样总量、所述连续-间隔抽样临界值和滑动窗口数量阈值确定间隔阈值，所述滑动窗口数量阈值基于所述目标输出总量和所述单个滑窗抽样阈值确定；按照所述滑动窗口容量和所述滑动窗口数量阈值，间隔读取多个滑动窗口的时序数据，并控制相邻两个滑动窗口间隔的点位数量达到所述间隔阈值；将所述单个滑窗抽样阈值作为每一滑动窗口的目标抽样量。
8、于本申请的一实施例中，基于每一滑动窗口的目标抽样量，对每一滑动窗口读取的时序数据进行筛选，得到最终输出点位集合，包括：将一滑动窗口内的第一个点位和最后一个点位取出，并按照输出阈值对所述一滑动窗口内的剩余点位进行划分，得到至少一个点位集合，以分别将第一个点位、每一点位集合和最后一个点位按时序放入至不同的容器，所述输出阈值基于所述一滑动窗口的目标抽样量确定；按序对每一容器中的点位进行权重计算，得到各点位的权重值，并将每一容器中权重值最大的点位取出并作为一筛选点位；基于对全部滑动窗口读取的时序数据进行筛选后得到的全部筛选点位，生成所述最终输出点位集合。
9、于本申请的一实施例中，按序对每一容器中的点位进行权重计算，得到各点位的权重值，包括：将第一个容器中的点位的权重值置为预设权重值；将第二个容器作为当前容器，根据上一容器中权重值最大的点位、下一容器中的均值点位以及当前容器中的一点位，计算当前容器中的所述一点位的权重值，以得到当前容器中每一点位的权重值，其中，各容器中的均值点位基于各容器中的全部点位确定；若下一容器不为最后一个容器，则将下一容器作为新的当前容器，根据新的上一容器中权重值最大的点位、新的下一容器中的均值点位以及新的当前容器中的一点位，计算新的当前容器中的所述一点位的权重值，得到新的当前容器中每一点位的权重值，直至达到最后一个容器；将最后一个容器中的点位的权重值置为所述预设权重值。
10、于本申请的一实施例中，获取降采样配置参数之后，所述方法包括：对所述降采样配置参数进行参数校验；若所述降采样配置参数满足预设条件，则根据所述目标输出总量、所述单个滑窗抽样阈值和所述滑动窗口容量确定所述连续-间隔抽样临界值；其中，所述预设条件包括第一子条件和第二子条件，所述第一子条件包括，所述目标输出总量大于或等于所述单个滑窗抽样阈值，且，小于或等于所述待抽样总量；所述第二子条件包括，所述单个滑窗抽样阈值大于或等于预设抽样阈值，且，小于或等于所述滑动窗口容量。
11、于本申请的一实施例中，还提供一种时序数据降采样装置，所述装置包括：获取模块，用于获取降采样配置参数，所述降采样配置参数包括目标输出总量、待抽样总量、滑动窗口容量和单个滑窗抽样阈值；确定模块，用于根据所述目标输出总量、所述单个滑窗抽样阈值和所述滑动窗口容量确定连续-间隔抽样临界值；将所述待抽样总量分别与所述滑动窗口容量和所述连续-间隔抽样临界值进行比较，并根据比较结果确定目标降采样策略，以按照目标降采样策略读取时序数据，并对每一滑动窗口的目标抽样量进行确定；抽样模块，用于基于每一滑动窗口的目标抽样量，对每一滑动窗口读取的时序数据进行筛选，得到最终输出点位集合，所述时序数据包括不同点位。
12、于本文档来自技高网...
【技术保护点】
1.一种时序数据降采样方法，其特征在于，所述方法包括：
2.根据权利要求1所述的时序数据降采样方法，其特征在于，根据所述目标输出总量、所述单个滑窗抽样阈值和所述滑动窗口容量确定连续-间隔抽样临界值，包括：
3.根据权利要求1所述的时序数据降采样方法，其特征在于，将所述待抽样总量分别与所述滑动窗口容量和所述连续-间隔抽样临界值进行比较，并根据比较结果确定目标降采样策略，包括：
4.根据权利要求3所述的时序数据降采样方法，其特征在于，按照目标降采样策略读取时序数据，并对每一滑动窗口的目标抽样量进行确定，包括：
5.根据权利要求3所述的时序数据降采样方法，其特征在于，按照目标降采样策略读取时序数据，并对每一滑动窗口的目标抽样量进行确定，包括：
6.根据权利要求3所述的时序数据降采样方法，其特征在于，按照目标降采样策略读取时序数据，并对每一滑动窗口的目标抽样量进行确定，包括：
7.根据权利要求1-6中任一项所述的时序数据降采样方法，其特征在于，基于每一滑动窗口的目标抽样量，对每一滑动窗口读取的时序数据进行筛选，得到最
8.根据权利要求7所述的时序数据降采样方法，其特征在于，按序对每一容器中的点位进行权重计算，得到各点位的权重值，包括：
9.根据权利要求1-6中任一项所述的时序数据降采样方法，其特征在于，获取降采样配置参数之后，所述方法包括：
10.一种时序数据降采样装置，其特征在于，所述装置包括：
11.一种电子设备，其特征在于，所述电子设备包括：
12.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行如权利要求1-9中任一项所述的时序数据降采样方法。
...【技术特征摘要】
1.一种时序数据降采样方法，其特征在于，所述方法包括：
2.根据权利要求1所述的时序数据降采样方法，其特征在于，根据所述目标输出总量、所述单个滑窗抽样阈值和所述滑动窗口容量确定连续-间隔抽样临界值，包括：
3.根据权利要求1所述的时序数据降采样方法，其特征在于，将所述待抽样总量分别与所述滑动窗口容量和所述连续-间隔抽样临界值进行比较，并根据比较结果确定目标降采样策略，包括：
4.根据权利要求3所述的时序数据降采样方法，其特征在于，按照目标降采样策略读取时序数据，并对每一滑动窗口的目标抽样量进行确定，包括：
5.根据权利要求3所述的时序数据降采样方法，其特征在于，按照目标降采样策略读取时序数据，并对每一滑动窗口的目标抽样量进行确定，包括：
6.根据权利要求3所述的时序数据降采样方法，其特征在于，按照目标降采样策略读取时序数据...
【专利技术属性】
技术研发人员：汪显宇，张宇，张晓辉，那蓉萃，李洪佩，张辰交，王明生，王文局，马羽莎，彭燕华，
申请(专利权)人：中冶赛迪信息技术重庆有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。