【技术实现步骤摘要】
本专利技术涉及数据处理领域，特别涉及是一种多维数据流的处理方法、装置、计算机设备以及存储介质。
技术介绍
1、在时序数据处理中，许多算法以多维度区间数据作为输入数据，即在一个时间区间内有多个时间点，每个时间点上都有多个不同维度的数据点。而不满足输入要求的数据可能无法输入算法中或算法计算结果较差。
2、对于数据产生频率恒定的实时数据流，在目前的技术方案中，通常使用滑动窗口将数据流中一段时间区间内零散的数据点归入多个窗口中，并对窗口内的数据进行转换和预处理，使数据符合算法的输入要求。
3、然而，滑动窗口为对齐窗口，即一个窗口的生成时间和结束时间是预先设定的，对齐于预设参数值。若一个数据点的时间戳在某窗口的生成时间至触发计算时间之间，则数据点将会存入该窗口内，一个数据点可以存入多个窗口。当窗口内最后一个数据点存入窗口后，窗口不会立即触发计算，必须等待至窗口预设触发时间才能进行后续的计算操作。这导致数据进入系统至输入算法中存在一定固有延迟，影响了整体的计算效率，并且不能区分具有多个维度的数据，且无法存储重名数据，难以应付复杂算法的输入要求。
技术实现思路
1、基于此，本专利技术的目的在于，提供一种多维数据流的处理方法、装置、计算机设备以及存储介质，通过采用滑动窗口进行数据划分，高效地将多维数据流的中的零散数据转换成多维区间数据，将多维区间数据输入至构建的双重缓存映射表中进行数据缓存，解决了滑动窗口中固有延迟的问题，提高了算法预处理数据的效率，同时能够区分不同维度的数
2、第一方面，本申请实施例提供了一种多维数据流的处理方法，包括以下步骤：
3、获得待处理的多维数据流，根据所述待处理的多维数据流以及预设的滑动窗口，构建多维区间数据，其中，所述多维区间数据包括若干个数据点对应的若干个维度对应的子数据；
4、获得缓存映射表，其中，所述缓存映射表包括第一层映射表，所述第一层映射表包括若干个第一键值对，所述第一键值对的键为数据点对应的时间戳，所述第一键值对的值为第二层映射表，所述第二层映射表包括若干个第二键值对，所述第二键值对的键为多维数据中若干个维度对应的子数据对应的标识，所述第二键值对的值为若干个维度对应的子数据对应的值；
5、根据所述多维区间数据中若干个数据点对应的时间戳以及所述第一层映射表中的若干个第一键值对的键，将若干个所述数据点对应的若干个维度对应的子数据输入至相应的第一键值对的值中；
6、根据所述子数据对应的标识以及所述第二层映射表中的若干个第二键值对的键，将所述子数据对应的值输入至相应的第二键值对的值中，获得更新后的缓存映射表，根据所述更新后的缓存映射表，进行数据加载操作。
7、第二方面，本申请实施例提供了一种多维数据流的处理装置，包括：
8、数据获得模块，用于获得待处理的多维数据流，根据所述待处理的多维数据流以及预设的滑动窗口，构建多维区间数据，其中，所述多维区间数据包括若干个数据点对应的若干个维度对应的子数据；
9、缓存映射表获得模块，用于获得缓存映射表，其中，所述缓存映射表包括第一层映射表，所述第一层映射表包括若干个第一键值对，所述第一键值对的键为数据点对应的时间戳，所述第一键值对的值为第二层映射表，所述第二层映射表包括若干个第二键值对，所述第二键值对的键为多维数据中若干个维度对应的子数据对应的标识，所述第二键值对的值为若干个维度对应的子数据对应的值；
10、第一数据处理模块，用于根据所述多维区间数据中若干个数据点对应的时间戳以及所述第一层映射表中的若干个第一键值对的键，将若干个所述数据点对应的若干个维度对应的子数据输入至相应的第一键值对的值中；
11、第二数据处理模块，用于根据所述子数据对应的标识以及所述第二层映射表中的若干个第二键值对的键，将所述子数据对应的值输入至相应的第二键值对的值中，获得更新后的缓存映射表，根据所述更新后的缓存映射表，进行数据加载操作。
12、第三方面，本申请实施例提供了一种计算机设备，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述计算机程序被所述处理器执行时实现如第一方面所述多维数据流的处理方法的步骤。
13、第四方面，本申请实施例提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的多维数据流的处理方法的步骤。
14、在本申请实施例中，提供一种多维数据流的处理方法、装置、计算机设备以及存储介质，通过采用滑动窗口进行数据划分，高效地将多维数据流的中的零散数据转换成多维区间数据，将多维区间数据输入至构建的双重缓存映射表中进行数据缓存，解决了滑动窗口中固有延迟的问题，提高了算法预处理数据的效率，同时能够区分不同维度的数据，可以存储重名数据，以实现针对不同维度数据的预处理操作，具有较广泛的适用性，提高了数据的处理效率。
15、为了更好地理解和实施，下面结合附图详细说明本专利技术。
本文档来自技高网...【技术保护点】
1.一种多维数据流的处理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的多维数据流的处理方法，其特征在于，所述根据所述多维区间数据中若干个数据点对应的时间戳以及所述第一层映射表中的若干个第一键值对的键，将若干个所述数据点对应的若干个维度对应的子数据输入至相应的第一键值对的值中，包括步骤：
3.根据权利要求1所述的多维数据流的处理方法，其特征在于，所述根据所述子数据对应的标识以及所述第二层映射表中的若干个第二键值对的键，将所述子数据对应的值输入至相应的第二键值对的值中，包括步骤：
4.根据权利要求1所述的多维数据流的处理方法，其特征在于，还包括步骤：
5.根据权利要求1所述的多维数据流的处理方法，其特征在于，所述根据所述更新后的缓存映射表，进行数据加载操作，还包括步骤：
6.一种多维数据流的处理装置，其特征在于，包括：
7.一种计算机设备，其特征在于，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的多维数据流的处
8.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的多维数据流的处理方法的步骤。
...【技术特征摘要】
1.一种多维数据流的处理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的多维数据流的处理方法，其特征在于，所述根据所述多维区间数据中若干个数据点对应的时间戳以及所述第一层映射表中的若干个第一键值对的键，将若干个所述数据点对应的若干个维度对应的子数据输入至相应的第一键值对的值中，包括步骤：
3.根据权利要求1所述的多维数据流的处理方法，其特征在于，所述根据所述子数据对应的标识以及所述第二层映射表中的若干个第二键值对的键，将所述子数据对应的值输入至相应的第二键值对的值中，包括步骤：
4.根据权利要求1所述的多维数据流的处理方法，其特征在于...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。