数据处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置、设备及存储介质，该方法包括：响应于窗口函数调用指令，获取窗口函数调用指令包含的目标字段；根据目标字段的哈希值确定逻辑表单；对逻辑表单进行窗口函数处理。本发明专利技术根据窗口函数调用指令携带的分组字段，计算分组字段的内容的哈希值，进而将不同内容的分组字段分配到不同的逻辑表单中，使得逻辑表单保存有具有相同哈希值的分组字段的内容。一个逻辑表单能够包含多个具有相同哈希值的分组字段的内容，因此无需为每个分组字段的内容分别建立物理窗口，进而更加合理的划分窗口，提高窗口函数处理效率。

【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质
本专利技术实施例涉及大数据的数据库数据处理技术，尤其涉及一种数据处理方法、装置、设备及存储介质。
技术介绍
窗口函数也称为OLAP(onlineanalyticalprocessing)函数，用于对数据库数据进行实时分析处理。窗口函数是分析型业务中经常使用的数据库功能。窗口函数在保留原表格数据的基础上，将原表格数据的属性，如某个字段的排序等数据处理结果在窗口中展示。目前，在对窗口函数进行响应时，根据窗口函数针对的分组字段中每一个种字段内容建立一个物理窗口。例如，分组字段中包含N种内容，则建立N个物理窗口，并为每个物理窗口配置计算资源。然而，在大数据环境下，若单个窗口内部数据少，但窗口数量多，则会导致系统内存资源占用量大。若单个窗口数据量大，会导致窗口处理过程较慢。可见，如何合理划分窗口，提高窗口函数处理效率，称为亟待解决的问题。
技术实现思路
本专利技术提供一种数据处理方法、装置、设备及存储介质，以实现合理划分逻辑窗口，提高窗口函数处理效率。第一方面，本专利技术实施本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n响应于窗口函数调用指令，获取所述窗口函数调用指令包含的目标字段；/n根据所述目标字段的哈希值确定逻辑表单；/n对所述逻辑表单进行窗口函数处理。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
响应于窗口函数调用指令，获取所述窗口函数调用指令包含的目标字段；
根据所述目标字段的哈希值确定逻辑表单；
对所述逻辑表单进行窗口函数处理。


2.根据权利要求1所述的方法，其特征在于，所述目标字段为分组字段，所述根据所述目标字段的哈希值确定逻辑表单，包括：
根据原数据和所述分组字段获取目标分组数据，所述目标分组数据为所述原数据中任意一个记录的所述分组字段的内容；
根据哈希函数确定所述目标分组数据的哈希值；
根据所述哈希值确定所述目标分组数据所属的目标逻辑表单，所述目标逻辑表单包括具有相同的哈希值的至少一个分组数据；
相应的，所述对所述逻辑表单进行窗口函数处理，包括：
根据所述窗口函数调用指令携带的窗口指令类型和所述目标逻辑表单得到窗口处理结果。


3.根据权利要求2所述的方法，其特征在于，根据所述窗口函数调用指令携带的窗口指令类型和所述目标逻辑表单得到窗口处理结果，包括：
若所述窗口函数调用指令携带的窗口指令类型为第一类型，获取所述窗口函数调用指令包含的排序字段；
根据原数据、所述目标分组数据和所述排序字段，确定目标排序数据，所述目标排序数据为所述原数据中所述目标分组数据所述记录的排序字段的内容；
在所述目标逻辑表单中，根据所述目标排序数据和所述目标分组数据进行排序。


4.根据权利要求3所述的方法，其特征在于，所述根据所述目标排序数据和所述目标分组数据进行排序，包括：
在所述目标逻辑表单中，根据所述目标分组数据对记录进行分组，得到记录分组，使每组记录分组的目标排序数据相同；
在每个记录分组中，根据目标排序数据对记录顺序进行排序。


5.根据权利要求2所述的方法，其特征在于，在根据哈希函数确定所述目标分组数据的哈希值之前，还包括：
根据预设的逻辑表单数量确定哈希函数的哈希值；
配置目标分组数据与所述哈希值的映射关系；
相应的，所述根据哈希函数确定所述目标分组数据的哈希值，...

【专利技术属性】
技术研发人员：陈振强，靳峥，赵鑫，
申请(专利权)人：星环信息科技上海股份有限公司，
类型：发明
国别省市：上海;31