【技术实现步骤摘要】
本申请涉及大数据领域，具体而言，涉及一种数据处理方法、装置、存储介质以及电子设备。
技术介绍
1、在使用clickhouse管理系统中的distributed引擎对多台计算机设备进行分布式管理的时候，在进行数据聚合操作时，通常采用的方法为“两段聚合”方法，也即根据数据聚合要求在每台设备中的数据库中获取待聚合数据，并将多台设备中的待聚合数据发送至配置有distributed引擎的主节点设备中，由主节点设备进行数据的聚合操作，从而完成数据聚合操作。
2、但是，在需要聚合的数据量过大的情况下，主节点设备会在短时间内接收到大量的待聚合数据，并需要对大量待聚合数据进行处理，进而影响主节点设备的运行状态以及数据聚合操作的准确性。
3、针对相关技术中由于主节点设备需要同时处理大量待聚合数据，导致主节点设备的运行性能和数据聚合操作的准确性降低的问题，目前尚未提出有效的解决方案。
技术实现思路
1、本申请提供一种数据处理方法、装置、存储介质以及电子设备，以解决相关技术中由于主节点设备需要同时处理大量待聚合数据，导致主节点设备的运行性能和数据聚合操作的准确性降低的问题。
2、根据本申请的一个方面，提供了一种数据处理方法。该方法包括：解析用户端发送的数据处理指令，得到数据处理指令指示的数据集合和数据处理要求，其中，数据集合中包括m组待处理数据，每组待处理数据位于一个数据存储节点中，m为正整数；判断m组待处理数据是否均符合预设存储要求，并在每组待处理数据均符合预设存储要
3、可选地，在判断m组待处理数据是否均符合预设存储要求之前，该方法还包括：接收待存储数据，并确定待存储数据的数据类型；获取数据类型对应的编码数据，并对编码数据进行哈希计算，得到计算结果，根据计算结果确定待存储数据的存储位置；将待存储数据存储至存储位置，并为存储位置添加预设标识，其中，预设标识用于指示存储位置下的数据是否符合预设存储要求。
4、可选地，判断m组待处理数据是否均符合预设存储要求包括：对于任意一组待处理数据，确定该组待处理数据中的每个数据的存储位置是否均具有预设标识；在该组待处理数据中的每个数据的存储位置均具有预设标识的情况下，确定该组待处理数据符合预设存储要求。
5、可选地，将m个子处理结果进行组合，得到数据处理指令的数据处理结果包括：根据m个子处理结果和数据处理要求确定对m个子处理结果进行组合所需的组合函数；判断数据库中是否存在组合函数；在数据库中存在组合函数的情况下，获取组合函数，并通过组合函数对m个子处理结果进行组合，得到数据处理结果；在数据库中不存在组合函数的情况下，向服务端发送组合函数获取请求，并接收服务端反馈的组合函数，通过组合函数对m个子处理结果进行组合，得到数据处理结果，并将组合函数和数据处理要求关联存储至数据库中。
6、可选地，目标数据存储节点在接收到数据处理指令的情况下，根据数据处理指令指示的数据集合获取存储在目标数据存储节点中的待处理数据，并根据数据处理要求对待处理数据进行处理，得到目标数据存储节点的子处理结果。
7、可选地，在m组待处理数据中存在不符合预设存储要求的n组待处理数据的情况下，该方法还包括：依次确定每组数据所属的数据存储节点，得到n个候选节点，其中，n为正整数，n小于m；获取每个候选节点所属的设备的配置信息，得到n个配置信息，并根据n个配置信息从n个候选节点中选取目标节点，并将每个候选节点中存储的一组待处理数据发送至目标节点中；通过目标节点对n组待处理数据进行处理，得到子处理结果。
8、可选地，将数据处理结果反馈至用户端包括：确定数据处理结果的数据格式，并获取用户端的数据读取格式；判断数据格式与数据读取格式是否相同；在数据格式与数据读取格式不相同的情况下，将数据处理结果的数据格式转换为数据读取格式，得到更新后的数据处理结果，并将更新后的数据处理结果发送至用户端。
9、根据本申请的另一方面，提供了一种数据处理装置。该装置包括：解析单元，用于解析用户端发送的数据处理指令，得到数据处理指令指示的数据集合和数据处理要求，其中，数据集合中包括m组待处理数据，每组待处理数据位于一个数据存储节点中，m为正整数；下发单元，用于判断m组待处理数据是否均符合预设存储要求，并在每组待处理数据均符合预设存储要求的情况下，将数据处理指令下发至每个数据存储节点中，并通过每个数据存储节点根据数据处理要求对每组待处理数据进行处理，得到m个子处理结果；组合单元，用于接收每个数据存储节点反馈的子处理结果，并在接收到m个子处理结果的情况下，将m个子处理结果进行组合，得到数据处理指令的数据处理结果，并将数据处理结果反馈至用户端。
10、根据本专利技术的另一方面，还提供了一种计算机存储介质，计算机存储介质用于存储程序，其中，程序运行时控制计算机存储介质所在的设备执行一种数据处理方法。
11、根据本专利技术的另一方面，还提供了一种电子设备，包含一个或多个处理器和存储器；存储器中存储有计算机可读指令，处理器用于运行计算机可读指令，其中，计算机可读指令运行时执行一种数据处理方法。
12、通过本申请，采用以下步骤：解析用户端发送的数据处理指令，得到数据处理指令指示的数据集合和数据处理要求，其中，数据集合中包括m组待处理数据，每组待处理数据位于一个数据存储节点中，m为正整数；判断m组待处理数据是否均符合预设存储要求，并在每组待处理数据均符合预设存储要求的情况下，将数据处理指令下发至每个数据存储节点中，并通过每个数据存储节点根据数据处理要求对每组待处理数据进行处理，得到m个子处理结果；接收每个数据存储节点反馈的子处理结果，并在接收到m个子处理结果的情况下，将m个子处理结果进行组合，得到数据处理指令的数据处理结果，并将数据处理结果反馈至用户端。解决了相关技术中由于主节点设备需要同时处理大量待聚合数据，导致主节点设备的运行性能和数据聚合操作的准确性降低的问题。通过在向每个数据存储节点中存储数据的时候使用预设存储要求进行存储，从而在对数据进行处理的时候，可以将数据处理要求下发至每个数据存储节点中，由每个数据存储节点先对其中存储的数据进行初步处理，并仅将处理结果发送至主节点设备中，再由主节点设备进行数据整合处理，从而将主节点设备需要处理的数据分散到多个数据存储节点中进行处理，进而达到了降低主节点的数据处理量，保证了主节点设备的正常运行，同时提高了数据处理的准确率的效果。
本文档来自技高网...【技术保护点】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在判断所述M组待处理数据是否均符合预设存储要求之前，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，判断所述M组待处理数据是否均符合预设存储要求包括：
4.根据权利要求1所述的方法，其特征在于，将所述M个子处理结果进行组合，得到所述数据处理指令的数据处理结果包括：
5.根据权利要求1所述的方法，其特征在于，目标数据存储节点在接收到所述数据处理指令的情况下，根据所述数据处理指令指示的数据集合获取存储在所述目标数据存储节点中的待处理数据，并根据所述数据处理要求对所述待处理数据进行处理，得到所述目标数据存储节点的子处理结果。
6.根据权利要求1所述的方法，其特征在于，在所述M组待处理数据中存在不符合预设存储要求的N组待处理数据的情况下，所述方法还包括：
7.根据权利要求1所述的方法，其特征在于，将所述数据处理结果反馈至用户端包括：
8.一种数据处理装置，其特征在于，包括：
9.一种计算机存储介质，
10.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至7中任意一项所述的数据处理方法。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在判断所述m组待处理数据是否均符合预设存储要求之前，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，判断所述m组待处理数据是否均符合预设存储要求包括：
4.根据权利要求1所述的方法，其特征在于，将所述m个子处理结果进行组合，得到所述数据处理指令的数据处理结果包括：
5.根据权利要求1所述的方法，其特征在于，目标数据存储节点在接收到所述数据处理指令的情况下，根据所述数据处理指令指示的数据集合获取存储在所述目标数据存储节点中的待处理数据，并根据所述数据处理要求对所述待处理数据进行处理，得到所述目标数据存储节点的子处理结果。
6.根...
【专利技术属性】
技术研发人员：陈陆洋，
申请(专利权)人：天翼电子商务有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。