数据处理方法、装置、电子设备和存储介质制造方法及图纸

本申请涉及一种数据处理方法、装置、电子设备和存储介质，应用于计算机技术领域，其中，该方法应用于计算引擎，所述计算引擎中包括一组算子，方法包括：将待处理数据进行切分，得到N份切分数据，其中，N为大于1的整数；对所述一组算子进行复制，得到M组算子，其中，M为大于1的整数；将所述切分数据分发至每组算子中。以解决现有技术中，采用算子内并行的方式，每次的互斥访问会造成计算引擎耗费较多的时间进行互斥运算，从而使得处理效率较低的问题。从而使得处理效率较低的问题。从而使得处理效率较低的问题。

【技术实现步骤摘要】
数据处理方法、装置、电子设备和存储介质


[0001]本申请涉及计算机
，尤其涉及一种数据处理方法、装置、电子设备和存储介质。

技术介绍

[0002]分析型数据库计算引擎在对数据进行处理时，将本节点数据读取到内存中交给算子处理，一个算子处理完毕，将处理结果交给下一个算子，直到处理完毕将结果集发送给客户端。
[0003]相关技术中，对于计算引擎中的每个算子会创建多个子线程，将数据切分成多份分别交给每个线程处理。
[0004]但是，上述方式，采用算子内并行的方式对数据进行处理，在每组算子内会共享一些全局数据需要互斥访问，每次的互斥访问会造成计算引擎耗费较多的时间进行互斥运算，从而使得处理效率较低。

技术实现思路

[0005]本申请提供了一种数据处理方法、装置、电子设备和存储介质，用以解决现有技术中，采用算子内并行的方式，每次的互斥访问会造成计算引擎耗费较多的时间进行互斥运算，从而使得处理效率较低的问题。
[0006]第一方面，本申请实施例提供了一种数据处理方法，应用于计算引擎，所述计算引擎中包括一组算子，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于计算引擎，所述计算引擎中包括一组算子，所述方法包括：将待处理数据进行切分，得到N份切分数据，其中，N为大于1的整数；对所述一组算子进行复制，得到M组算子，其中，M为大于1的整数；将所述切分数据分发至每组算子中。2.根据权利要求1所述的数据处理方法，其特征在于，所述将待处理数据进行切分，包括：获取所述待处理数据的数据处理条件，数据处理条件中包括处理方式；基于所述处理方式切分所述待处理数据。3.根据权利要求2所述的数据处理方法，其特征在于，所述基于所述处理方式切分所述待处理数据，包括：获取所述待处理数据的数据特征；基于所述数据特征确定所述待处理数据的切分方式；基于所述切分方式和所述处理方式，切分所述待处理数据。4.根据权利要求3所述的数据处理方法，其特征在于，所述数据特征包括所述待处理数据的数据表类型；所述基于所述数据特征确定所述待处理数据的切分方式，包括：基于所述数据表类型，判断所述待处理数据是否需要重新哈希或重新分区；若否，确定所述切分方式为按照所述待处理数据的行号切分；若是，确定所述切分方式为增加切分算子和本地数据交换算子，并基于所述切分算子切分所述待处理数据。5.根据权利要求1所述的数据处理方法，其特征在于，所述对所述一组算子进行复制，包括：获取所述待处理数据的数据处理条件，数据处理条件中包括处理方式；基于所述处理方式...

【专利技术属性】
技术研发人员：李晨光，崔杰，袁清乾，
申请(专利权)人：天津南大通用数据技术股份有限公司，
类型：发明
国别省市：