一种数据处理方法、电子设备及存储介质技术

技术编号:43553111 阅读:14 留言:0更新日期:2024-12-06 17:28
本申请涉及数据处理技术领域,公开了一种数据处理方法、电子设备及存储介质,在基于Rust编程语言进行数据处理的方法中,可以将二分递归处理得到的多份数据中每份数据的处理作为一个异步任务,并分别交由不同的线程执行。当某个异步任务执行完成时,可以将执行该异步任务的线程切换执行其他异步任务,如此,可以减少线程资源的浪费。

【技术实现步骤摘要】

本申请涉及数据处理,特别涉及一种数据处理方法、电子设备及存储介质


技术介绍

1、在电子设备对数据进行处理的过程中,处理器可以将待处理数据分成多份,并将每份数据的处理作为一个任务,然后顺序执行多个任务,并综合多个任务的执行结果得到待处理数据的处理结果。

2、例如,rust编程语言支持同步的并行迭代器,通过同步的并行迭代器可以对数据进行顺序遍历和处理。然而,在对大规模数据进行顺序处理时,可以对大规模数据进行二分递归处理,将大规模数据分成与线程的数量相等的多份数据,并将每份数据的处理作为一个任务分配一个线程,当一个线程处理完分配的任务,另一个线程未处理完分配的任务时,处理完分配的任务的线程会调用未处理完分配的任务的线程的阻塞方法,来阻塞处理完分配的任务的线程。然而,由于线程的数量始终与电子设备的处理器内核的数量相等,即线程的数量是有限的,阻塞处理完分配的任务的线程会造成线程资源的浪费。


技术实现思路

1、为解决阻塞当前工作线程会造成线程资源的浪费的问题,本申请实施例提供一种数据处理方法、电子设备及存储本文档来自技高网...

【技术保护点】

1.一种数据处理方法,用于电子设备,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述第一编程语言为Rust编程语言或者C++编程语言。

3.根据权利要求1所述的方法,其特征在于,对应于所述第一编程语言为Rust编程语言,

4.根据权利要求3所述的方法,其特征在于,所述基于所述Rust编程语言中的并行迭代器将所述第一待处理数据集合分为M个数据子集合,包括:

5.根据权利要求1所述的方法,其特征在于,所述N个线程是基于所述电子设备的处理器的内核的数量确定的。

6.根据权利要求1所述的方法,其特征在于,所述N个线程包...

【技术特征摘要】

1.一种数据处理方法,用于电子设备,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述第一编程语言为rust编程语言或者c++编程语言。

3.根据权利要求1所述的方法,其特征在于,对应于所述第一编程语言为rust编程语言,

4.根据权利要求3所述的方法,其特征在于,所述基于所述rust编程语言中的并行迭代器将所述第一待处理数据集合分为m个数据子集合,包括:

5.根据权利要求1所述的方法,其特征在于,所述n个线程是基于所述电子设备的处理器的内核的数量确定的。

6.根据权利要求1所述的方法,其特征在于,所述n个线程包括第一线程,

7.根据权利...

【专利技术属性】
技术研发人员:陈明煜
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1