一种数据处理的方法以及装置制造方法及图纸

本申请属于数据处理技术领域，公开了一种数据处理的方法以及装置，本申请公开的一种数据处理的方法包括，当确定有目标数据集合需要更新且当前运行的协程总数量低于预设数量阈值时，创建目标协程，并调用目标协程，以数据切片为数据更新单位，对数据库中存储的目标数据集合进行批量数据更新，以及在数据更新结束后，释放目标协程。这样，采用协程进行数据处理以及对数据库进行批量数据处理，降低了耗费的系统资源，提高了数据处理效率以及系统性能。提高了数据处理效率以及系统性能。提高了数据处理效率以及系统性能。

【技术实现步骤摘要】
一种数据处理的方法以及装置


[0001]本申请涉及数据处理
，尤其涉及一种数据处理的方法以及装置。

技术介绍

[0002]随着互联网技术的发展以及互联网应用的普及，互联网服务对数据处理的效率的要求也不断提高。
[0003]现有技术下，在数据拉取以及数据更新时，通常采用线程多任务并行处理的方式。
[0004]但是，线程调度时需要内核态和用户态的频繁切换，性能较低，还需要耗费大量的系统资源和时间，再者，对数据库的操作频率也较高，会进一步耗费大量的系统资源。
[0005]由此，在数据处理时，需要一个可以降低耗费的系统资源，提高数据处理效率以及系统性能的数据处理技术方案。

技术实现思路

[0006]本申请实施例提供一种数据处理的方法以及装置，用以在进行数据处理时，降低耗费的系统资源，提高数据处理效率以及系统性能。
[0007]一方面，提供一种数据处理的方法，包括：
[0008]确定有目标数据集合需要进行数据更新时，获取当前运行的协程总数量；
[0009]当协程总数量低于预设数量阈值时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理的方法，其特征在于，包括：确定有目标数据集合需要进行数据更新时，获取当前运行的协程总数量；当所述协程总数量低于预设数量阈值时，为所述目标数据集合创建目标协程，并将所述协程总数量加1，所述预设数量阈值是根据资源配置信息确定的；调用所述目标协程，以数据切片为数据更新单位，对数据库中存储的所述目标数据集合进行数据更新；释放所述目标协程，并将所述协程总数量减1。2.如权利要求1所述的方法，其特征在于，调用所述目标协程，以数据切片为数据更新单位，对数据库中存储的所述目标数据集合进行数据更新，包括：分别获取每一拉取的目标数据对应的数据类型；按照各目标数据的数据类型，将各目标数据添加至不同的数据切片中；根据数据切片中包含的多个目标数据，对数据库进行数据更新。3.如权利要求2所述的方法，其特征在于，进一步包括：当确定当前运行的协程总数量为指定数量时，对创建的所有协程进行释放。4.如权利要求1-3任一项所述的方法，其特征在于，在调用所述目标协程，以数据切片为数据更新单位，对数据库中存储的所述目标数据集合进行数据更新之前，进一步包括：采用互斥锁，将各目标数据进行加锁保护；在目标数据集合进行数据更新之后，进一步包括：将各目标数据进行解锁处理。5.如权利要求1-3任一项所述的方法，其特征在于，进一步包括：通过所述目标协程以及相应的协程通道，接收其它协程发送的指定数据，并调用所述目标协程对目标数据和接收的指定数据进行数据统计处理；其中，所述协程...

【专利技术属性】
技术研发人员：刘华敏，刘伯恒，殷锡艺，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：