本申请公开了一种数据处理方法、装置、设备及存储介质，涉及数据处理技术领域。该方法包括根据查询任务的N个查询时间片，创建与N个查询时间片中每个查询时间片对应的采集协程池，采集协程池包括M个第一协程；通过与每个查询时间片对应的采集携程池中的M个第一协程，从数据库中读取每个查询时间片相关的查询数据；在存在目标采集协程池且目标采集协程池对应的目标查询时间片的时间与通知管道携带的第一查询时间片的时间匹配时，将与目标查询时间片相关的查询数据读取到数据管道，以向中转服务发送数据管道中的数据。这样，通过对N个查询时间片的数据进行并发处理，提高从数据库中查询数据的效率，降低从数据库中查询数据的耗能。
【技术实现步骤摘要】
本申请属于数据处理，尤其涉及一种数据处理方法、装置、设备及存储介质。
技术介绍
1、数据传输平台(data transfer express，dtex)是一种为服务系统实时数据分发和批量数据转移的平台，该平台需要实现按照时间片维度从数据库中查询数据，并将其查询的数据推送至中转服务。
2、在相关技术中，按照时间片维度从数据库中查询数据的过程为，通过预设时间片的起始时间和时间片大小，按照时间片大小串行的从数据库中读取每一个时间片对应的数据，比如，预设时间片的起始时间为1月1号零点，时间片大小为10分钟，基于此，先从数据库中读取零点到零点10分的数据，提取完毕后，才能继续读取零点10分到20分的数据，由此，会增加数据查询的时长和耗能，降低从数据库中查询数据的效率。
技术实现思路
1、本申请实施例提供一种数据处理方法、装置、设备及存储介质，能够解决相关技术中从数据库中查询数据耗能高、效率低的问题。
2、第一方面，本申请实施例提供一种数据处理方法，该方法可以包括：
>3、获取查询任务的本文档来自技高网...
【技术保护点】
1.一种数据处理方法，包括：
2.根据权利要求1所述的方法，其中，所述通过与所述每个查询时间片对应的采集携程池中的M个第一协程，从数据库中读取所述每个查询时间片相关的查询数据，包括：
3.根据权利要求1所述的方法，其中，所述通知管道包括N个通知管道，所述N个通知管道包括与所述N个查询时间片中每个查询时间片对应的通知管道；所述将与所述目标查询时间片相关的查询数据读取到数据管道之前，所述方法还包括：
4.根据权利要求1所述的方法，其中，所述根据所述N个查询时间片，创建N个采集协程池，包括：
5.根据权利要求4所述的方法，其中，所述第一状态为所述...
【技术特征摘要】
1.一种数据处理方法，包括：
2.根据权利要求1所述的方法，其中，所述通过与所述每个查询时间片对应的采集携程池中的m个第一协程，从数据库中读取所述每个查询时间片相关的查询数据，包括：
3.根据权利要求1所述的方法，其中，所述通知管道包括n个通知管道，所述n个通知管道包括与所述n个查询时间片中每个查询时间片对应的通知管道；所述将与所述目标查询时间片相关的查询数据读取到数据管道之前，所述方法还包括：
4.根据权利要求1所述的方法，其中，所述根据所述n个查询时间片，创建n个采集协程池，包括：
5.根据权利要求4所述的方法，其中，所述第一状态为所述第一协程已执行完成读取的状态；
6.根据权利要求4所述的方法，其中，所述从数据库中读取所述每个查询时间片相关的查询数据之后，所述...
【专利技术属性】
技术研发人员：王斯丙，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。