数据入库处理方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及数据库技术领域，提供了一种数据入库处理方法、装置、计算机设备和存储介质。该方法包括：通过接收待入库数据，并将待入库数据发送给目标窗口进行处理，得到目标存储数据，将该目标存储数据存储至数据库，其中，目标窗口的时间参数包括等待时间和窗口时间，该等待时间和窗口时间是根据至少一个历史窗口的处理耗时和处理数据量得到，使得在进行待入库数据接收和处理时，能够根据历史窗口的处理情况及时调整处理策略，避免系统资源浪费，提高了数据入库处理的效率。

【技术实现步骤摘要】
数据入库处理方法、装置、计算机设备和存储介质
本申请涉及数据库
，特别是涉及一种数据入库处理方法、装置、计算机设备和存储介质。
技术介绍
数据库在进行数据入库时，通常会有大量的数据通过消息队列发到数据库的存储上。数据库对数据的需求具有实时性，需要在很短的数据延迟就可以在数据库查询到已入库数据。目前技术中，通常采用流式处理入库技术处理消息队列的新增数据，将获得的数据准时地写入数据库的存储中。当增量数据的速率变动较大时，通常会导致资源浪费或者资源不足，影响数据入库处理的效率。
技术实现思路
基于此，有必要针对目前技术中存在的数据入库处理效率低的技术问题，提供一种数据入库处理方法、装置、计算机设备和存储介质。一种数据入库处理方法，所述方法包括：根据至少一个历史窗口对接收到的数据的处理耗时，得到目标窗口的等待时间；以及根据所述至少一个历史窗口的处理数据量，得到所述目标窗口的窗口时间；根据所述等待时间和所述窗口时间，生成所述目标窗口；所述等待时间表征上一个窗口结束至所述目标窗口产生的时间间隔，所述窗口时间本文档来自技高网...

【技术保护点】
1.一种数据入库处理方法，其特征在于，所述方法包括：/n根据至少一个历史窗口对接收到的数据的处理耗时，得到目标窗口的等待时间；以及根据所述至少一个历史窗口的处理数据量，得到所述目标窗口的窗口时间；根据所述等待时间和所述窗口时间，生成所述目标窗口；所述等待时间表征上一个窗口结束至所述目标窗口产生的时间间隔，所述窗口时间表征所述目标窗口获取到的数据的时间区间；/n接收待入库数据；/n将所述待入库数据发送给目标窗口进行处理，获取所述目标窗口处理后的目标存储数据；/n将所述目标存储数据存储至数据库。/n

【技术特征摘要】
1.一种数据入库处理方法，其特征在于，所述方法包括：
根据至少一个历史窗口对接收到的数据的处理耗时，得到目标窗口的等待时间；以及根据所述至少一个历史窗口的处理数据量，得到所述目标窗口的窗口时间；根据所述等待时间和所述窗口时间，生成所述目标窗口；所述等待时间表征上一个窗口结束至所述目标窗口产生的时间间隔，所述窗口时间表征所述目标窗口获取到的数据的时间区间；
接收待入库数据；
将所述待入库数据发送给目标窗口进行处理，获取所述目标窗口处理后的目标存储数据；
将所述目标存储数据存储至数据库。


2.根据权利要求1所述的方法，其特征在于，所述根据至少一个历史窗口对接收到的数据的处理耗时，得到目标窗口的等待时间；以及根据至少一个历史窗口的处理数据量，得到所述目标窗口的窗口时间，包括：
根据所述至少一个历史窗口的处理耗时与耗时阈值的对比结果，确定所述等待时间；
根据所述至少一个历史窗口的处理数据量与数据量阈值的对比结果，确定所述窗口时间。


3.根据权利要求2所述的方法，其特征在于，所述根据所述至少一个历史窗口的处理耗时与耗时阈值的对比结果，确定所述等待时间，包括：
获取所述至少一个历史窗口的等待时间；
若所述至少一个历史窗口的处理耗时的加权耗时小于或等于所述耗时阈值，确定大于所述至少一个历史窗口的参照等待时间的时间值，作为所述等待时间；
若所述至少一个历史窗口的处理耗时的加权耗时大于所述耗时阈值，确定小于或等于所述至少一个历史窗口的参照等待时间的时间值，作为所述等待时间。


4.根据权利要求2所述的方法，其特征在于，所述根据所述至少一个历史窗口的处理数据量与数据量阈值的对比结果，确定所述窗口时间，包括：
获取所述目标窗口的初始窗口时间；
若所述至少一个历史窗口的处理数据量大于所述数据量阈值，增大所述初始窗口时间，得到所述窗口时间。


5...

【专利技术属性】
技术研发人员：潘星，谢凌，宋志峰，
申请(专利权)人：港胜技术服务深圳有限公司，
类型：发明
国别省市：广东;44