数据处理方法及装置制造方法及图纸

本申请公开了数据处理方法及装置、电子设备、计算机存储介质，将存储系统中的数据存入待处理队列；将所述待处理队列中的数据组合成一个或多个数据集合；每个所述数据集合包括多条数据；调用接口，批量处理所述数据集合中的数据。将数据信息的处理从同步改成异步，从存储系统中读取数据并插入待处理队列中，将待处理队列中的数据组合成多条数据的数据集合，调用接口批量处理数据集合中的数据，由此大大减少了调用接口的次数，减小数据库压力，提高单位时间的数据处理量，提高数据处理效率，满足数据处理的时效性需求，可提升CPU使用率、系统稳定性及数据安全性，让系统稳定、高效、有序地处理海量数据，每天稳定处理巨大的数据量。

【技术实现步骤摘要】
数据处理方法及装置
本申请涉及数据处理
，尤其涉及数据处理方法及装置、电子设备、计算机存储介质。
技术介绍
现今大数据时代，物流、电商、互联网等行业经常面临处理海量数据的情况，在对海量数据进行处理的过程中，往往需要考虑处理数据时数据重复及高并发等情况，通常做法是遍历导入数据，查询数据库去重后，将数据存入数据库中，然后再次遍历数据进行数据处理，最后将处理后的数据和数据结果储存起来。现有技术在对数据进行处理的过程中，大多是针对单条数据进行处理，通常处理每条数据都需要调用一次接口，数据量越大时给数据库造成的压力越大。随着业务快速发展，需要处理的数据越来越多，频繁的查库去重、单位时间的数据处理量剧增、数据处理时效性的苛刻要求，都对技术、甚至数据隐私安全，带来巨大的考验。
技术实现思路
本申请的目的在于提供数据处理方法及装置、电子设备、计算机存储介质，解决现有技术的不足，对数据进行批量处理，调用一次接口处理多条数据，减少调用接口的次数，减小数据库压力，克服因单位时间内导入数据量过大导致数据处理超时的问题。本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n将存储系统中的数据存入待处理队列；/n将所述待处理队列中的数据组合成一个或多个数据集合；每个所述数据集合包括多条数据；/n调用接口，批量处理所述数据集合中的数据。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
将存储系统中的数据存入待处理队列；
将所述待处理队列中的数据组合成一个或多个数据集合；每个所述数据集合包括多条数据；
调用接口，批量处理所述数据集合中的数据。


2.根据权利要求1所述的数据处理方法，其特征在于，所述调用接口，批量处理所述数据集合中的数据，包括：
调用所述接口，通过多个进程批量处理所述数据集合中的数据。


3.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：
将处理失败的数据重新存入所述待处理队列并延时处理。


4.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：
将处理失败的数据对应的错误类型存储至所述存储系统。


5.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：
将处理成功的数据在所述存储系统中的处理状态调整为处理成功；
将处理失败的数据在所述存储系统中的处理状态调整为处理失败。


6.根据权利要求5所述的数据处理方法，其特征在于，所述方法还包括：
将数...

【专利技术属性】
技术研发人员：梅亚雄，谢豆，
申请(专利权)人：上海东普信息科技有限公司，
类型：发明
国别省市：上海;31