数据处理方法、装置、系统及存储介质制造方法及图纸

本申请提供一种数据处理方法、装置、系统及存储介质，该方法，包括：对待更新数据进行时间戳包装，得到包装后的数据；将所述包装后的数据存入缓存空间中；根据预设周期，遍历所述缓存空间，获取所述缓存空间中所述包装后的数据的时间戳所对应的时间；若所述包装后的数据的时间戳所对应的时间小于当前时间，则将所述包装后的数据写入数据库中。本申请可以在不改变数据库配置的前提下，适应高频次的数据更新，保证数据库的稳定性，降低数据库的硬件成本。

【技术实现步骤摘要】
数据处理方法、装置、系统及存储介质
本申请涉及大数据
，尤其涉及一种数据处理方法、装置、系统及存储介质。
技术介绍
随着数据处理量的不断增加，需要通过数据库对数据进行存储管理。在一些业务较为复杂或者用户较多的场景中，经常需要对数据进行频繁的更新处理。每一次更新变动，都会向数据库提交一次数据，然后由数据库对提交的数据进行清洗和存储处理。目前，一般采用提高数据库自身配置的方式来适应数据的频繁更新，或者通过异步处理的方式来抑制数据库的数据处理峰值。但是，上述方式不能降低数据更新的频率，导致对数据库的配置和吞吐量的要求较高。
技术实现思路
本申请提供一种数据处理方法、装置、系统及存储介质，可以在不改变数据库配置的前提下，适应高频次的数据更新，保证数据库的稳定性，降低数据库的硬件成本。第一方面，本申请实施例提供一种数据处理方法，包括：对待更新数据进行时间戳包装，得到包装后的数据；将所述包装后的数据存入缓存空间中；根据预设周期，遍历所述缓存空间，获取所述缓存空间中所述包装后的数据的时本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n对待更新数据进行时间戳包装，得到包装后的数据；/n将所述包装后的数据存入缓存空间中；/n根据预设周期，遍历所述缓存空间，获取所述缓存空间中所述包装后的数据的时间戳所对应的时间；/n若所述包装后的数据的时间戳所对应的时间小于当前时间，则将所述包装后的数据写入数据库中。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
对待更新数据进行时间戳包装，得到包装后的数据；
将所述包装后的数据存入缓存空间中；
根据预设周期，遍历所述缓存空间，获取所述缓存空间中所述包装后的数据的时间戳所对应的时间；
若所述包装后的数据的时间戳所对应的时间小于当前时间，则将所述包装后的数据写入数据库中。


2.根据权利要求1所述的方法，其特征在于，所述对待更新数据进行时间戳包装，得到包装后的数据，包括：
在所述待更新数据中添加起始时间点和有效时间段，得到所述包装后的数据；其中，所述起始时间点包括：数据生成时间，或数据上一次的更新时间；所述有效时间段包括：数据不变更的上限时间。


3.根据权利要求1所述的方法，其特征在于，将所述包装后的数据存入缓存空间中，包括：
获取所述待更新数据的数据标识；
若所述缓存空间中存在所述数据标识对应的数据，则将所述包装后的数据覆盖缓存空间中所述数据标识对应的数据；
若所述缓存空间中不存在所述数据标识对应的数据，则将所述包装后的数据存入所述缓存空间中。


4.根据权利要求2所述的方法，其特征在于，获取所述缓存空间中所述包装后的数据的时间戳所对应的时间，包括：
获取所述缓存空间中所述包装后的数据的起始时间点和有效时间段；
计算所述起始时间点和所述有效时间段之和，得到所述包装后的数据的时间戳所对应的时间。


5.根据权利要求1-4中任一项所述的方法，其特征...

【专利技术属性】
技术研发人员：隋玉杰，
申请(专利权)人：北京沃东天骏信息技术有限公司，
类型：发明
国别省市：北京;11