【技术实现步骤摘要】
数据处理方法、装置、计算机设备和存储介质
[0001]本申请涉及数据存储
，特别是涉及一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品。
技术介绍
[0002]本地对象管理系统中以数据对象的形式进行数据存储。其中，每一数据对象中包含相同属性的数据以及描述该相同属性的数据的元数据。
[0003]在对本地对象管理系统中的数据进行数据处理时，例如，用户请求在本地对象管理系统中进行写数据时，本地对象管理系统需要执行打开(或者创建)数据对象、写数据对象和关闭数据对象等多个数据处理流程，其中每一数据处理流程包含多个任务作业(job)，针对每一数据处理流程，本地对象管理系统都可以通过一个事务对该数据处理流程进行保护，在事务保护下，对进入事务中的任务作业进行数据处理，然后，将数据处理后的job进行日志固化和日志应用。
[0004]然而，在每一数据处理流程中，每一数据处理后的job，都需要进行日志固化和日志应用缓存，而日志固化过程中需要数据落盘，多个数据处理后的job需要多次数据落盘，耗费大量的时间，使得数据
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：响应于数据处理请求，创建数据处理流程；每一所述数据处理流程中包含多个任务作业；基于分级聚合处理策略，在预设的各级事务的缓存队列中对所述多个任务作业进行数据处理和聚合，得到聚合缓存；当所述聚合缓存满足预设的事务缓存提交条件时，将所述聚合缓存提交至日志设备，指示所述日志设备对所述聚合缓存中的数据进行日志固化处理。2.根据权利要求1所述的方法，其特征在于，所述基于分级聚合处理策略，在预设的各级事务的缓存队列中对所述多个任务作业进行数据处理和聚合，得到聚合缓存，包括：针对每一所述数据处理流程，将所述多个任务作业存储至二级事务中的第二缓存队列；通过执行所述二级事务，对所述第二缓存队列中的多个任务作业进行数据处理，并对所述数据处理完成后的所述多个任务作业进行聚合，得到二级事务缓存；将所述二级事务缓存存储至一级事务的第一缓存队列中，并在所述第一缓存队列中对所述二级事务缓存进行聚合，得到一级事务缓存，将所述一级事务缓存作为所述聚合缓存。3.根据权利要求2所述的方法，其特征在于，所述将所述二级事务缓存存储至一级事务的第一缓存队列中之后，所述方法还包括：为所述第一缓存队列中存储的所述二级事务缓存添加事务缓存序号，所述事务缓存序号表征在所述第一缓存队列中各所述二级事务缓存的处理排位顺序；根据所述二级事务缓存对应的所述事务缓存序号，更新事务缓存序列；所述事务缓存序号序列用于反映当前所述一级事务缓存中包含的二级事务缓存信息；将所述事务缓存序列中更新后的所述事务缓存序号反馈至数据处理请求方。4.根据权利要求2所述的方法，其特征在于，所述预设的事务缓存提交条件包含事务数量满足预设的事务量阈值、事务缓存时间大于或者等于预设的事务缓存时间阈值、存在等待的数据处理请求方、日志设备异常中的至少一项。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述指示所述日志设备对所述聚合缓存中的数据进行日志固化处理之后，所述方法还包括：将日志固化处理后的一级事务缓存对应的目标事务缓存序号，作为事务完成序号；根据所述事务完成序号以及预设的数据处理请求方唤醒条件，在各数据处理请求方中确定目标数据处理请求方；向所述目标数据处理请求方...
【专利技术属性】
技术研发人员：白煌煌，季旻，石胜男，黄春平，刘芳，
申请(专利权)人：曙光信息产业股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。