数据处理方法技术

本发明专利技术实施例公开了一种数据处理方法

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质


[0001]本专利技术实施例涉及计算机
，尤其涉及一种数据处理方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]在大数据逐渐发展的背景下，通常会进行实时数据的计算
。
在已存在大量实时数据的前提下，通常是实时数据写入分布式表中，进而基于分布式表提供的数据写入组件将实时数据写入与分布式表对应的本地表，从而基于本地表中存储的数据进行数据查询和处理
。
[0003]专利技术人在基于上述方式实施本技术方案时，发现存在如下问题：
[0004]目前，在分布式表接收到实时数据时，需要将数据划分为多个部分并转发到相应服务器上存储，存在服务器间网络流量增加，引起数据写入速率较低的问题
。
同时，由于是异步发送存储，若期间服务器宕机会存在数据丢失的问题
。
进一步的，在还存在数据写入不均衡的问题
。
[0005]基于上述可知，现有将实时数据写入分布表中存在数据写入效率较低...

【技术保护点】

【技术特征摘要】
1.
一种数据处理方法，其特征在于，包括：在接收到将读取的待处理数据写入本地表的数据写入请求时，根据各本地表节点的当前使用属性信息，确定出目标本地表节点；将所述待处理数据写入至与所述目标本地表节点相对应的目标本地表中，并根据各本地表节点的当前使用属性信息和原始配置信息，更新各本地表节点的当前使用属性信息，以在接收到数据写入请求时，基于更新后的各本地表节点的当前使用属性信息确定目标本地表节点
。2.
根据权利要求1所述的方法，其特征在于，还包括：基于预先设置的定时任务从各数据源中读取待处理数据，并基于所述待处理数据生成所述数据写入请求
。3.
根据权利要求1所述的方法，其特征在于，所述当前使用属性信息中包括当前使用权重值，所述根据各本地表节点的当前使用属性信息，确定出目标本地表节点，包括：从属性缓存容器中获取各本地表节点的当前使用权重值，并将当前使用权重值最大的本地表节点作为所述目标本地表节点
。4.
根据权利要求1所述的方法，其特征在于，还包括：确定各本地表节点的原始配置信息；将各本地表节点的节点标识以及相应的原始配置信息按照预设数据类型存储至负载均衡缓存容器中，以在检测到将待处理数据写入目标本地表的时，根据所述负载均衡缓存容器中存储的各原始配置信息，更新所述相应本地表节点的当前使用属性信息
。5.
根据权利要求4所述的方法，其特征在于，还包括：基于监听模块监听所述负载均衡缓存容器中存储的原始配置信息，并在检测到所述原始配置信息发生变化时，基于变化后的原始配置信息更新所述属性缓存容器中的各当前使用属性信息
。6.
根据权利要求4所述的方法，其特征在于，所述根...

【专利技术属性】
技术研发人员：迟成龙，
申请(专利权)人：北京京东振世信息技术有限公司，
类型：发明
国别省市：