数据处理方法、装置、电子设备及存储介质制造方法及图纸

技术编号:23190902 阅读:23 留言:0更新日期:2020-01-24 16:15
本公开的实施例提供了一种数据处理方法、装置、电子设备及存储介质。该方法包括:响应于数据库的数据变更,通过所述数据库发出增量信息;通过采集组件接收所述增量信息并且进行解析,得到解析信息;通过第一数据节点接收所述解析信息并且进行处理,得到变更后的数据。本公开的数据处理方法降低了对数据库DB的查询依赖。另外,通过消息通知方式降低了数据的同步延迟,获得了更好的数据一致性和时效性。

Data processing method, device, electronic equipment and storage medium

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质
本公开的实施例涉及计算机
,更具体地,涉及一种数据处理方法、装置、电子设备及存储介质。
技术介绍
目前,对数据库(DB)采用定时增量加全量查询方式,例如,采用定时增量拉取方式。即,数据链路的同步几乎都是采用数据定时拉取方式,从而产生数据延迟,已经无法满足快速增长的广告业务,也不能很好地做到数据的实时同步,不能保证广告的实时上下线,甚至产生广告的超投。
技术实现思路
提供该
技术实现思路
部分以便以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。为了解决上述问题,本公开提供了一种数据处理方法、装置、电子设备及存储介质,本公开的方法能够更好地实现数据的实时同步,时效性更好。根据本公开的一个实施例,提供了一种数据处理方法,包括:响应于数据库的数据变更,通过所述数据库发出增量信息;通过采集组件接收所述增量信息并且对所述增量信息进行解析,得到解析本文档来自技高网...

【技术保护点】
1.一种数据处理方法,其特征在于,包括:/n响应于数据库的数据变更,通过所述数据库发出增量信息;/n通过采集组件接收所述增量信息并且对所述增量信息进行解析,以得到解析信息;/n通过第一数据节点接收所述解析信息并且对所述解析信息进行处理,得到变更后的数据。/n

【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:
响应于数据库的数据变更,通过所述数据库发出增量信息;
通过采集组件接收所述增量信息并且对所述增量信息进行解析,以得到解析信息;
通过第一数据节点接收所述解析信息并且对所述解析信息进行处理,得到变更后的数据。


2.根据权利要求1所述的数据处理方法,其特征在于,还包括:
通过第二数据节点从所述第一数据节点接收推送消息并且对所述推送消息进行处理,以更新所述第二数据节点的内存中的数据,使得所述第二数据节点的内存中的数据与所述第一数据节点中的变更后的数据保持一致。


3.根据权利要求2所述的数据处理方法,其特征在于,通过所述第一数据节点备份内存文件,并且通知所述第二数据节点对备份的所述内存文件进行加载。


4.根据权利要求3所述的数据处理方法,其特征在于,通过所述第二数据节点在收到所述第一数据节点的通知后加载所述内存文件。


5.根据权利要求1所述的数据处理方法,其特征在于,通过所述数据库发出的所述增量信息是基于binlog的增量消息。


6.一种数据处理装置,其特征在于,包括:
数据库,响应于数据变更,从所述数据库发出增量信息;
采集组件,接收所述增量信息并且对所述增量信息进行解析,得到解析信息;

【专利技术属性】
技术研发人员:李博洋杨波
申请(专利权)人:北京字节跳动网络技术有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1