数据处理方法、装置、设备、介质和程序产品制造方法及图纸

技术编号:42476870 阅读:15 留言:0更新日期:2024-08-21 12:59
本公开提供了一种数据处理方法、装置、设备、介质和程序产品,可以应用于大数据技术领域和金融科技技术领域。该数据处理方法包括:获取数据包;对N条日志记录依次进行预解析,得到与N条日志记录各自对应的字符类型的记录编号数据、键值数据、字段总长度数据;根据字符类型的字段总长度数据,从数据包读取与N条日志记录各自对应的字节类型的日志记录内容数据;利用M个解析线程对与N条日志记录各自对应的字节类型的日志记录内容数据进行并行解析,得到与N条日志记录各自对应的字符类型的日志内容数据;根据与N条日志记录各自对应的字符类型的记录编号数据及键值数据,将与N条日志记录各自对应的字符类型的日志记录内容数据存储于目标数据库。

【技术实现步骤摘要】

本公开涉及大数据和金融科技,更具体地涉及一种数据处理方法、装置、设备、介质和程序产品


技术介绍

1、相关技术,数据库增量数据复制通常采用逻辑复制的方式,即在源端抓取数据库日志,获取增量更新数据,并将该增量更新数据发送目标端进行存储。

2、在实现上述专利技术构思的过程中,专利技术人发现:相关技术,目标端通常对与增量更新数据对应的数据包进行串行解析,得到增量更新数据,数据处理效率较低。


技术实现思路

1、鉴于上述问题,本公开提供了数据处理方法、装置、设备、介质和程序产品。

2、根据本公开的第一个方面,提供了一种数据处理方法,应用于第一设备端,其特征在于,方法包括:获取数据包,其中,上述数据包包括n条与源数据库对应的日志记录,每条日志记录包括字节类型的记录编号数据、键值数据、字段总长度数据、日志内容数据,上述字段总长度数据表征上述日志内容数据所占的字节总长度,n为正整数;对n条上述日志记录依次进行预解析,得到与n条上述日志记录各自对应的字符类型的记录编号数据、键值数据和字段总长度数据;根据本文档来自技高网...

【技术保护点】

1.一种数据处理方法,应用于第一设备端,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述利用M个解析线程对与N条所述日志记录各自对应的字节类型的日志记录内容数据进行并行解析,得到与N条所述日志记录各自对应的字符类型的日志内容数据包括:

3.根据权利要求2所述的方法,其特征在于,所述根据与N条所述日志记录各自对应的字符类型的键值数据,从所述M个解析线程中确定与N条所述日志记录各自匹配的解析线程包括:

4.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:

5.根据权利要求2或3所述的方法,其特征在于,所述利用...

【技术特征摘要】

1.一种数据处理方法,应用于第一设备端,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述利用m个解析线程对与n条所述日志记录各自对应的字节类型的日志记录内容数据进行并行解析,得到与n条所述日志记录各自对应的字符类型的日志内容数据包括:

3.根据权利要求2所述的方法,其特征在于,所述根据与n条所述日志记录各自对应的字符类型的键值数据,从所述m个解析线程中确定与n条所述日志记录各自匹配的解析线程包括:

4.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:

5.根据权利要求2或3所述的方法,其特征在于,所述利用所述m个解析线程中与n条所述日志记录各自匹配的解析线程,对与n条所述日志记录各自对应的字节类型的日志记录内容数据进行并行解析,得到与n条所述日志记录各自对应的字符类型的日志内容数据包括:

6.一种数据...

【专利技术属性】
技术研发人员:钟小威
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1