【技术实现步骤摘要】
本公开涉及大数据和金融科技,更具体地涉及一种数据处理方法、装置、设备、介质和程序产品。
技术介绍
1、相关技术,数据库增量数据复制通常采用逻辑复制的方式,即在源端抓取数据库日志,获取增量更新数据,并将该增量更新数据发送目标端进行存储。
2、在实现上述专利技术构思的过程中,专利技术人发现:相关技术,目标端通常对与增量更新数据对应的数据包进行串行解析,得到增量更新数据,数据处理效率较低。
技术实现思路
1、鉴于上述问题,本公开提供了数据处理方法、装置、设备、介质和程序产品。
2、根据本公开的第一个方面,提供了一种数据处理方法,应用于第一设备端,其特征在于,方法包括:获取数据包,其中,上述数据包包括n条与源数据库对应的日志记录,每条日志记录包括字节类型的记录编号数据、键值数据、字段总长度数据、日志内容数据,上述字段总长度数据表征上述日志内容数据所占的字节总长度,n为正整数;对n条上述日志记录依次进行预解析,得到与n条上述日志记录各自对应的字符类型的记录编号数据、键值数据和
...【技术保护点】
1.一种数据处理方法,应用于第一设备端,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述利用M个解析线程对与N条所述日志记录各自对应的字节类型的日志记录内容数据进行并行解析,得到与N条所述日志记录各自对应的字符类型的日志内容数据包括:
3.根据权利要求2所述的方法,其特征在于,所述根据与N条所述日志记录各自对应的字符类型的键值数据,从所述M个解析线程中确定与N条所述日志记录各自匹配的解析线程包括:
4.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
5.根据权利要求2或3所述的方法,
...【技术特征摘要】
1.一种数据处理方法,应用于第一设备端,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述利用m个解析线程对与n条所述日志记录各自对应的字节类型的日志记录内容数据进行并行解析,得到与n条所述日志记录各自对应的字符类型的日志内容数据包括:
3.根据权利要求2所述的方法,其特征在于,所述根据与n条所述日志记录各自对应的字符类型的键值数据,从所述m个解析线程中确定与n条所述日志记录各自匹配的解析线程包括:
4.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
5.根据权利要求2或3所述的方法,其特征在于,所述利用所述m个解析线程中与n条所述日志记录各自匹配的解析线程,对与n条所述日志记录各自对应的字节类型的日志记录内容数据进行并行解析,得到与n条所述日志记录各自对应的字符类型的日志内容数据包括:
6.一种数据...
【专利技术属性】
技术研发人员:钟小威,
申请(专利权)人:中国工商银行股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。