System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术属于计算机,尤其是涉及一种数据库变更数据采集的方法及系统。
技术介绍
1、数据库变更数据采集通常是利用逻辑日志输出方式来实现,每条日志主要是数据库表记录的增、删、改的内容,这就对输出的日志提出了两点要求:
2、必须在事务提交之后,才能输出该事务内变更的表记录的日志;
3、随着时间的推进,数据库内多个并行的事务会按照某种次序提交,那么我们输出的日志也必须保持这种提交顺序。换句话说,如果某个已提交事务内的日志没有输出完毕,其后面提交的事务的日志就不能输出。
4、这两点要求,会带来一些问题:
5、特别是当某个事务内进行了大量变更的时候,这种场景下,我们需要在数据库内缓存这个事务涉及的所有变更,直到该事务提交或终止,这会对数据库所在机器的存储造成较大的压力。
6、此场景下,如若内存不允许缓存如此多的数据,还需要将这些日志落入磁盘。当该事务提交的时刻,仍要从磁盘将数据读取后再输出,这不仅要消耗系统的计算资源,而且因为涉及大量磁盘操作,也会占用相当长的操作时间,阻塞了后续事务的日志的输出,造成整个数据处理系统的吞吐量下降,数据处理时延的增长,系统性能的抖动。
技术实现思路
1、有鉴于此,本专利技术旨在提出一种数据库变更数据采集的方法及系统,以期解决上述部分问题中的至少之一。
2、为达到上述目的,本专利技术的技术方案是这样实现的:
3、本专利技术第一方面提出了一种数据库变更数据采集的方法,包括:
...【技术保护点】
1.一种数据库变更数据采集的方法,其特征在于,包括:
2.根据权利要求1所述的一种数据库变更数据采集的方法,其特征在于:
3.根据权利要求1所述的一种数据库变更数据采集的方法,其特征在于:日志传输器根据事务类型执行相应的操作的过程包括:
4.一种数据库变更数据采集的系统,其特征在于,包括:
5.根据权利要求4所述的一种数据库变更数据采集的系统,其特征在于:
6.根据权利要求4所述的一种数据库变更数据采集的系统,其特征在于:日志传输器接收从数据库传来的逻辑日志信息;
7.根据权利要求4所述的一种数据库变更数据采集的系统,其特征在于:
【技术特征摘要】
1.一种数据库变更数据采集的方法,其特征在于,包括:
2.根据权利要求1所述的一种数据库变更数据采集的方法,其特征在于:
3.根据权利要求1所述的一种数据库变更数据采集的方法,其特征在于:日志传输器根据事务类型执行相应的操作的过程包括:
4.一种数据库变更数据采集的系...
【专利技术属性】
技术研发人员:谷裕,
申请(专利权)人:天津南大通用数据技术股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。