【技术实现步骤摘要】
本专利技术涉及计算机，尤其是涉及一种具备细粒度特性的多线程etl方法。
技术介绍
1、在现代etl过程中，数据处理被分为数据抽取、数据清洗、数据导入三个部分；在数据导入阶段，采用多线程机制来提高入库速度是一种常见的性能优化手段：多线程通过将任务拆分，由之前地串行写入变为并行写入，采用这种方法可以明显地提高导入速度。但多线程的引入使事务处理问题成为了新的技术痛点。此外，一个子线程就需要一个数据库连接，存在子线程数量太多导致数据库连接耗尽的问题，同时，一个子线程就开启一个独立事务，这使得使用框架技术代理管控事务变得十分复杂困难。
2、解决上述问题的关键技术之一是使用线程工具类将多线程事务合并成一个整体事务实现事务控制的方案，该方案在实际环境中得到了大量的采用。但该方案在控制事务时只能执行单一层级的事务管理，这意味着事务是一个不可分割的工作单位，事务中的操作要么全部完成，要么全部不完成。这限制了它在处理复杂业务逻辑时的灵活性，尤其是由于子线程只能参与整体事务，这可能导致事务的粒度过大，增加了事务的复杂性和风险。由于事务粒度太粗，在...
【技术保护点】
1.一种具备细粒度特性的多线程ETL方法，其特征在于，步骤包括：
2.根据权利要求1所述的一种具备细粒度特性的多线程ETL方法，其特征在于，步骤S1中包括：
3.根据权利要求2所述的一种具备细粒度特性的多线程ETL方法，其特征在于，步骤S2中包括：
4.根据权利要求3所述的一种具备细粒度特性的多线程ETL方法，其特征在于：步骤S3中，子线程在事务协调器中请求开启嵌套事务，事务协调器接收到请求后，利用数据库的保存点机制开启嵌套事务，当子线程在嵌套事务中执行数据库操作时，根据操作结果提交或回滚嵌套事务。
5.根据权利要求4所...
【技术特征摘要】
1.一种具备细粒度特性的多线程etl方法，其特征在于，步骤包括：
2.根据权利要求1所述的一种具备细粒度特性的多线程etl方法，其特征在于，步骤s1中包括：
3.根据权利要求2所述的一种具备细粒度特性的多线程etl方法，其特征在于，步骤s2中包括：
4.根据权利要求3所述的一种具备细粒度特性的多线程etl方法，其特征在于：步骤s3中，子线程在事务协调器中请求开启嵌套事务，事务协调器接收到请求后，利用数据库的保存点机制开启嵌套事务，当子线程在嵌套事务中执行数据库操作时，根据操作结果提交或回滚嵌套事务。
5.根据权利要求4所...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。