一种数据写入方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种数据写入方法、装置、设备及存储介质，涉及数据处理技术领域，包括：从消息队列主题的单个分区中获取目标数据库中数据库表的CDC日志数据；对CDC日志数据进行划分，得到多个划分后日志数据并将其分配到多个不同分区中；对各个不同分区中的划分后日志数据进行分表处理，得到多个日志数据表；分别对各个日志数据表中的日志数据进行重新分区得到多个划分后数据表，并对各个划分后数据表中的日志数据进行局部重排序，再将排序后日志数据并发写入至分布式存储表。本申请通过对单个分区中的日志数据进行二次重分区及局部排序，能够提高数据写入的效率，减少系统的负载，降低系统的运行成本，同时确保了数据同步的实时性、准确性和可靠性。准确性和可靠性。准确性和可靠性。

【技术实现步骤摘要】
一种数据写入方法、装置、设备及存储介质


[0001]本申请涉及数据处理
，特别涉及一种数据写入方法、装置、设备及存储介质。

技术介绍

[0002]目前，为了保证数据的实时性、准确性和可靠性，会通过CDC(Change Data Capture，变更数据捕获)日志实时获取MySQL(一种关系型数据库管理系统)/TdSQL(Tencent Distributed SQL，分布式数据库)/Oracle(一款关系数据库管理系统)等数据库的增量变化数据，然后通过大数据存储对上述增量变化数据进行及时地同步，以此来保证数据的准确性，避免由于数据重复或数据丢失等问题导致的数据不一致。
[0003]例如，在企业应用中，通常会涉及到多个业务系统和应用程序，而这些业务系统和应用程序通常使用不同的数据库甚至是不同的数据存储方式。由于不同的业务需要处理不同的数据，因此需要通过不同的源表对其进行存储和管理。并且，为了满足企业应用中的不同性能需求，还需要使用不同的数据存储方式对数据进行存储。另外，在企业应用中，通常还需要使用不同的数据源将不同的系统集成在一起，从而实现数据的共享和交互，并且为了方便及时的进行数据分析和决策，还会将这些数据实时的保存到分布式存储系统(如HDFS(Hadoop Distributed Filesystem，分布式文件系统)、Hudi(一个通用的大数据存储系统))中以方便进行数据分析和数据查询，从而提高数据分析和决策的效率和准确性。
[0004]然而，在企业的数据库中，通常会存在大量的表，且这些表的CDC日志数据会被写入到一个消息队列的主题中，并且会对消费消息队列中的数据进行消费，然后将其并发写入到大量的分布式存储表中。目前，主流的分布式存储系统写表方法是通过分布式计算引擎以单线程的方式进行分布式存储系统的写表的，由于单线程的限制，这种写入方式可能会导致写入请求排队等待、写入效率低下，并且无法满足低延迟同步数据到分布式存储系统的性能要求。此外，多个应用程序并行消费消息队列进行写表会消耗大量的计算资源，且导致消息队列消费吞吐量激增、大量数据被重复消费，不仅浪费了计算资源，还降低了计算效率。另外，在数据同步的过程中，如果消息队列主题的某个分区中的数据量过大而其他分区数据量较小时，会使消息队列单分区数据倾斜现象加重，进而加剧数据同步的延迟，甚至无法满足实时同步的需求。

技术实现思路

[0005]有鉴于此，本申请的目的在于提供一种数据写入方法、装置、设备及存储介质，能够减少对单张表的写入压力，提高数据写入的效率，避免潜在的性能瓶颈和数据损失，减少系统的负载，降低系统的运行成本，同时确保了数据同步的实时性、准确性和可靠性。其具体方案如下：
[0006]第一方面，本申请公开了一种数据写入方法，包括：
[0007]从消息队列主题的单个分区中获取目标数据库中数据库表的CDC日志数据；
[0008]对所述CDC日志数据进行划分，得到多个划分后日志数据，并将所述划分后日志数据分配到多个不同分区中；
[0009]对各个所述不同分区中的所述划分后日志数据进行分表处理，得到多个日志数据表；
[0010]分别对各个所述日志数据表中的日志数据进行重新分区，得到多个划分后数据表，并对各个所述划分后数据表中的日志数据进行局部重排序，得到排序后日志数据，再将所述排序后日志数据并发写入至分布式存储表中。
[0011]可选的，所述对各个所述不同分区中的所述划分后日志数据进行分表处理，得到多个日志数据表，包括：
[0012]将各个所述不同分区中的所述划分后日志数据做成缓存，并将所述缓存保存至内存中；
[0013]对所述内存中的所述划分后日志数据进行分表处理，得到多个日志数据表。
[0014]可选的，所述分别对各个所述日志数据表中的日志数据进行重新分区，得到多个划分后数据表，包括：
[0015]按照所述日志数据表的主键对所述日志数据表中的日志数据进行重新分区，得到多个划分后数据表。
[0016]可选的，所述对各个所述划分后数据表中的日志数据进行局部重排序，得到排序后日志数据，包括：
[0017]按照所述划分后数据表的主键以及待进入主题分区的偏移量对所述划分后数据表中的日志数据进行局部重排序，得到排序后日志数据。
[0018]可选的，所述将所述排序后日志数据并发写入至分布式存储表中，包括：
[0019]为各个所述排序后日志数据创建分布式存储写表任务，并按照预设的分区大小对各个所述分布式存储写表任务进行哈希取余计算，得到计算结果；
[0020]利用所述计算结果为每个所述分布式存储写表任务打标号，并按照所述标号对所述分布式存储写表任务进行分组，得到多组任务分区，再将多组所述任务分区依次推入至预先创建的分布式存储写任务并发队列中；其中，所述标号小于所述预设的分区大小；
[0021]将所述分布式存储写任务并发队列中的所有所述分布式存储写表任务依次提交到预先创建的线程池中，以将所述排序后日志数据并发写入至分布式存储表中；所述线程池运行在分布式应用主驱动程序中。
[0022]可选的，所述数据写入方法，还包括：
[0023]通过预先为每个所述分布式存储写表任务配置的监听器对所述分布式存储写表任务的执行过程进行监听，并将所述分布式存储写表任务的执行结果封装后保存至预先创建的执行结果存储队列中。
[0024]可选的，所述数据写入方法，还包括：
[0025]当所有所述分布式存储写表任务提交到所述线程池之后，通过调用计数锁对所述分布式应用主驱动程序进行阻塞，并在所述分布式存储写表任务执行完成后解除对所述分布式应用主驱动程序的阻塞。
[0026]第二方面，本申请公开了一种数据写入装置，包括：
[0027]日志数据获取模块，用于从消息队列主题的单个分区中获取目标数据库中数据库
表的CDC日志数据；
[0028]数据划分及分配模块，用于对所述CDC日志数据进行划分，得到多个划分后日志数据，并将所述划分后日志数据分配到多个不同分区中；
[0029]日志数据分表模块，用于对各个所述不同分区中的所述划分后日志数据进行分表处理，得到多个日志数据表；
[0030]日志数据分区模块，用于分别对各个所述日志数据表中的日志数据进行重新分区，得到多个划分后数据表；
[0031]局部排序模块，用于对各个所述划分后数据表中的日志数据进行局部重排序，得到排序后日志数据；
[0032]并发写入模块，用于将所述排序后日志数据并发写入至分布式存储表中。
[0033]第三方面，本申请公开了一种电子设备，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的计算机程序时实现前述的数据写入方法。
[0034]第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述的数据写入方法。
[0035]可见，本申请先从消息队列主题的单本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据写入方法，其特征在于，包括：从消息队列主题的单个分区中获取目标数据库中数据库表的CDC日志数据；对所述CDC日志数据进行划分，得到多个划分后日志数据，并将所述划分后日志数据分配到多个不同分区中；对各个所述不同分区中的所述划分后日志数据进行分表处理，得到多个日志数据表；分别对各个所述日志数据表中的日志数据进行重新分区，得到多个划分后数据表，并对各个所述划分后数据表中的日志数据进行局部重排序，得到排序后日志数据，再将所述排序后日志数据并发写入至分布式存储表中。2.根据权利要求1所述的数据写入方法，其特征在于，所述对各个所述不同分区中的所述划分后日志数据进行分表处理，得到多个日志数据表，包括：将各个所述不同分区中的所述划分后日志数据做成缓存，并将所述缓存保存至内存中；对所述内存中的所述划分后日志数据进行分表处理，得到多个日志数据表。3.根据权利要求1所述的数据写入方法，其特征在于，所述分别对各个所述日志数据表中的日志数据进行重新分区，得到多个划分后数据表，包括：按照所述日志数据表的主键对所述日志数据表中的日志数据进行重新分区，得到多个划分后数据表。4.根据权利要求1所述的数据写入方法，其特征在于，所述对各个所述划分后数据表中的日志数据进行局部重排序，得到排序后日志数据，包括：按照所述划分后数据表的主键以及待进入主题分区的偏移量对所述划分后数据表中的日志数据进行局部重排序，得到排序后日志数据。5.根据权利要求1至4任一项所述的数据写入方法，其特征在于，所述将所述排序后日志数据并发写入至分布式存储表中，包括：为各个所述排序后日志数据创建分布式存储写表任务，并按照预设的分区大小对各个所述分布式存储写表任务进行哈希取余计算，得到计算结果；利用所述计算结果为每个所述分布式存储写表任务打标号，并按照所述标号对所述分布式存储写表任务进行分组，得到多组任务分区，再将多组所述任务分区依次推入至预先创建...

【专利技术属性】
技术研发人员：周锋，黄龙飞，李杨，杨晨，曹闯，杨得力，
申请(专利权)人：河南中原消费金融股份有限公司，
类型：发明
国别省市：