一种数据接入方法及装置制造方法及图纸

本申请提供一种数据接入方法及装置，该方法包括任务调度线程获取执行周期时间；任务调度线程根据执行周期时间对内存数据库进行数据扫描；如果扫描到待执行任务信息，则根据当前服务器的可用资源、每个任务执行线程的最大执行资源以及当前服务器的实时资源占用率进行计算，得到所需任务执行线程的实际数量；如果实际数量大于1，则并发读取源数据源内的数据；汇聚线程将读取的数据进行汇总并将汇总的数据传送至目标数据源。本申请可由用户根据源数据源和目标数据源的类型设置对应的接入方式，适用不同的业务场景，无需用户编写和修改编码，降低用户的工作量。并且对可用线程的数量进行优化，提高数据接入的效率。

【技术实现步骤摘要】
一种数据接入方法及装置
本申请涉及数据处理
，尤其涉及一种数据接入方法及装置。
技术介绍
近年来，计算机系统的应用已经深入到各行各业，在互联网行业，企业同时存在多种计算机应用对内外提供服务，而每个应用都有各自的数据存储方式，为了保证不同存储系统件的数据一致性，常常需要在不同的存储系统间进行数据同步。目前，现有的数据接入同步方法是工作人员利用定时器轮询某个特定数据源内部(例如，数据库内的表与表之间)，或各个数据源(例如，各类数据库之间)是否有数据更新，来实现其数据同步。但是，数据同步的执行程序通常由用户进行硬编码来实现，即数据同步过程中的可变变量用固定值来代替；若用户需要更改数据同步中的执行参数，如定时器的时长等，则需要修改其对应的由固定值代替的可变变量，从而导致用户的工作量增加。并且由于不同类型数据源具有不同的数据接入方式，上述硬编码的方法无法支撑各类数据源的接入同步工作，用户需根据实际的数据源的类型，修改数据接入方式对应的编码，导致用户工作量的增加。
技术实现思路
本申请提供一种数据接入方法及装置，以解决现有的数据接入同步方法中，数据同步的执行程序通常由用户进行硬编码来实现，若用本文档来自技高网...

【技术保护点】
1.一种数据接入方法，其特征在于，所述方法包括：任务调度线程获取执行周期时间；所述任务调度线程根据所述执行周期时间对内存数据库进行数据扫描，判断所述内存数据库内是否有待执行任务信息，所述待执行任务信息包括用户根据源数据源的类型设置的第一接入方式信息、用户根据目标数据源的类型设置的第二接入方式信息、源数据源的基础信息和目标数据源的基础信息；如果所述任务调度线程扫描到待执行任务信息，则根据当前服务器的可用资源、每个任务执行线程的最大执行资源以及当前服务器的实时资源占用率进行计算，得到处理待执行任务信息所需任务执行线程的实际数量；判断所述任务执行线程的实际数量是否大于1，如果所述任务执行线程的实际数...

【技术特征摘要】
1.一种数据接入方法，其特征在于，所述方法包括：任务调度线程获取执行周期时间；所述任务调度线程根据所述执行周期时间对内存数据库进行数据扫描，判断所述内存数据库内是否有待执行任务信息，所述待执行任务信息包括用户根据源数据源的类型设置的第一接入方式信息、用户根据目标数据源的类型设置的第二接入方式信息、源数据源的基础信息和目标数据源的基础信息；如果所述任务调度线程扫描到待执行任务信息，则根据当前服务器的可用资源、每个任务执行线程的最大执行资源以及当前服务器的实时资源占用率进行计算，得到处理待执行任务信息所需任务执行线程的实际数量；判断所述任务执行线程的实际数量是否大于1，如果所述任务执行线程的实际数量大于1，则多个所述任务执行线程根据所述第一接入方式信息和源数据源的基础信息，并发读取所述源数据源内的数据；汇聚线程将所述任务执行线程读取的数据进行汇总；所述汇聚线程根据所述第二接入方式信息和目标数据源的基础信息，将汇总的数据传送至所述目标数据源。2.如权利要求1所述的方法，其特征在于，所述根据当前服务器的可用资源、每个任务执行线程的最大执行资源以及当前服务器的实时资源占用率进行计算，得到处理待执行任务信息所需任务执行线程的数量包括：根据当前服务器的可用资源、每个任务执行线程的最大执行资源，按照如下公式计算，得到处理待执行任务信息所需任务执行线程的标准数量；N＝E1/E2,其中，N表示所需任务执行线程的标准数量，E1表示当前服务器的可用资源，E2表示每个任务执行线程的最大执行资源；如果当前服务器的当前资源占用率大于预设阈值，且所述任务执行线程的标准数量大于1，则减少所述任务执行线程的标准数量，直至满足预设条件，得到处理待执行任务信息所需任务执行线程的实际数量，所述预设条件为所述当前服务器的实时资源占用率小于或等于预设阈值，且处理待执行任务信息所需任务执行线程的剩余数量大于或等于1，或者，所述当前服务器的实时资源占用率大于预设阈值，且处理待执行任务信息所需任务执行线程的剩余数量为1。3.如权利要求1所述的方法，其特征在于，所述多个所述任务执行线程根据所述第一接入方式信息和源数据源的基础信息，并发读取所述源数据源内的数据包括：当前所述任务执行线程根据所述第一信息接入方式、源数据源的基础信息和源数据源内待读取的起始数据对应的游标信息，对所述源数据源的数据进行读取；将当前所述任务执行线程读取后的终止数据对应的游标信息更新至内存数据库，以使下一所述任务执行线程根据当前所述任务执行线程读取后的终止数据对应的游标信息，对所述源数据源的数据继续进行读取。4.如权利要求1所述的方法，其特征在于，所述待执行任务信息还存至数据库配置记录表。5.如权利要求4所述的方法，其特征在于，所述汇聚线程根据所述第二接入方式信息和目标数据源的基础信息，将汇总的数据传送至所述目标数据源包括：所述汇聚线程调取所述数据库配置记录表中的待执行任务信息；所述汇聚线程根据所述数据库配置记录表中的待执行任务信息的第二接入方式信息和...

【专利技术属性】
技术研发人员：褚占阳，李士勇，张瑞飞，李广刚，
申请(专利权)人：中科鼎富北京科技发展有限公司，
类型：发明
国别省市：北京,11