【技术实现步骤摘要】
一种数据交换方法、装置、设备及存储介质
本专利技术涉及数据处理
，特别是涉及一种数据交换调度方法、装置、设备及存储介质。
技术介绍
在信息化时代，企业的各种业务数据越来越多。为了更好的利用数据，企业多是通过ETL技术将数据转换为信息、知识，或者将数据从业务系统转移到数据仓库，对数据的有效利用已经成为提高企业核心竞争力的主要瓶颈。ETL，即英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、交互转换(transform)、加载(load)至目的端的过程。为提高数据交换能力，支持更多数据源接入，会采用集群的方式部署利用ETL技术的数据交换系统，如图1所示，数据交换系统由控制节点统一管理多个工作节点，进行交换作业的调度，将交换作业分配给1个或多个工作节点进行数据交换。工作节点可以横向扩展，进行具体的数据交换工作，连接源端数据库和目的端数据库，基于交换作业周期性地对数据进行抽取、交互转换和加载。在现有技术中，控制节点主要进行交换作业的分配和调度，工作节点基于交换作业进行交换链路的建立和数据交换。当交换作业所对应的...
【技术保护点】
1.一种数据交换方法，其特征在于，应用于数据交换系统的第一工作节点，所述数据交换系统包括控制节点和多个工作节点，所述控制节点分别与每个工作节点通信连接，所述第一工作节点为所述数据交换系统中的任意一个工作节点，所述方法包括：在要对第一数据源进行第一交换作业时，确定预先获得的所述控制节点同步的异常信息库中是否存在所述第一数据源的异常登记信息；如果是，则对所述第一数据源进行异常检测，并在对所述第一数据源进行异常检测过程中，缩短预设的异常检测超时时间和/或减少预设的异常检测重试次数；基于相应的检测结果，确定终止或运行所述第一交换作业。
【技术特征摘要】
1.一种数据交换方法，其特征在于，应用于数据交换系统的第一工作节点，所述数据交换系统包括控制节点和多个工作节点，所述控制节点分别与每个工作节点通信连接，所述第一工作节点为所述数据交换系统中的任意一个工作节点，所述方法包括：在要对第一数据源进行第一交换作业时，确定预先获得的所述控制节点同步的异常信息库中是否存在所述第一数据源的异常登记信息；如果是，则对所述第一数据源进行异常检测，并在对所述第一数据源进行异常检测过程中，缩短预设的异常检测超时时间和/或减少预设的异常检测重试次数；基于相应的检测结果，确定终止或运行所述第一交换作业。2.根据权利要求1所述的方法，其特征在于，在确定所述异常信息库中存在所述第一数据源的异常登记信息时，在所述对所述第一数据源进行异常检测之前，还包括：确定所述异常信息库中记录的所述第一数据源的异常登记信息的异常级别是否为故障级别；如果是，则将所述第一交换作业置为故障暂停状态，直至接收到针对所述第一数据源的故障恢复信息时，执行所述对所述第一数据源进行异常检测的步骤；所述故障级别为：所述控制节点在所述第一数据源的异常登记记录次数达到M次或者所述第一数据源的异常登记节点达到N个时更新的异常级别，M和N均为正整数。3.根据权利要求1所述的方法，其特征在于，还包括：如果所述检测结果为所述第一数据源正常，则向所述控制节点发送针对所述第一数据源的状态确认信息，以使所述控制节点在接收到所述状态确认信息后，向所述第一数据源的异常登记节点发送对所述第一数据源进行异常检测的执行指令。4.根据权利要求1所述的方法，其特征在于，还包括：如果所述检测结果为所述第一数据源存在异常，则生成所述第一数据源的异常登记表，将所述异常登记表上报给所述控制节点，以使所述控制节点基于所述异常登记表更新所述异常信息库，将更新后的所述异常信息库同步给各工作节点。5.根据权利要求1所述的方法，其特征在于，在所述检测结果为所述第一数据源存在异常，确定终止所述第一交换作业之后，还包括：在接收到所述控制节点发送的对所述第一数据源进行异常检测的执行指令时，对所述第一数据源进行异常检测；如果检测到所述第一数据源正常，则向所述控制节点返回异常消除信息，以使所述控制节点基于所述异常消除信息更新所述异常信息库，将更新后的所述异常信息库同步给各工作节点；如果检测到所述第一数据源仍存在异常，则向所述...
【专利技术属性】
技术研发人员：林鹏程，
申请(专利权)人：杭州数梦工场科技有限公司，
类型：发明
国别省市：浙江,33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。