【技术实现步骤摘要】
一种数据加载方法、装置及电子设备
[0001]本申请涉及大数据领域，特别是涉及一种数据加载方法、装置及电子设备。
技术介绍
[0002]随着大数据技术的发展，以及传统数据库技术的进一步演进，企业在数据架构上的选择也越来越多。目前，企业中的数据通常存储在多个数据源上，对于业务复杂的企业，数据源甚至多达数十个到上百个，因此，在对数据进行查询分析时，往往需要横跨多个数据源，从而导致查询分析的效率低，同时，为了应对请求高并发场景，通常采用分布式节点来处理不同的请求，但这种方法在任一数据源中的数据发生改变时，需要在其它节点中手动加载发生改变的数据，并且需要将节点重启，才算加载完成，从而导致数据加载的效率低。
技术实现思路
[0003]本申请提供了一种数据加载方法、装置及电子设备，可以实现只需要在目标节点中加载发生改变的数据，便可以通过目标节点将发生改变的数据同步至各个工作节点，进而实现对各个节点的数据加载，并且不需要重启各个节点，提高了数据加载的效率。
[0004]第一方面，本申请提供了一种数据加载方法，所述方...
【技术保护点】
【技术特征摘要】
1.一种数据加载方法，其特征在于，所述方法包括：将客户端对应的第一文件加载至各个节点，得到目标节点对应的第一目标文件以及各个工作节点分别对应的第二目标文件；指示所述目标节点检测所述第一文件是否发生改变；若是，则将所述第一目标文件按照所述第一文件进行调整，得到第二文件；将所述第二文件加载至各个工作节点，并将所述第二目标文件按照所述第二文件进行调整。2.如权利要求1所述的方法，其特征在于，所述将客户端对应的第一文件加载至各个节点，得到目标节点对应的第一目标文件以及各个工作节点分别对应的第二目标文件，包括：将客户端对应的第一文件加载至各个节点中的目标节点，得到所述目标节点对应的第一目标文件；根据目标中心对应的服务地址，将所述第一目标文件同步至所述目标中心；指示各个工作节点根据所述服务地址在所述目标中心获取第一目标文件，并指示所述各个工作节点将获取的第一目标文件作为所述第二目标文件。3.如权利要求1所述的方法，其特征在于，所述将所述第一目标文件按照所述第一文件进行调整，包括：检测所述第一文件中的第一目录信息，和/或所述第一目录信息对应的属性信息是否发生改变；当检测到所述第一目录信息和/或所述属性信息发生改变时，判断所述属性信息是否合法；若所述属性信息合法，则将所述第一目标文件按照所述第一文件进行调整。4.如权利要求1或3所述的方法，其特征在于，所述将所述第一目标文件按照所述第一文件进行调整，包括：若检测到所述第一文件中有新增数据，则将所述新增数据添加至所述第一目标文件中；和/或若检测到所述第一文件中有删除数据，则根据所述第一目标文件中的第二目录信息查找所述第一目标文件对应的删除数据，并删除所述第一目标文件对应的删除数据；和/或若检测到所述第一文件中有修改数据，则根据所述第二目录信息查找所述第一目标文件对应的修改数据，并在删除所述第一目标文件对应的修改数据后，在所述第一目标文件中加载所述第一文件对应的修改数据。5.如权利要求1所述的方法，其特征在于，所述将所述第二目标文件按照所述第二文件进行调整，包括：将所述第二目标文件的第一目录信息表，分别与所述第二文件的第二目录信息表进行比对；若所述第二目录信息表相比于所述第一目录信息表有新增目录信息，则在所述第二目标文件中，增加所述新增目录信息对应的新增数据；若所述第二目录信息表相比于所述第一目录信息表有删除目录信息，则在所述第二目标文件中，删除所述删除目录信息对应的删除数据；若所述第二目录信息表相比于所述第一目录信息表没有改变，则将所述第二目标文件
删除，并加载所述第二文件。6.如权利要求1所述的方法，其特征在于，所述将所述第二目标文件按照所述第二文件进行调整，包括：检测所述第二文件中预设属性对应的数据，其中，预设属性用于确定加载第二文件的工作节点；若所述数据为空值，则将各个工作节点的所述第二目标文件，按照所述第二文件进行调整；若所述数据不为空值，且所述数据包含当前工作节点的服务地址，则将当前工作节点中的所述第二目标文件，按照所述第二文件进行调整；若所述数据不为空值，但不包含所述当前工作节点的服务地址，则不调整所述当前工作节点中的所述第二目标文件。7.一种数据源加载装置，其特征在于，所述装置包括：加载模块，用于将客户端对应的第一文件加载至各个节点，得到目标节点对应的第一目标文件...
【专利技术属性】
技术研发人员：柳杨，占文平，舒凡，栗征征，胡荣保，钱浩东，周明伟，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。