【技术实现步骤摘要】
本专利技术涉及数据处理，特别是涉及一种数据入仓方法及装置。
技术介绍
1、数据入仓指的是将源系统的数据存储至数据仓库中，以便于后续对数据进行进一步的处理和分析。目前的数据入仓的过程需要启用多个配套系统相互配合，例如，一个数据表在入仓的过程中，需要先在总线开发平台进行数据源表结构配置并导出相关文件，然后进入大数据运维平台创建新的数据表后，通过不同的算法生成贴源数据表，再经过统一作业调度平台创建调度任务以及数据表的抽取和转换等一系列操作，再将数据加载到数据仓库ods层。此外，数据在经过上述各个系统和平台的操作过程中，需要开发人员与各个系统和平台进行配合操作，因此，数据的入仓流程不仅复杂，对于新的开发人员来说操作难度系数也比较高，从而导致数据入仓的过程过于缓慢且数据入仓效率较低。
技术实现思路
1、有鉴于此，本专利技术提供一种数据入仓方法，通过该方法，可以简化数据入仓的流程，无需经过多个系统和平台的操作，进而提高数据入仓的效率。
2、本专利技术还提供了一种数据入仓装置，用以保证上述方法在实际中的实现及应用。
3、一种数据入仓方法，包括：
4、所述方法应用于配置系统，所述方法包括：
5、获得文本数据，所述文本数据为源系统中待入仓的第一数据表进行格式转换后的数据；
6、配置所述文本数据的来源信息，所述来源信息至少包括所述源系统的系统编号；
7、基于所述来源信息，调整所述文本数据在数据仓库中的基础配置信息，所述基础配置信息
8、基于所述位置信息及所述第一数据表的表结构，将所述文本数据转换成携带所述注释信息及调度信息的第二数据表保存至所述数据仓库。
9、上述的方法，可选的，获得文本数据之前，还包括：
10、基于调度系统的调度信息及数据入仓前后的操作信息，生成调度信息，所述调度信息包括第一调度信息和第二调度信息，所述第一调度信息用于在数据入仓前对源系统中的数据表进行抽取和维护，所述第二调度信息用于在数据入仓后对数据仓库中的数据表进行监控。
11、上述的方法，可选的，所述获得待入仓的目标数据，包括：
12、确定所述配置系统是否具有访问所述源系统的权限；
13、如果所述配置系统具有访问所述源系统的权限，启用所述第一调度信息对应的调度作业并按照所述第一数据表对应的数据信息及增全量选取策略，抽取所述源系统中的第一数据表为所述文本数据；
14、如果所述配置系统不具有访问所述源系统的权限，向所述源系统发送所述第一数据表对应的入仓指令，以获得所述源系统基于所述入仓指令推送的所述文本数据；其中，所述源系统在获得所述入仓指令后将所述第一数据表转换成所述文本数据。
15、上述的方法，可选的，所述基于所述来源信息，调整所述文本数据在数据仓库中的基础配置信息，包括：
16、基于所述配置系统的操作页面上传的操作信号，确定所述数据仓库中被选中的目标集群及所述集群中的目标数据库；
17、生成所述目标数据库对应的位置信息；
18、基于所述来源信息，获得并显示所述第一数据表中在所述源系统中的注释信息；
19、如果接收到所述操作页面上传的所述注释信息对应的修改信号，则基于所述修改信息调整所述注释信息。
20、上述的方法，可选的，还包括：
21、启用所述第二调度信息对应的调度作业实时监控所述源系统中所述第一数据表的表结构和所述数据仓库中所述第二数据表的表结构；
22、如果所述第一数据表的表结构与所述第二数据表的表结构不一致，在所述配置系统的操作页面上弹出所述第二数据表对应的操作界面，并发出所述第二数据表对应的更正提示信息。
23、一种数据入仓装置，所述装置应用于配置系统，所述方法包括：
24、获取单元，用于获得文本数据，所述文本数据为源系统中待入仓的第一数据表进行格式转换后的数据；
25、配置单元，用于配置所述文本数据的来源信息，所述来源信息至少包括所述源系统的系统编号；
26、调整单元，用于基于所述来源信息，调整所述文本数据在数据仓库中的基础配置信息，所述基础配置信息至少包括位置信息及注释信息；
27、保存单元，用于基于所述位置信息及所述第一数据表的表结构，将所述文本数据转换成携带所述注释信息及调度信息的第二数据表保存至所述数据仓库。
28、上述的装置，可选的，还包括：
29、生成单元，用于基于调度系统的调度信息及数据入仓前后的操作信息，生成调度信息，所述调度信息包括第一调度信息和第二调度信息，所述第一调度信息用于在数据入仓前对源系统中的数据表进行抽取和维护，所述第二调度信息用于在数据入仓后对数据仓库中的数据表进行监控。
30、上述的装置，可选的，所述获取单元，包括：
31、第一确定子单元，用于确定所述配置系统是否具有访问所述源系统的权限；
32、抽取子单元，用于如果所述配置系统具有访问所述源系统的权限，启用所述第一调度信息对应的调度作业并按照所述第一数据表对应的数据信息及增全量选取策略，抽取所述源系统中的第一数据表为所述文本数据；
33、如果所述配置系统不具有访问所述源系统的权限，向所述源系统发送所述第一数据表对应的入仓指令，以接收所述源系统基于所述入仓指令推送的所述文本数据；其中，所述源系统在获得所述入仓指令后将所述第一数据表转换成所述文本数据。
34、上述的装置，可选的，所述调整单元，包括：
35、第二确定子单元，用于基于所述配置系统的操作页面上传的操作信号，确定所述数据仓库中被选中的目标集群及所述集群中的目标数据库；
36、第一生成子单元，用于生成所述目标数据库对应的位置信息；
37、显示子单元，用于基于所述来源信息，获得并显示所述第一数据表中在所述源系统中的注释信息；
38、调整子单元，用于如果接收到所述操作页面上传的所述注释信息对应的修改信号，则基于所述修改信息调整所述注释信息。
39、上述的装置，可选的，还包括：
40、监控单元，用于启用所述第二调度信息对应的调度作业实时监控所述源系统中所述第一数据表的表结构和所述数据仓库中所述第二数据表的表结构；
41、更正单元，用于如果所述第一数据表的表结构和所述第二数据表的表结构不一致，在所述配置系统的操作页面上弹出所述第二数据表对应的操作界面，并发出所述第二数据表对应的更正提示信息。
42、一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述的数据入仓方法。
43、一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行上述的数据入仓方法。
44、与现有技术相比，本文档来自技高网...
【技术保护点】
1.一种数据入仓方法，其特征在于，所述方法应用于配置系统，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，获得所述文本数据之前，还包括：
3.根据权利要求2所述的方法，其特征在于，所述获得文本数据，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述来源信息，调整所述文本数据在数据仓库中的基础配置信息，包括：
5.根据权利要求1～4任意一项所述的方法，其特征在于，还包括：
6.一种数据入仓装置，其特征在于，所述装置应用于配置系统，所述方法包括：
7.根据权利要求6所述的装置，其特征在于，还包括：
8.根据权利要求7所述的装置，其特征在于，所述获取单元，包括：
9.根据权利要求6所述的装置，其特征在于，所述调整单元，包括：
10.根据权利要求6～9任意一项所述的装置，其特征在于，还包括：
【技术特征摘要】
1.一种数据入仓方法，其特征在于，所述方法应用于配置系统，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，获得所述文本数据之前，还包括：
3.根据权利要求2所述的方法，其特征在于，所述获得文本数据，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述来源信息，调整所述文本数据在数据仓库中的基础配置信息，包括：
5.根据权利要求1～4任意一项所...
【专利技术属性】
技术研发人员：王伟，陈科伟，
申请(专利权)人：永赢金融租赁有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。