【技术实现步骤摘要】
本专利技术实施例涉及数据处理，尤其涉及一种大数据平台的数据入湖方法及系统。
技术介绍
1、数据入湖是指将各种来源、形式和类型的数据集成到数据湖中，以供后续的数据分析、建模和处理。数据湖是一种大型数据存储和管理系统，它解决了数据集成和管理的问题，可以包含结构化数据、半结构化数据和非结构化数据。通过数据入湖，企业可以更好地管理和利用海量数据，实现对数据的深度挖掘和分析，提高数据价值和业务效益。
2、现有基于大数据平台的入湖流程都是手工添加任务入湖，需要手动维护多个数据和文件，并且维护多个功能模块进行任务创建，该手动入湖流程涉及步骤较多，功能模块分散，工作量较大，且维护容易出现错误。
技术实现思路
1、本专利技术实施例提供一种大数据平台的数据入湖方法及系统，用于解决现有方案中手动入湖步骤繁琐，效率低且维护容易出错的问题。
2、为了解决上述技术问题，本专利技术是这样实现的：
3、第一方面，本专利技术实施例提供了一种大数据平台的数据入湖方法，包括：
4、获取数据入湖任务的入湖调研信息文件，所述入湖调研信息文件中包括待入湖业务数据的入湖调研信息；
5、对所述入湖调研信息文件进行解析，生成所述待入湖业务数据的入湖流程的入湖信息，所述入湖流程的入湖信息包括调度流程和多个数据处理任务；
6、根据所述调度流程，对所述待入湖业务数据执行所述多个数据处理任务，将所述待入湖业务数据写入到所述大数据平台的数据湖中。
7、第二方
8、接收用户的第一操作，创建数据入湖任务；
9、接收用户的第二操作，获取所述数据入湖任务的入湖调研信息文件，所述入湖调研信息文件中包括待入湖业务数据的入湖调研信息；
10、接收用户的第三操作，对所述入湖调研信息文件进行解析，生成所述待入湖业务数据的入湖流程的入湖信息，所述入湖流程的入湖信息包括调度流程和多个数据处理任务；
11、接收用户的第四操作，根据所述调度流程，对所述待入湖业务数据执行所述多个数据处理任务，将所述待入湖业务数据写入到所述大数据平台的数据湖中。
12、第三方面，本专利技术实施例提供了一种大数据平台的数据入湖系统，包括：
13、获取模块，用于获取数据入湖任务的入湖调研信息文件，所述入湖调研信息文件中包括待入湖业务数据的入湖调研信息；
14、解析模块，用于对所述入湖调研信息文件进行解析，生成所述待入湖业务数据的入湖流程的入湖信息，所述入湖流程的入湖信息包括调度流程和多个数据处理任务；
15、入湖模块，用于根据所述调度流程，对所述待入湖业务数据执行所述多个数据处理任务，将所述待入湖业务数据写入到所述大数据平台的数据湖中。
16、第四方面，本专利技术实施例提供了一种大数据平台的数据入湖系统，包括：
17、任务创建模块，用于接收用户的第一操作，创建数据入湖任务；
18、文件上传模块，用于接收用户的第二操作，获取所述数据入湖任务的入湖调研信息文件，所述入湖调研信息文件中包括待入湖业务数据的入湖调研信息；
19、解析模块，用于接收用户的第三操作，对所述入湖调研信息文件进行解析，生成所述待入湖业务数据的入湖流程的入湖信息，所述入湖流程的入湖信息包括调度流程和多个数据处理任务；
20、入湖模块，用于接收用户的第四操作，根据所述调度流程，对所述待入湖业务数据执行所述多个数据处理任务，将所述待入湖业务数据写入到所述大数据平台的数据湖中。
21、第五方面，本专利技术实施例提供了一种服务器，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如上述第一方面所述的大数据平台的数据入湖方法的步骤，或者，所述程序被所述处理器执行时实现如上述第二方面所述的大数据平台的数据入湖方法的步骤。
22、第六方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的大数据平台的数据入湖方法的步骤；或者，所述计算机程序被处理器执行时实现如上述第二方面所述的大数据平台的数据入湖方法的步骤。
23、本专利技术实施例中，通过对入湖调研文件进行解析，可以自动生成待入湖业务数据的入湖流程的入湖信息，根据入湖流程的入湖信息，完成待入湖业务数据自动入湖，方便快捷，解决了现有方案中手动入湖步骤繁琐，效率低且维护容易出错的问题。
本文档来自技高网...【技术保护点】
1.一种大数据平台的数据入湖方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述入湖调研信息包括入湖字段清单，所述入湖字段清单中包括以下至少一项：文件层元数据的字段，缓存层元数据的字段，贴源层元数据的字段，以及，数据处理任务的字段；所述数据处理任务包括数据同步任务和数据加工任务，所述数据同步任务是用于将所述文件层的数据同步到所述缓存层的任务，所述数据加工任务是用于将所述缓存层的数据进行加工后发送到所述贴源层的任务，所述文件层元数据，缓存层元数据和贴源层元数据包括相同的字段。
3.根据权利要求1或2所述的方法，其特征在于，所述入湖流程的入湖信息还包括：文件层元数据、缓存层元数据，贴源层元数据、数据同步任务和数据加工任务。
4.根据权利要求3所述的方法，其特征在于，对所述入湖调研信息文件进行解析，生成所述待入湖业务数据的入湖流程的入湖信息，包括：
5.根据权利要求1所述的方法，其特征在于，对所述入湖调研信息文件进行解析，生成所述待入湖业务数据的入湖流程的入湖信息，包括：
6.根据权利要求1至5任一项所述的
7.一种大数据平台的数据入湖方法，其特征在于，包括：
8.一种大数据平台的数据入湖系统，其特征在于，包括：
9.一种大数据平台的数据入湖系统，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的大数据平台的数据入湖方法的步骤；或者，所述计算机程序被处理器执行时实现如权利要求7所述的大数据平台的数据入湖方法的步骤。
...【技术特征摘要】
1.一种大数据平台的数据入湖方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述入湖调研信息包括入湖字段清单，所述入湖字段清单中包括以下至少一项：文件层元数据的字段，缓存层元数据的字段，贴源层元数据的字段，以及，数据处理任务的字段；所述数据处理任务包括数据同步任务和数据加工任务，所述数据同步任务是用于将所述文件层的数据同步到所述缓存层的任务，所述数据加工任务是用于将所述缓存层的数据进行加工后发送到所述贴源层的任务，所述文件层元数据，缓存层元数据和贴源层元数据包括相同的字段。
3.根据权利要求1或2所述的方法，其特征在于，所述入湖流程的入湖信息还包括：文件层元数据、缓存层元数据，贴源层元数据、数据同步任务和数据加工任务。
4.根据权利要求3所述的方法，其特征在于，对所述入湖调研信息文件进行解析，生成所述待入湖业务数据的入湖流程的入湖信息，包括：
5.根据...
【专利技术属性】
技术研发人员：孙昱，康蕊，张晨曦，
申请(专利权)人：山东雅图软件科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。