【技术实现步骤摘要】
本专利技术涉及计算机，具体而言，涉及一种数据采集流程生成的方法及装置。
技术介绍
1、随着社会的进步，大数据应用和chatgpt大模型技术已经进入到我们每个人的生活生产中，大数据和大模型的技术都在不断发展，不但数据源的种类增多，数据的类型变得繁杂，数据量也在增大，数据产生的速度快，并且对于数据的采集要求更高。目前，数据采集流程通常采用人工设计得到，随着数据量的增大，数据采集流程设计也越来越复杂，需要耗费大量的时间和人力，效率低下，且容易出错。
技术实现思路
1、鉴于此，本专利技术提出了一种数据采集流程生成的方法及装置，旨在解决现有技术中数据采集流程采用人工设计，需要耗费大量时间和人力，且容易出错的问题。
2、第一方面，本专利技术实施例提供了一种数据采集流程生成的方法，包括：响应于数据采集指令，显示数据源提取界面，所述数据源提取界面包括供用户选择的数据源；响应于数据源选定的操作，显示数据处理界面，所述数据处理界面包括数据源目录下所有数据的数据表以及对数据表中数据的处理方式；响应于数据选定以及数据处理的操作，结合所述数据采集指令，生成数据采集流程。
3、进一步地，响应于数据选定以及数据处理的操作，结合所述数据采集指令，生成数据采集流程，包括：基于数据选定以及数据处理的操作，以及所述数据采集指令，采用大语言模型，生成数据采集流程。
4、进一步地，所述方法还包括：将所述大语言模型与数据采集组件进行关联，以用于所述大语言模型调用数据采集组件的接口进行数据采
5、进一步地，所述大语言模型预先采用如下方式得到：获取历史业务场景数据；采用所述历史业务场景数据对初始化的大语言模型进行训练，得到最终的大语言模型，其中大语言模型为根据循环神经网络的自然语言处理模型。
6、进一步地，所述方法还包括：训练大语言模型之前，搭建开发环境。
7、进一步地，所述搭建开发环境，包括：搭建spring boot框架，并添加数据源。
8、进一步地，所述添加数据源，包括：按照预设规则录入待添加数据源的相关信息，以用于添加数据源。
9、进一步地，所述添加数据源，包括：录入待添加数据源的标识符，以用于添加数据源。
10、进一步地，所述方法还包括：将训练好的大语言模型量化压缩。
11、第二方面，本专利技术实施例还提供了一种数据采集流程生成的装置，包括：第一显示单元，用于响应于数据采集指令，显示数据源提取界面，所述数据源提取界面包括供用户选择的数据源；第二显示单元，用于响应于数据源选定的操作，显示数据处理界面，所述数据处理界面包括数据源目录下所有数据的数据表以及对数据表中数据的处理方式；生成单元，用于响应于数据选定以及数据处理的操作，结合所述数据采集指令，生成数据采集流程。
12、进一步地，生成单元，还用于：基于数据选定以及数据处理的操作，以及所述数据采集指令，采用大语言模型，生成数据采集流程。
13、进一步地，所述装置还包括关联单元，用于：将所述大语言模型与数据采集组件进行关联，以用于所述大语言模型调用数据采集组件的接口进行数据采集。
14、进一步地，所述大语言模型预先采用如下方式得到：获取历史业务场景数据；采用所述历史业务场景数据对初始化的大语言模型进行训练，得到最终的大语言模型，其中大语言模型为根据循环神经网络的自然语言处理模型。
15、进一步地，所述装置还包括搭建单元，用于：训练大语言模型之前，搭建开发环境。
16、进一步地，所述搭建开发环境，包括：搭建spring boot框架，并添加数据源。
17、进一步地，所述添加数据源，包括：按照预设规则录入待添加数据源的相关信息，以用于添加数据源。
18、进一步地，所述添加数据源，包括：录入待添加数据源的标识符，以用于添加数据源。
19、进一步地，所述装置还包括量化压缩单元，用于：将训练好的大语言模型量化压缩。
20、第三方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述各实施例提供的方法。
21、第四方面，本专利技术实施例还提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述各实施例提供的方法。
22、本专利技术实施例提供的数据采集流程生成的方法及装置，通过响应于数据采集指令，显示数据源提取界面，数据源提取界面包括供用户选择的数据源，响应于数据源选定的操作，显示数据处理界面，数据处理界面包括数据源目录下所有数据的数据表以及对数据表中数据的处理方式，以及响应于数据选定以及数据处理的操作，结合数据采集指令，生成数据采集流程，可以实现数据采集流程自动生成，大大提高了数据采集整个流程设计的效率。
本文档来自技高网...【技术保护点】
1.一种数据采集流程生成的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，响应于数据选定以及数据处理的操作，结合所述数据采集指令，生成数据采集流程，包括：
3.根据权利要求2所述的方法，其特征在于，还包括：
4.根据权利要求2所述的方法，其特征在于，所述大语言模型预先采用如下方式得到：
5.根据权利要求4所述的方法，其特征在于，还包括：
6.根据权利要求5所述的方法，其特征在于，所述搭建开发环境，包括：
7.根据权利要求6所述的方法，其特征在于，所述添加数据源，包括：
8.根据权利要求6所述的方法，其特征在于，所述添加数据源，包括：
9.根据权利要求4所述的方法，其特征在于，还包括：
10.一种数据采集流程生成的装置，其特征在于，包括：
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现权利要求1-9任一所述的方法。
12.一种电子设备，包括：
【技术特征摘要】
1.一种数据采集流程生成的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，响应于数据选定以及数据处理的操作，结合所述数据采集指令，生成数据采集流程，包括：
3.根据权利要求2所述的方法，其特征在于，还包括：
4.根据权利要求2所述的方法，其特征在于，所述大语言模型预先采用如下方式得到：
5.根据权利要求4所述的方法，其特征在于，还包括：
6.根据权利要求5所述的方法，其特征在于，所述搭建开发环...
【专利技术属性】
技术研发人员：任俊龙，张浩，马兰，解军伟，王志刚，
申请(专利权)人：航天信息股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。