【技术实现步骤摘要】
本申请属于工业互联网领域，具体涉及一种自动化数据采集方法、装置、设备和存储介质。
技术介绍
1、在大数据时代背景下，采集数据的需求日益增长，这主要是因为互联网和信息技术的发展使得各类数据源(如网页、api接口、数据库)中的信息量爆炸性增长，而企业、研究机构和个人对精准、实时数据的渴求推动了自动化数据采集技术的发展。
2、现有技术中，通过编代码采集数据通常涉及编写自动化脚本或程序，这些脚本或程序能够向目标数据源(如网页、api接口、数据库等)发送请求，并解析响应内容以提取所需数据。这些过程可能包括模拟浏览器行为、执行http请求、处理数据格式(如html、json、xml等)以及将提取的数据存储到本地文件或数据库中。
3、然而，尽管通过编代码采集数据提供了高度的灵活性和强大的功能，但也面临着代码编写复杂性的问题。编写自动化脚本或程序以采集数据不仅需要深厚的编程技能，还需深入理解目标数据源的结构、请求与响应机制以及数据格式的处理，这增加了编码的难度和复杂性。
技术实现思路
<...【技术保护点】
1.一种自动化数据采集方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述获取用户输入的参数配置信息之前，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述用户输入的参数配置信息对应的数据采集标识，抓取浏览器中的原始数据，包括：
4.根据权利要求1所述的方法，其特征在于，所述对所述原始数据进行预处理，得到预处理后的数据，包括：
5.根据权利要求1所述的方法，其特征在于，所述将预处理后的数据输入至大模型中进行整合处理，得到采集数据，包括：
6.根据权利要求1所述...
【技术特征摘要】
1.一种自动化数据采集方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述获取用户输入的参数配置信息之前，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述用户输入的参数配置信息对应的数据采集标识，抓取浏览器中的原始数据，包括：
4.根据权利要求1所述的方法，其特征在于，所述对所述原始数据进行预处理，得到预处理后的数据，包括：
5.根据权利要求1所述的方法，其特征在于，所述将预处理后的数据输入至大模型中进行整合处理，得到...
【专利技术属性】
技术研发人员：鲁效平，陈录城，盛国军，杨振发，王朋静，李宇晨，
申请(专利权)人：卡奥斯工业智能研究院青岛有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。