【技术实现步骤摘要】
本申请涉及机器学习领域，具体而言，涉及一种基于大模型的数据分析方法、装置及非易失性存储介质。
技术介绍
1、市场上相关技术中存在的多种数据分析方法都是基于自动化机器学习的解决方案，这些方案通常包括使用统计技术、贝叶斯优化或遗传算法来选择最佳的机器学习模型和参数。尽管这些技术提供了一定程度的自动化，但它们通常需要人工设定搜索范围和约束，并依赖重复的试验和错误过程来逐步逼近最优解。这些方法在处理复杂数据集时效率较低，且常常无法准确捕捉到所有数据的内在特性。
2、传统的自动机器学习技术仍然需要一定程度的数据科学和机器学习知识，尤其是在模型和参数选择方面，在某些环节仍需人工干预，例如在数据预处理或特征选择阶段，面对数据的快速变化或多样性，相关技术中自动化机器学习工具自动化程度低，可能无法快速调整和优化模型以适应新的数据环境。
3、针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
1、本申请实施例提供了一种基于大模型的数据分析方法、装置及非易失性存储介质，以至少解决由于相关技术中数据分析方法自动化程度低造成的分析效率低的技术问题。
2、根据本申请实施例的一个方面，提供了一种基于大模型的数据分析方法，包括：获取结构化数据，其中，每条结构化数据中均包含一条目标场景信息，目标场景信息用于指示用户期望从结构化数据中获取的数据分析结果；通过大模型依据目标场景信息确定结构化数据所属的任务类型，并按照任务类型将结构化数据划分至不同的数据集，每个数据集对应一个任
3、在本申请的一些实施例中，基于通过大模型与任务类型选择对应的模型集合对任务类型对应的数据集进行分析，包括：通过大模型基于任务类型从任务类型对应的模型集合中选择第一模型对任务类型对应的数据集进行训练，得到第一训练结果；通过大模型使用预先划分好的测试数据对第一训练结果进行评估，得到评估指标，评估指标大于第一预设指标时，评估通过，将第一训练结果作为分析结果；评估指标小于或等于第一预设指标时，评估失败，在评估失败的情况下：评估指标大于第二预设指标时，通过大模型对第一模型进行改进后重新训练直至评估通过；评估指标小于或等于第二预设指标时，通过大模型从任务类型对应的模型集合中重新选择模型进行训练直至评估通过。
4、在本申请的一些实施例中，任务类型包括回归任务、分类任务、聚类任务；确定结构化数据所属的任务类型包括：通过大模型自动识别目标场景信息中的用户意图信息，并根据用户意图信息确定结构化数据所属的任务类型。
5、在本申请的一些实施例中，通过大模型与任务类型选择对应的模型集合对任务类型对应的数据集进行分析之前，方法还包括：
6、对任务类型对应的数据集使用预设数据处理工具自动进行数据规范处理，其中，对任务类型对应的数据集使用预设数据处理工具自动进行数据规范处理包括以下至少之一：对任务类型对应的数据集进行目标列选择、缺失值填充、数据归一化、数据编码、特征关系计算、主成分分析法(principal component analys，简称为pac)降维、数据切分。
7、在本申请的一些实施例中，通过大模型基于任务类型从任务类型对应的模型集合中选择第一模型对任务类型对应的数据集进行训练，得到第一训练结果，包括：基于任务类型对应的数据集合以及任务类型对应的模型集合中每个模型的能力描述信息以及参数设置信息，从多个模型中确定第一模型；使用第一模型对任务类型对应的数据集进行训练，得到第一训练结果。
8、在本申请的一些实施例中，从多个模型中确定第一模型，包括：通过大模型自动识别任务类型对应的数据集合中的结构化数据的目标场景信息；将任务类型对应的模型集合中每个模型的能力描述信息与目标场景信息进行匹配，选取能力描述信息与目标场景信息匹配度最高的模型，并通过匹配度最高的模型对应的参数设置信息为匹配度最高的模型设置初始参数，将设置好初始参数的模型，作为第一模型。
9、在本申请的一些实施例中，目标场景信息可以用于至少指示以下场景：电力系统中的可再生能源分配优化，多种源头的碳排放数据的趋势预测，建筑和制造业的能源使用情况，碳交易市场的碳价格走势，各类工厂的能源分配优化。
10、根据本申请实施例的另一方面，还提供了一种数据分析装置，包括：获取模块，用于获取结构化数据，其中，每条结构化数据中均包含一条目标场景信息，目标场景信息用于指示用户期望从结构化数据中获取的数据分析结果；划分模块，用于通过大模型依据目标场景信息确定结构化数据所属的任务类型，并按照任务类型将结构化数据划分至不同的数据集，每个数据集对应一个任务类型，其中，不同任务类型对应不同的模型集合，每个模型集合中包含多个不同模型，每个模型包含能力描述信息以及参数设置信息，能力描述信息用于描述模型实现的任务功能，参数设置信息用于设置模型的初始参数和调整模型的参数；分析模块，用于基于通过大模型与任务类型选择对应的模型集合对任务类型对应的数据集进行分析，生成分析结果并展示。
11、根据本申请实施例的另一方面，还提供了一种非易失性存储介质，所述非易失性存储介质中存储有程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行上述的基于大模型的数据分析方法。
12、根据本申请实施例的另一方面，还提供了一种电子设备包括：存储器和处理器，所述处理器用于运行存储在所述存储器中的程序，其中，所述程序运行时执行上述的基于大模型的数据分析方法。
13、根据本申请实施例的另一方面，还提供了一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行上述的基于大模型的数据分析方法。
14、在本申请实施例中，采用获取结构化数据，其中，每条结构化数据中均包含一条目标场景信息，目标场景信息用于指示用户期望从结构化数据中获取的数据分析结果；通过大模型依据目标场景信息确定结构化数据所属的任务类型，并按照任务类型将结构化数据划分至不同的数据集，每个数据集对应一个任务类型，其中，不同任务类型对应不同的模型集合，每个模型集合中包含多个不同模型，每个模型包含能力描述信息以及参数设置信息，能力描述信息用于描述模型实现的任务功能，参数设置信息用于设置模型的初始参数和调整模型的参数；通过大模型与任务类型选择对应的模型集合对任务类型对应的数据集进行分析，生成分析结果并展示的方式，通过将结构化数据按照不同的任务类型进行划分，并根据不同的任务类型自动选择模型进行模型训练和预测分析，达到了进行全自动数据分析的目的，进而解决了由于相关技术中数据分析方法自动化程度低造成的分析效率低技术问题。
本文档来自技高网...【技术保护点】
1.一种基于大模型的数据分析方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，通过所述大模型与所述任务类型选择对应的模型集合对所述任务类型对应的所述数据集进行分析，包括：
3.根据权利要求1所述的方法，其特征在于，所述任务类型包括回归任务、分类任务、聚类任务；确定所述结构化数据所属的任务类型包括：通过所述大模型自动识别所述目标场景信息中的用户意图信息，并根据所述用户意图信息确定所述结构化数据所属的任务类型。
4.根据权利要求1所述的方法，其特征在于，通过所述大模型与所述任务类型选择对应的模型集合对所述任务类型对应的所述数据集进行分析之前，所述方法还包括：
5.根据权利要求2所述的方法，其特征在于，通过所述大模型基于所述任务类型从所述任务类型对应的所述模型集合中选择第一模型对所述任务类型对应的数据集进行训练，得到第一训练结果，包括：
6.根据权利要求5所述的方法，其特征在于，从多个所述模型中确定所述第一模型，包括：
7.根据权利要求1所述的方法，其特征在于：
8.一种数据分析装置，
9.一种非易失性存储介质，其特征在于，所述非易失性存储介质中存储有程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至7中任意一项所述的基于大模型的数据分析方法。
10.一种电子设备，其特征在于，包括：存储器和处理器，所述处理器用于运行存储在所述存储器中的程序，其中，所述程序运行时执行权利要求1至7中任意一项所述的基于大模型的数据分析方法。
11.一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1至7中任意一项所述的基于大模型的数据分析方法。
...【技术特征摘要】
1.一种基于大模型的数据分析方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，通过所述大模型与所述任务类型选择对应的模型集合对所述任务类型对应的所述数据集进行分析，包括：
3.根据权利要求1所述的方法，其特征在于，所述任务类型包括回归任务、分类任务、聚类任务；确定所述结构化数据所属的任务类型包括：通过所述大模型自动识别所述目标场景信息中的用户意图信息，并根据所述用户意图信息确定所述结构化数据所属的任务类型。
4.根据权利要求1所述的方法，其特征在于，通过所述大模型与所述任务类型选择对应的模型集合对所述任务类型对应的所述数据集进行分析之前，所述方法还包括：
5.根据权利要求2所述的方法，其特征在于，通过所述大模型基于所述任务类型从所述任务类型对应的所述模型集合中选择第一模型对所述任务类型对应的数据集进行训练...
【专利技术属性】
技术研发人员：宋洁，何冠楠，罗东，龚起航，文浩然，艾书荟，肖亨波，
申请(专利权)人：北京大学长沙计算与数字经济研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。