基于多能智能体深度强化学习的结构化数据预测优化方法技术

本发明专利技术公开了一种基于多能智能体深度强化学习的结构化数据预测优化方法。获取结构化数据的原始数据；用深度强化学习智能体和代理模型对原始数据进行迭代处理，获得优化后的深度强化学习智能体；将原始数据和初始设定的超参数再次输入到优化后的深度强化学习智能体中生成新训练数据，并用新训练数据训练一个预测模型；将结构化数据的待预测数据输入输入到预测模型中，得到最终的预测目标参数的预测结果。本发明专利技术能够一次性解决包括自动特征工程、超参搜索等多个优化任务，大幅降低建模过程中的人力消耗，同时提高寻优的准确度。同时提高寻优的准确度。同时提高寻优的准确度。

【技术实现步骤摘要】
基于多能智能体深度强化学习的结构化数据预测优化方法


[0001]本专利技术涉及人工智能领域的一种数据自动机器学习方法，具体涉及一种基于多能智能体深度强化学习的结构化数据预测优化方法。

技术介绍

[0002]结构化数据(TabularData)作为工业场景下最常见的数据存储形式，自机器学习技术在互联网及各个工业、产业领域逐渐被广泛利用以来，结构化数据自动机器学习AutoML技术一直是学界及产业界研究的热点问题。其关键原因是在大部分情况下，某一具体领域使用机器学习能够得到效果很好的模型，但若要在另一个领域使用该模型则不一定适用。为取得较好的模型预测效果，往往需要大量专业知识来支撑特征工程、参数调优等工作。因此，对于一个领域专家来说，可能需要同时掌握大量专业领域知识以及机器(深度)学习基础，并且耗费大量时间精力才能系统性地完成一个完整的基于AI技术的建模预测任务。
[0003]结构化数据自动机器学习AutoML本质上是一个关于数据特征集合寻优和模型超参数寻优的组合优化问题。结构化数据自动特征工程(AutoFE)方面，Udayan Khurana等人(2018)提出的TransGraph首次将Q
‑
learning应用在自动特征工程领域(AutoFE)。Chen Xiangning等人提出基于NASNET架构的自动特征工程方法NFS(2019)，在该领域达到State
‑
of
‑
Art。此后大多AutoFE架构基本都参考了NFS中对于强化学习智能体的设计，采用NASNET结构。结构化数据机器学习超参数优化(HPO)研究方面，目前大多数框架均采用贝叶斯优化或者启发式算法，深度强化学习在此领域的应用相对较少。
[0004]然而不管是自动特征工程(AutoFE)还是超参数优化(HPO)，它们实际上都是整个AutoML链路的一部分，以上所述目前大多相关AutoML方法实际上都只解决了整个链路中如自动特征工程、超参数优化这两个核心子集的其中一个，并未将两个问题统一考虑为一个多目标优化问题，造成最终结构化数据预测效果受到制约。

技术实现思路

[0005]针对结构化数据自动机器学习技术目前存在的不足，本专利技术提出了一种基于多能智能体深度强化学习的结构化数据预测优化方法，通过搭建多个由深度网络构成的强化学习智能体，一次性解决连续特征、离散特征搜索和超参数寻优等问题，寻优搜索全过程无需干预，减小人力开销的同时，提升模型预测精度。
[0006]为了解决上述现有技术的不足之处，如图1所示，本专利技术提供了以下技术方案：
[0007]步骤一：获取结构化数据的原始数据和用户输入的对于结构化数据的预测优化任务参数；
[0008]所述的原始数据是结构化数据，例如表格型数据。所述的原始数据中包括了离散数据部分和连续数据部分以及、预测目标参数的真实值。
[0009]具体实施中，以数据中的一列作为一个特征，将原始数据设置为特征集合。
[0010]所述的预测优化任务参数包括预测任务类型、代理模型种类、预测目标参数的预测精度参数类型。
[0011]步骤二：根据预设的预测优化任务参数用深度强化学习智能体和代理模型对原始数据进行迭代处理，获得优化后的深度强化学习智能体；
[0012]步骤三：将原始数据和初始设定的超参数再次输入到优化后的深度强化学习智能体中生成新训练数据，并用新训练数据训练一个预测模型；
[0013]步骤四：将结构化数据的待预测数据输入输入到预测模型中，得到最终的预测目标参数的预测结果。
[0014]所述步骤二具体为：
[0015]S21、每一轮迭代中，将原始数据结合初始设定的超参数选择，输入到当前深度强化学习智能体中进行推理处理得到特征生成字典和新超参数集合；
[0016]S22、根据得到的特征生成字典生成本轮特征数据，用本轮特征数据和超参数对代理模型进行训练和验证，输出获得预测精度参数；
[0017]S23、将特征生成字典和新超参数集合预测精度参数再返回输入到深度强化学习智能体中进行参数和梯度的分析和学习，优化深度强化学习智能体内部的权重参数；
[0018]S24、不断重复步骤S21～S23进行迭代，当迭代次数到达预设轮次阈值后，迭代结束，获得最终优化后的深度强化学习智能体。
[0019]本专利技术建立三个不同的深强化学习智能体，三个深度强化学习智能体分别对应离散特征列的特征生成/转换动作搜索、连续特征列的特征生成/转换动作搜索和代理模型超参数数值的搜索。
[0020]所述步骤二，具体包括：
[0021]所述的深度强化学习智能体包括离散数据智能体、连续数据智能体和超参数智能体，离散数据智能体和连续数据智能体均采用拓扑结构相同的多头自注意力网络结构，超参数智能体采用循环神经网络；
[0022]将原始数据拆分为离散数据和连续数据，将离散数据输入到离散数据智能体输出获得离散特征生成字典，将连续数据输入到连续数据智能体输出获得连续特征生成字典，将初始设定的超参数输入到超参数数据智能体输出获得更新后的超参数，由更新后的超参数组成新超参数集合；
[0023]所述的连续数据是指能以浮点类型表示的字段数据；所述的离散数据是指只能转化处理为自然数或整数类型的字段数据。
[0024]接着利用离散特征生成字典结合离散特征生成函数生成离散特征，再利用连续特征生成字典结合连续特征生成函数生成连续特征，作为特征数据；
[0025]以初始设定的超参数作为代理模型的超参数，按照固定比例将原始数据拆分为训练集和验证集，用训练集对应获得的特征数据对代理模型进行训练，所述的代理模型输入本轮特征数据、且输出预测目标参数的预测值，用验证集对应获得的特征数据对训练后的代理模型进行验证，将预测目标参数的预测值和已知的预测目标参数的真实值进行比较获得用户预设输入的预测精度参数类型下的预测精度参数；
[0026]离散特征生成字典、连续特征生成字典、更新后的超参数和代理模型验证得到的预测精度参数全部记录到信息存储器中，信息存储器将自身记录的信息反馈输入到三深度
强化学习智能体中进行参数和梯度的分析和学习，优化三个深度强化学习智能体内部的权重参数。
[0027]所述的多头自注意力网络结构是主要由第一层全连接层、多头注意力层(Multi
‑
Head Attention)、第一层批归一化层、第二层全连接层、第二层批归一化层、第三层全连接层和激活函数依次连接构成。
[0028]所述的循环神经网络结构是主要由编码层、长短时记忆单元LSTM、解码层和激活函数依次连接构成，其中编码层和解码层均采用全连接层。
[0029]所述步骤三，具体为：
[0030]将原始数据和初始设定的超参数输入到优化后的深度强化学习智能体中，再做一次推理，将推理得到的离散特征生成字典、连续特征生成字典和新超参数集合作为搜索结果输出；
[0031]用搜索得到的离散特征生成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多能智能体深度强化学习的结构化数据预测优化方法，其特征在于：方法包括以下步骤：步骤一：获取结构化数据的原始数据；步骤二：用深度强化学习智能体和代理模型对原始数据进行迭代处理，获得优化后的深度强化学习智能体；步骤三：将原始数据和初始设定的超参数再次输入到优化后的深度强化学习智能体中生成新训练数据，并用新训练数据训练一个预测模型；步骤四：将结构化数据的待预测数据输入输入到预测模型中，得到最终的预测目标参数的预测结果。2.根据权利要求1所述的一种基于多能智能体深度强化学习的结构化数据预测优化方法，其特征在于：所述步骤二具体为：S21、每一轮迭代中，将原始数据结合初始设定的超参数选择，输入到当前深度强化学习智能体中进行推理处理得到特征生成字典和新超参数集合；S22、根据得到的特征生成字典生成本轮特征数据，用本轮特征数据和超参数对代理模型进行训练和验证，输出获得预测精度参数；S23、将特征生成字典和新超参数集合预测精度参数再返回输入到深度强化学习智能体中进行参数和梯度的分析和学习，优化深度强化学习智能体内部的权重参数；S24、不断重复步骤S21～S23进行迭代，当迭代次数到达预设轮次阈值后，迭代结束，获得最终优化后的深度强化学习智能体。3.根据权利要求1或2所述的一种基于多能智能体深度强化学习的结构化数据预测优化方法，其特征在于：所述步骤二，具体包括：所述的深度强化学习智能体包括离散数据智能体、连续数据智能体和超参数智能体，离散数据智能体和连续数据智能体均采用拓扑结构相同的多头自注意力网络结构，超参数智能体采用循环神经网络；将原始数据拆分为离散数据和连续数据，将离散数据输入到离散数据智能体输出获得离散特征生成字典，将连续数据输入到连续数据智能体输出获得连续特征生成字典，将初始设定的超参数输入到超参数数据智能体输出获得更新后的超参数，由更新后的超参数组成新超参数集合；接着利用离散特征生成字典结合离散特征生成函数生成离散特征，再利用连续特征生成字典结合连续特征生成函数生成连续特征，作为特征数据；以初始设定的超参数作为代理模型的超参数，将原始数据拆分为训练集和验证集，用训练集对应获得的特征数据对代理模型进行训练，所述的代理模型输入本轮特征数据、且...

【专利技术属性】
技术研发人员：查良瑜，黄清仪，杨赛赛，袁静，赵俊博，
申请(专利权)人：浙江大学计算机创新技术研究院，
类型：发明
国别省市：