一种混合特征筛选和超参数优化的PSO-XGBoost系统构建方法技术方案

本发明专利技术涉及混合特征筛选和超参数优化的PSO‑XGBoost系统构建方法，包括：对数据集进行预览和预处理；采用Pearson相关系数分析预处理后的数据集中特征之间的相关性，删除原始数据集中线性相关性大于预设阈值的特征，得到特征子集；将特征子集划分为训练集和测试集；基于PSO算法对训练集进行特征选择和XGBoost模型的超参数混合优化，输出最优特征子集和XGBoost模型的最优超参数组合；基于最优特征子集和XGBoost模型的最优超参数组合构建PSO‑XGBoost系统；基于测试集对PSO‑XGBoost系统进行测试，输出预测结果，在预测结果满足预设条件的情况下，完成PSO‑XGBoost系统的构建。其有益效果是，实现了机器学习算法处理大数据时进行特征筛选以实现数据降维和模型超参数优化这两个关键问题的并行化处理。

【技术实现步骤摘要】

本专利技术涉及大数据挖掘和机器学习，尤其涉及一种混合特征筛选和超参数优化的pso-xgboost系统构建方法。

技术介绍

1、随着互联网技术的迅猛发展，海量的数据通过各种方式被生成和收集，包括社交网络、电子商务和物联网等。这些数据中包含了宝贵的信息，可以通过分析这些数据来获取商业价值、科学发展和社会洞察。大数据挖掘技术涉及到从庞大的数据中提取、转换和展现有用的信息和模式，这就需要机器学习和人工智能技术的辅助。

2、然而，原始的数据集往往规模巨大，其中包含许多冗余特征和无关的特征，将原始的数据集直接用于机器学习模型的输入将造成时间和计算资源的浪费。其次，机器学习算法在使用时需要调节自身参数，由于参数能够直接控制算法的行为，因此不同参数取值会极大程度上的影响模型性能。

技术实现思路

1、(一)要解决的技术问题

2、鉴于现有技术的上述缺点、不足，本专利技术提供一种混合特征筛选和超参数优化的pso-xgboost系统构建方法，其解决了用于大数据挖掘的机器学习算法，原始数据集维度高和模型最佳参数本文档来自技高网...

【技术保护点】

1.一种混合特征筛选和超参数优化的PSO-XGBoost系统构建方法，其特征在于，包括：

2.根据权利要求1所述的混合特征筛选和超参数优化的PSO-XGBoost系统构建方法，其特征在于，所述基于PSO算法对训练集进行特征选择和XGBoost模型的超参数混合优化，输出最优特征子集和XGBoost模型的最优超参数组合，包括：

3.根据权利要求2所述的混合特征筛选和超参数优化的PSO-XGBoost系统构建方法，其特征在于，

4.根据权利要求3所述的混合特征筛选和超参数优化的PSO-XGBoost系统构建方法，其特征在于，

5.根据权利要求4所...

【技术特征摘要】

1.一种混合特征筛选和超参数优化的pso-xgboost系统构建方法，其特征在于，包括：

2.根据权利要求1所述的混合特征筛选和超参数优化的pso-xgboost系统构建方法，其特征在于，所述基于pso算法对训练集进行特征选择和xgboost模型的超参数混合优化，输出最优特征子集和xgboost模型的最优超参数组合，包括：

3.根据权利要求2所述的混合特征筛选和超参数优化的pso-xgboost系统构建方法，其特征在于，

4.根据权利要求3所述的混合特征筛选和超参数优化的pso-xgboost系统构建方法，其特征在于，...

【专利技术属性】
技术研发人员：陈一宁，王诗琪，高大为，
申请(专利权)人：浙江大学，
类型：发明
国别省市：