加快特征工程衍生指标构建的方法和系统技术方案

技术编号:43333272 阅读:20 留言:0更新日期:2024-11-15 20:30
本发明专利技术涉及一种加快特征工程衍生指标构建的方法和系统,加快特征工程衍生指标构建的系统包括:自动特征衍生模块,用于通过识别接收到的数据的数据类型分配对应的运算规则,并依据运算规则对数据进行计算,得到特征数据;特征选择模块,用于通过算法从特征数据中选择对模型性能提升作用最大的衍生指标;模型评估模块,用于依据衍生指标进行机器学习模型的训练,并对机器学习模型的训练进行评估,得到评估结果。其优点在于,提升了衍生指标的生成速度、准确性和模型性能。

【技术实现步骤摘要】

本专利技术涉及计算机技术应用领域,尤其涉及一种加快特征工程衍生指标构建的方法和系统


技术介绍

1、在数据科学和机器学习领域,特征工程是模型构建过程中至关重要的一步。目前,特征工程主要依赖以下几种方法:

2、(1)数据科学家根据对数据和业务的理解,手工设计和构建衍生指标。这种方法灵活性高,但效率低下,尤其在处理大规模数据集时。

3、(2)通过编写脚本(如python、r等)自动生成部分衍生指标,尽管提高了效率,但仍需要大量的手工调整和验证。

4、(3)目前也有一些数据处理工具(如sql、excel、pandas等)提供了部分自动化支持,但这些工具使用起来功能具有局限性,难以满足复杂场景下的需求。

5、由上可知,现有技术在进行特征工程时,手工构建衍生指标效率低下,尤其在大规模数据集上非常耗时。自动化程度低,现有工具功能单一,难以应对复杂数据处理需求。手工构建过程中容易引入人为错误,影响模型性能和稳定性。缺乏对不同数据类型和业务场景的适应性,限制了应用范围。

6、目前针对现有特征工程技术中存在的效率低本文档来自技高网...

【技术保护点】

1.一种加快特征工程衍生指标构建的系统,其特征在于,包括:

2.根据权利要求1所述的加快特征工程衍生指标构建的系统,其特征在于,所述自动特征衍生模块包括:

3.根据权利要求2所述的加快特征工程衍生指标构建的系统,其特征在于,所述数据类型包括:数值类型、时间类型和分类型。

4.根据权利要求1或2所述的加快特征工程衍生指标构建的系统,其特征在于,所述特征选择模块包括:

5.根据权利要求4所述的加快特征工程衍生指标构建的系统,其特征在于,所述模型评估模块包括:

6.根据权利要求1所述的加快特征工程衍生指标构建的系统,其特征在于,所述系...

【技术特征摘要】

1.一种加快特征工程衍生指标构建的系统,其特征在于,包括:

2.根据权利要求1所述的加快特征工程衍生指标构建的系统,其特征在于,所述自动特征衍生模块包括:

3.根据权利要求2所述的加快特征工程衍生指标构建的系统,其特征在于,所述数据类型包括:数值类型、时间类型和分类型。

4.根据权利要求1或2所述的加快特征工程衍生指标构建的系统,其特征在于,所述特征选择模块包括:

5.根据权利要求4所述的加快特征工程衍生指标构建的系统,其特征在于,所述模型评估模块包括:

6.根据权利要求1所述的加快特征工程衍生指标构建的系统,其特征在于,所述系统还包括:结果展示模...

【专利技术属性】
技术研发人员:杜福增
申请(专利权)人:上海旭荣网络科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1