一种从原始数据集中提取有效特征的方法技术

本发明专利技术公开了一种从原始数据集中提取有效特征的方法，其包括以下步骤：S1、将原始数据进行排序；S2、正则化去重；S3、根据重要性选取第一特征集；S4、将第一特征集作为MISO模型的输入，获取对应的输出性能；S5、根据重要性从剩下的数据集中选取特征；S6、将选取的特征加入第一特征集得到第二特征集；S7、将第二特征集作为MISO模型的输入，获取对应的输出性能；S8、判断第二特征集对应的输出性能是否高于第一特征集对应的输出性能，若是则将第二特征集作为新的第一特征集，并返回步骤S4；否则将第一特征集输出。本发明专利技术可以从原始数据中提取有效特征，有效提高后续数据处理的准确性。

【技术实现步骤摘要】
一种从原始数据集中提取有效特征的方法
本专利技术涉及数据处理领域，具体涉及一种从原始数据集中提取有效特征的方法。
技术介绍
日常生活中的数据越来越多，大数据处理存在于生活中的方方面面，但是如何在众多的数据中挑选出有效的特征数据，是减少计算量并提高准确度的有效手段。水位预测对于防洪减灾、水资源利用和分配管理有着极为重要的作用。水位预测的输入量的个数一般较大，尤其是引入各变量的滞后量后会急剧的增加特征的维数和计算复杂度，但是这些变量中实际上包含大量重复信息和噪声成分。为了降低水位预测的运算复杂度，提高水位预测的灵活性和解释力，需要从原始的高维数据集中选择有效的特征数据。
技术实现思路
针对现有技术中的上述不足，本专利技术提供的一种从原始数据集中提取有效特征的方法可以从原始数据集中提取有效特征，有利于提高后续数据处理的准确度。为了达到上述专利技术目的，本专利技术采用的技术方案为：提供一种从原始数据集中提取有效特征的方法，其包括以下步骤：S1、将原始数据进行排序，得到排序后的数据集；S2、对排序后的数据集进行正则化去重，得到去重后的数据集；S3、根据去重后数据集中每个特征的重要性及去重后数据集的本文档来自技高网...

【技术保护点】
1.一种从原始数据集中提取有效特征的方法，其特征在于：包括以下步骤：S1、将原始数据进行排序，得到排序后的数据集；S2、对排序后的数据集进行正则化去重，得到去重后的数据集；S3、根据去重后数据集中每个特征的重要性及去重后数据集的重要性平均值，从去重后的数据集中选取第一特征集；S4、将第一特征集作为MISO模型的输入，获取对应的输出性能；S5、根据剩下的数据集中每个特征的重要性及剩下的数据集的重要性平均值，从剩下的数据集中选取特征；S6、将选取的特征加入第一特征集得到第二特征集；S7、将第二特征集作为MISO模型的输入，获取对应的输出性能；S8、判断第二特征集对应的输出性能是否高于第一特征集对应...

【技术特征摘要】
1.一种从原始数据集中提取有效特征的方法，其特征在于：包括以下步骤：S1、将原始数据进行排序，得到排序后的数据集；S2、对排序后的数据集进行正则化去重，得到去重后的数据集；S3、根据去重后数据集中每个特征的重要性及去重后数据集的重要性平均值，从去重后的数据集中选取第一特征集；S4、将第一特征集作为MISO模型的输入，获取对应的输出性能；S5、根据剩下的数据集中每个特征的重要性及剩下的数据集的重要性平均值，从剩下的数据集中选取特征；S6、将选取的特征加入第一特征集得到第二特征集；S7、将第二特征集作为MISO模型的输入，获取对应的输出性能；S8、判断第二特征集对应的输出性能是否高于第一特征集对应的输出性能，若是则将第二特征集作为新的第一特征集，并返回步骤S4；否则将第一特征集作为有效特征集进行输出，结束有效特征的获取。2.根据权利要求1所述的从原始数据集中提取有效特征的方法，其特征在于，所述步骤S1的具体方法为：根据Extra-Trees算法评估原始数据集中每个特征的重要性，并根...

【专利技术属性】
技术研发人员：翁玲，管杰，任青峰，张东平，陈宇，罗小松，黄翠仙，
申请(专利权)人：贵州省赤水市气象局，
类型：发明
国别省市：贵州,52