特征的筛选方法、装置、设备和存储介质制造方法及图纸

技术编号:26890720 阅读:24 留言:0更新日期:2020-12-29 16:07
本申请提供一种特征的筛选方法、装置、设备和存储介质,该方案中,电子设备获取待筛选的多个样本,每个样本中包括至少一个类型的特征,根据预设时间间隔,获取不同时间段内的每个类型的特征的互信息和覆盖率,根据每个时间段内的每个类型的特征的互信息和覆盖率,获取每个类型特征的稳定性指标,根据每个类型的特征的稳定性指标,对所述多个样本中的特征进行筛选,通过计算在不同时间段上稳定性衡量的动态指标来做特征选择,可有效提升建模效果,提高模型准确度。

【技术实现步骤摘要】
特征的筛选方法、装置、设备和存储介质
本申请实施例涉及大数据
,尤其涉及一种特征的筛选方法、装置、设备和存储介质。
技术介绍
随着大数据技术的发展,海量数据的不断丰富,越来越多的数据信息被应用到机器学习的应用中,需要使用这些数据信息进行模型构建。机器学习可以用于多种场景,比如目前互联网中的推荐系统,搜索系统等,而为了训练到更准确地模型,需要对采集得到的数据中的特征进行各种指标的识别,并对特征进行筛选。现有技术中,数据信息中包括很多的特征,且互信息和覆盖率是特征选择的重要指标,因此常用的方式是通过计算每个特征的互信息和覆盖率,再根据数值大小定义阈值,对特征进行筛选。然而,作为特征的数据信息往往有在时间上分布不稳定的特点,对于时间分布不稳定的特征很难被筛选出来,导致特征训练处的模型效果不好。
技术实现思路
本申请实施例提供一种特征的筛选方法、装置、设备和存储介质,以解决上述对于时间分布不稳定的特征很难被筛选出来,导致特征训练处的模型效果不好的问题。本申请第一方面提供一种特征的筛选方法,所述方法包括:本文档来自技高网...

【技术保护点】
1.一种特征的筛选方法,其特征在于,所述方法包括:/n获取待筛选的多个样本,每个样本中包括至少一个类型的特征;/n根据预设时间间隔,获取不同时间段内的每个类型的特征的互信息和覆盖率;/n根据每个时间段内的每个类型的特征的互信息和覆盖率,获取每个类型特征的稳定性指标;/n根据每个类型的特征的稳定性指标,对所述多个样本中的特征进行筛选。/n

【技术特征摘要】
1.一种特征的筛选方法,其特征在于,所述方法包括:
获取待筛选的多个样本,每个样本中包括至少一个类型的特征;
根据预设时间间隔,获取不同时间段内的每个类型的特征的互信息和覆盖率;
根据每个时间段内的每个类型的特征的互信息和覆盖率,获取每个类型特征的稳定性指标;
根据每个类型的特征的稳定性指标,对所述多个样本中的特征进行筛选。


2.根据权利要求1所述的方法,其特征在于,每个样本中还包括特征的时间信息,所述根据预设时间间隔,获取不同时间段内的每个类型的特征的互信息和覆盖率,包括:
根据每个样本中的特征的时间信息,按照所述时间间隔,将每个样本分割成多个时间段的的子样本;
计算每个子样本中每个类型的特征的互信息和覆盖率。


3.根据权利要求2所述的方法,其特征在于,所述根据每个时间段内的每个类型的特征的互信息和覆盖率,获取每个类型特征的稳定性指标,包括:
针对每个类型的特征,计算多个时间段对应的互信息和覆盖率的方差值;所述稳定性指标包括所述方差值。


4.根据权利要求1至3任一项所述的方法,其特征在于,所述根据每个类型的特征的稳定性指标,对所述多个样本中的特征进行筛选,包括:
将所述多个样本中,稳定性指标小于预设阈值的特征进行过滤,得到稳定性高于所述阈值的至少一个类型的特征。


5.一种特征的筛选装置,其特征在于,包括:
获取模块,用于获取待筛选的多个样本,每个样本中包括至少一个类...

【专利技术属性】
技术研发人员:王倩徐晓飞杨海华
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1