一种数据处理的方法和装置制造方法及图纸

技术编号:15791976 阅读:263 留言:0更新日期:2017-07-09 22:50
本发明专利技术公开了一种数据处理的方法和装置,属于计算机技术领域。所述方法包括:获取样本数据记录,根据每条样本数据记录中的参数项和对应的参数值,以及预设的隶属度函数,确定每个参数值对应的参数值等级和参数值等级的权值,并根据每条样本数据记录中各参数值等级的权值,选取样本总权值大于预设阈值的参数值等级;根据在每条样本数据记录中所述选取的参数值等级对应的权值,确定满足预设组合条件的参数值等级,分别基于每个满足预设组合条件的参数值等级,确定参数值等级组合;确定每个所述参数值等级组合对应的样本总权值,输出样本总权值大于预设阈值的参数值等级组合。采用本发明专利技术,可以节约处理资源。

【技术实现步骤摘要】
一种数据处理的方法和装置
本专利技术涉及计算机
,特别涉及一种处理数据的方法和装置。
技术介绍
随着信息技术的发展,数据挖掘的应用越来越广泛。在数据挖掘中,模糊频繁项目集挖掘算法是一种常用的算法。通过模糊频繁项目集挖掘算法,计算机可以确定数据样本中出现频率较高的参数项,以及参数项的组合。采用模糊频繁项目集挖掘算法进行数据挖掘时,计算机可以先获取数据样本,数据样本可以包括多条样本数据记录,每条样本数据记录中可以包括至少一个参数项,以及每个参数项对应的参数值。计算机中可以存储预先定义的隶属度函数,隶属度函数中可以预先设置一个或多个参数值等级,以及各参数值等级对应的预设阈值,对于任一参数项的参数值,计算机中可以根据隶属度函数,确定该参数值对应各阈值的权值,然后可以将该参数值用预先设置的参数值等级和参数值等级对应的权值进行表示。例如,参数项为温度,参数值为25,参数值等级为温度高、温度中、温度低,对应的预设阈值依次为10、20、30,则可以根据隶属度函数确定该参数值对应高等级的权值为0.5,该参数值对应中等级的权值为0.5,该参数值对应低等级的权值为0。计算机可以将上述样本数据记录中的各参数项的参数值,用参数值等级和对应的权值进行表示,例如,参数项为温度,参数值为25,可以表示为0.5/温度高,0.5/温度中。这样,计算机可以得到各参数项、参数值等级和权值的对应关系表。对于任一参数项,计算机可以在每条样本数据记录中,获取该参数项对应各参数值等级的权值,分别计算各参数值等级对应的权值的和值(即样本总权值),确定对应的样本总权值最大的参数值等级,作为该参数项对应的参数值等级。这样,计算机可以确定各参数项对应的参数值等级,然后可以获取样本总权值大于预设阈值的参数值等级。计算机可以将获取到的参数值等级进行任意组合,得到多个参数值等级组合。对于任一参数值等级组合,计算机可以在上述对应关系表中,查询包含该参数值等级组合的样本数据记录,并可以在每条样本数据记录中,获取该参数值等级组合包含的参数值等级对应的权值,进而获取其中最小的权值,计算机可以将各样本数据记录中获取到的最小的权值进行相加,得到参数值等级组合对应的样本总权值。计算机可以在多个参数值等级组合中,确定对应的样本总权值大于预设阈值的参数值等级组合,得到出现频率较高的参数值等级组合。在实现本专利技术的过程中,专利技术人发现现有技术至少存在以下问题:对于每个参数值等级组合,计算机都需要按照上述处理方式在上述对应关系表中进行一次查找,从而确定该参数值等级组合是否为频率较高的参数值等级组合,这样会占用计算机大量的处理资源。
技术实现思路
为了解决现有技术的问题,本专利技术实施例提供了一种数据处理的方法和装置。所述技术方案如下:第一方面,提供了一种数据处理的方法,所述方法包括:获取样本数据记录,每条样本数据记录包括至少一个参数项,以及每个参数项对应的参数值;根据每条样本数据记录中的参数项和对应的参数值,以及预设的隶属度函数,确定每个参数值对应的参数值等级和参数值等级的权值,并根据每条样本数据记录中各参数值等级的权值,选取样本总权值大于预设阈值的参数值等级;根据在每条样本数据记录中所述选取的参数值等级对应的权值,确定满足预设组合条件的参数值等级,分别基于每个满足预设组合条件的参数值等级,确定参数值等级组合;确定每个所述参数值等级组合对应的样本总权值,输出样本总权值大于预设阈值的参数值等级组合。可选的,所述根据在每条样本数据记录中所述选取的参数值等级对应的权值,确定满足预设组合条件的参数值等级,分别基于每个满足预设组合条件的参数值等级,确定参数值等级组合,包括:根据在每条样本数据记录中所述选取的参数值等级对应的权值,以及所述选取的参数值等级对应的样本总权值,确定满足预设组合条件的参数值等级,分别基于每个满足预设组合条件的参数值等级,确定参数值等级组合。可选的,所述根据在每条样本数据记录中所述选取的参数值等级对应的权值,以及所述选取的参数值等级对应的样本总权值,确定满足预设组合条件的参数值等级,分别基于每个满足预设组合条件的参数值等级,确定参数值等级组合,包括:根据所述选取的参数值等级对应的样本总权值的数值顺序,确定所述选取的参数值等级的顺序;根据在每条样本数据记录中所述选取的参数值等级对应的权值,以及所述选取的参数值等级的顺序,确定满足预设组合条件的参数值等级;根据所述选取的参数值等级的顺序,分别基于每个满足预设组合条件的参数值等级,确定参数值等级组合。可选的,所述根据在每条样本数据记录中所述选取的参数值等级对应的权值,以及所述选取的参数值等级的顺序,确定满足预设组合条件的参数值等级,包括:对于每个参数值等级,根据所述选取的参数值等级的顺序,在每条样本数据记录中,确定排在所述参数值等级之后的各参数值等级的权值中的最大值,确定所述参数值等级在各样本数据记录中对应的最大值的和值,得到每个参数值等级对应的和值;选取对应的和值大于预设阈值的参数值等级。可选的,所述根据所述选取的参数值等级的顺序,分别基于每个满足预设组合条件的参数值等级,确定参数值等级组合,包括:对于每个参数值等级,根据所述选取的参数值等级的顺序,在预设组合条件的参数值等级中,确定排在所述参数值等级之后的各参数值等级,根据所述参数值等级,以及所述排在所述参数值等级之后的各参数值等级,确定参数值等级组合。可选的,所述确定每个所述参数值等级组合对应的样本总权值,输出样本总权值大于预设阈值的参数值等级组合,包括:在每条样本数据记录中,确定每个所述参数值等级组合包含的参数值等级对应的权值中的最小值;根据在每条样本数据记录中所述每个所述参数值等级组合对应的权值中的最小值,确定每个所述参数值等级组合对应的样本总权值,输出样本总权值大于预设阈值的参数值等级组合。可选的,所述根据在每条样本数据记录中所述选取的参数值等级对应的权值,确定满足预设组合条件的参数值等级,分别基于每个满足预设组合条件的参数值等级,确定参数值等级组合,包括:根据在每条样本数据记录中所述选取的参数值等级对应的权值,确定满足预设组合条件的参数值等级,基于每个满足预设组合条件的参数值等级,确定每个满足预设组合条件的参数值等级与其他参数值等级组成的包含两个参数值等级的参数值等级组合;根据在每条样本数据记录中所述选取的参数值等级对应的权值,确定满足预设组合条件的包含两个参数值等级的参数值等级组合,分别基于每个满足预设组合条件的包含两个参数值等级的参数值等级组合,进一步组合,确定参数值等级组合。可选的,所述方法还包括:输出样本总权值大于预设阈值的参数值等级。第二方面,提供了一种数据处理的装置,所述装置包括:获取模块,用于获取样本数据记录,每条样本数据记录包括至少一个参数项,以及每个参数项对应的参数值;第一确定模块,用于根据每条样本数据记录中的参数项和对应的参数值,以及预设的隶属度函数,确定每个参数值对应的参数值等级和参数值等级的权值,并根据每条样本数据记录中各参数值等级的权值,选取样本总权值大于预设阈值的参数值等级;第二确定模块,用于根据在每条样本数据记录中所述选取的参数值等级对应的权值,确定满足预设组合条件的参数值等级,分别基于每个满足预设组合条件的本文档来自技高网
...
一种数据处理的方法和装置

【技术保护点】
一种数据处理的方法,其特征在于,所述方法包括:获取样本数据记录,每条样本数据记录包括至少一个参数项,以及每个参数项对应的参数值;根据每条样本数据记录中的参数项和对应的参数值,以及预设的隶属度函数,确定每个参数值对应的参数值等级和参数值等级的权值,并根据每条样本数据记录中各参数值等级的权值,选取样本总权值大于预设阈值的参数值等级;根据在每条样本数据记录中所述选取的参数值等级对应的权值,确定满足预设组合条件的参数值等级,分别基于每个满足预设组合条件的参数值等级,确定参数值等级组合;确定每个所述参数值等级组合对应的样本总权值,输出样本总权值大于预设阈值的参数值等级组合。

【技术特征摘要】
1.一种数据处理的方法,其特征在于,所述方法包括:获取样本数据记录,每条样本数据记录包括至少一个参数项,以及每个参数项对应的参数值;根据每条样本数据记录中的参数项和对应的参数值,以及预设的隶属度函数,确定每个参数值对应的参数值等级和参数值等级的权值,并根据每条样本数据记录中各参数值等级的权值,选取样本总权值大于预设阈值的参数值等级;根据在每条样本数据记录中所述选取的参数值等级对应的权值,确定满足预设组合条件的参数值等级,分别基于每个满足预设组合条件的参数值等级,确定参数值等级组合;确定每个所述参数值等级组合对应的样本总权值,输出样本总权值大于预设阈值的参数值等级组合。2.根据权利要求1所述的方法,其特征在于,所述根据在每条样本数据记录中所述选取的参数值等级对应的权值,确定满足预设组合条件的参数值等级,分别基于每个满足预设组合条件的参数值等级,确定参数值等级组合,包括:根据在每条样本数据记录中所述选取的参数值等级对应的权值,以及所述选取的参数值等级对应的样本总权值,确定满足预设组合条件的参数值等级,分别基于每个满足预设组合条件的参数值等级,确定参数值等级组合。3.根据权利要求2所述的方法,其特征在于,所述根据在每条样本数据记录中所述选取的参数值等级对应的权值,以及所述选取的参数值等级对应的样本总权值,确定满足预设组合条件的参数值等级,分别基于每个满足预设组合条件的参数值等级,确定参数值等级组合,包括:根据所述选取的参数值等级对应的样本总权值的数值顺序,确定所述选取的参数值等级的顺序;根据在每条样本数据记录中所述选取的参数值等级对应的权值,以及所述选取的参数值等级的顺序,确定满足预设组合条件的参数值等级;根据所述选取的参数值等级的顺序,分别基于每个满足预设组合条件的参数值等级,确定参数值等级组合。4.根据权利要求3所述的方法,其特征在于,所述根据在每条样本数据记录中所述选取的参数值等级对应的权值,以及所述选取的参数值等级的顺序,确定满足预设组合条件的参数值等级,包括:对于每个参数值等级,根据所述选取的参数值等级的顺序,在每条样本数据记录中,确定排在所述参数值等级之后的各参数值等级的权值中的最大值,确定所述参数值等级在各样本数据记录中对应的最大值的和值,得到每个参数值等级对应的和值;选取对应的和值大于预设阈值的参数值等级。5.根据权利要求3所述的方法,其特征在于,所述根据所述选取的参数值等级的顺序,分别基于每个满足预设组合条件的参数值等级,确定参数值等级组合,包括:对于每个参数值等级,根据所述选取的参数值等级的顺序,在预设组合条件的参数值等级中,确定排在所述参数值等级之后的各参数值等级,根据所述参数值等级,以及所述排在所述参数值等级之后的各参数值等级,确定参数值等级组合。6.根据权利要求1所述的方法,其特征在于,所述确定每个所述参数值等级组合对应的样本总权值,输出样本总权值大于预设阈值的参数值等级组合,包括:在每条样本数据记录中,确定每个所述参数值等级组合包含的参数值等级对应的权值中的最小值;根据在每条样本数据记录中所述每个所述参数值等级组合对应的权值中的最小值,确定每个所述参数值等级组合对应的样本总权值,输出样本总权值大于预设阈值的参数值等级组合。7.根据权利要求1所述的方法,其特征在于,所述根据在每条样本数据记录中所述选取的参数值等级对应的权值,确定满足预设组合条件的参数值等级,分别基于每个满足预设组合条件的参数值等级,确定参数值等级组合,包括:根据在每条样本数据记录中所述选取的参数值等级对应的权值,确定满足预设组合条件的参数值等级,基于每个满足预设组合条件的参数值等级,确定每个满足预设组合条件的参数值等级与其他参数值等级组成的包含两个参数值等级的参数值等级组合;根据在每条样本数据记录中所述选取的参数值等级对应的权值,确定满足预设组合条件的包含两...

【专利技术属性】
技术研发人员:林浚玮肖磊王巨宏陈伟李霆
申请(专利权)人:哈尔滨工业大学深圳研究生院腾讯科技深圳有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1