The invention provides a method of reducing data dimension, including obtaining the N dimension data, the N dimensional data including N dimensions, where N is greater than or equal to 1; the data dimension is reduced by the following way: the input data, get data of 1 sub dimensions, as input data a handle; and performing the above steps, until the zero dimension data, in the dimension of the sub data records generated corresponding sub data time.
【技术实现步骤摘要】
数据降维方法、系统及电子设备
本公开涉及计算机
,更具体地,涉及一种数据降维方法、系统及电子设备。
技术介绍
随着数据库技术的发展和应用,数据库存储的数据量从20世纪80年代的兆(M)字节及千兆(G)字节过渡到现在的兆兆(T)字节和千兆兆(P)字节,同时,用户的查询需求也越来越复杂,涉及的已不仅是查询或操纵一张关系表中的一条或几条记录,而是要对多张表中千万条记录的数据进行数据分析和信息综合。但是,在实现本公开构思的过程中,专利技术人发现现有技术存在如下技术问题:在大数据应用中随着对数据的多维度查询的需求,数据库系统已不能全部满足这一需求,因为现有的数据库在进行一维度或多维度查询时效率很低。
技术实现思路
有鉴于此,本公开提供了一种数据降维方法、系统及电子设备。本公开的一个方面提供了一种数据降维方法,包括:获取N维数据,所述N维数据包括N个维度,其中N大于等于1;通过以下方式对所述数据进行降维处理:对输入数据进行处理,得到维度降1的子数据,作为下一次处理的输入数据;以及执行上述步骤,直到得到零维子数据,在通过上述降维处理得到的子数据中记录生成相应子数据的时间。根据 ...
【技术保护点】
一种数据降维方法,包括:获取N维数据,所述N维数据包括N个维度,其中N大于等于1;通过以下方式对所述数据进行降维处理:对输入数据进行处理,得到维度降1的子数据,作为下一次处理的输入数据;以及执行上述步骤,直到得到零维子数据,其中,第一次处理是将所述N维数据作为输入数据,并对所述N维数的N个维度进行编码和/或组合;以及在通过上述降维处理得到的子数据中记录生成相应子数据的时间。
【技术特征摘要】
1.一种数据降维方法,包括:获取N维数据,所述N维数据包括N个维度,其中N大于等于1;通过以下方式对所述数据进行降维处理:对输入数据进行处理,得到维度降1的子数据,作为下一次处理的输入数据;以及执行上述步骤,直到得到零维子数据,其中,第一次处理是将所述N维数据作为输入数据,并对所述N维数的N个维度进行编码和/或组合;以及在通过上述降维处理得到的子数据中记录生成相应子数据的时间。2.根据权利要求1所述的方法,其中,所述处理次数为N+1次。3.根据权利要求1所述的方法,其中,所述对输入数据进行处理,得到维度降1的子数据包括:对输入数据进行排序和/或聚合。4.根据权利要求3所述的方法,其中,通过MapReduce对所述输入数据进行排序和/或聚合。5.根据权利要求1所述的方法,还包括:当再次获取与所述N维数据相同或相似的数据时,对该数据进行降维处理,并更新相应的子数据;以及在更新的子数据中记录生成该更新子数据的时间。6.一种数据降维系统,包括:获取模块,用于获取N维数据,所述N维数据包括N个维度,其中N大于等于1;第一处理模块,通过以下方式对所述数据进行降维处理:对输入数据进...
【专利技术属性】
技术研发人员:李树前,朱德伟,
申请(专利权)人:北京京东尚科信息技术有限公司,北京京东世纪贸易有限公司,
类型:发明
国别省市:北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。