一种多维数据处理方法、装置、计算机设备及存储介质制造方法及图纸

技术编号:26531738 阅读:29 留言:0更新日期:2020-12-01 14:13
本发明专利技术公开了一种多维数据处理方法、装置、计算机设备及存储介质,所述方法包括:获取待处理数据,所述待处理数据为具有多类别属性的多维数据;将所述待处理数据进行降维处理得到目标维度数据,根据所述目标维度数据确定所述待处理数据的类别属性数,如此,通过降维处理可以准确的确定待处理数据的类别属性数;进一步的,根据所述类别属性数对所述待处理数据进行聚类分析,得到与所述类别属性数对应的聚类中心及数据类别;根据每一所述数据类别对应的聚类中心,确定所述数据类别对应的类别属性。

【技术实现步骤摘要】
一种多维数据处理方法、装置、计算机设备及存储介质
本专利技术涉及物流数据处理
,尤其涉及一种数据处理方法、装置、计算机设备及存储介质。
技术介绍
随着通信技术的发展,各种各样的数据充斥着人们生活的各个方面,对大规模数据的分析与处理在科学研究领域占据着越来越重要的地位。数据的维数之高、结构之复杂给数据的分析与处理带来了一定的困难。如何从高维数据中有效的找出其特征信息,是信息科学与统计科学领域中的基本问题,也是高维数据分析面临的主要挑战。目前,针对高维数据的分析问题,往往需要对高维数据通过人工进行大量的预先梳理和分析,对数据的维度和类别进行预判并形成分类规则,如此不仅需要付出大量的精力,且分类结果的准确性会极大程度上依赖于分类规则的合理性,从而不仅耗费大量的人力成本,且容易导致分类结果不准确从而无法有效地应用于科学研究领域。
技术实现思路
有鉴于此,本专利技术的主要目的在于提供一种多维数据处理方法、装置、计算机设备及存储介质,能够根据客观的数据特征分析出数据类别和确定类别属性,以实现对多维数据客观精准分类。本文档来自技高网...

【技术保护点】
1.一种多维数据处理方法,其特征在于,所述方法包括:/n获取待处理数据,所述待处理数据为具有多类别属性的多维数据;/n将所述待处理数据进行降维处理得到目标维度数据,根据所述目标维度数据确定所述待处理数据的类别属性数;/n根据所述类别属性数对所述待处理数据进行聚类分析,得到与所述类别属性数对应的聚类中心及数据类别;/n根据每一所述数据类别对应的聚类中心,确定所述数据类别对应的类别属性。/n

【技术特征摘要】
1.一种多维数据处理方法,其特征在于,所述方法包括:
获取待处理数据,所述待处理数据为具有多类别属性的多维数据;
将所述待处理数据进行降维处理得到目标维度数据,根据所述目标维度数据确定所述待处理数据的类别属性数;
根据所述类别属性数对所述待处理数据进行聚类分析,得到与所述类别属性数对应的聚类中心及数据类别;
根据每一所述数据类别对应的聚类中心,确定所述数据类别对应的类别属性。


2.如权利要求1所述多维数据处理方法,其特征在于,所述将所述待处理数据进行降维处理得到目标维度数据,根据所述目标维度数据确定所述待处理数据的类别属性数,包括:
将所述待处理数据进行降维得到对应的二维数据,根据所述二维数据确定所述待处理数据的类别属性数;或,
将所述待处理数据进行降维得到对应的三维数据,根据所述三维数据确定所述待处理数据的类别属性数。


3.如权利要求1所述多维数据处理方法,其特征在于,所述将所述待处理数据进行降维处理得到目标维度数据,根据所述目标维度数据确定所述待处理数据的类别属性数,包括:
将所述待处理数据通过t-SNE算法进行降维得到目标维度数据,根据所述目标维度数据确定所述待处理数据的类别属性数。


4.如权利要求3所述多维数据处理方法,其特征在于,所述将所述待处理数据通过t-SNE算法进行降维得到目标维度数据,包括:
将所述待处理数据通过高斯分布映射到高维空间得到高维数据,确定与所述高斯分布对应的第一概率分布参数;
根据所述第一概率分布参数和相对熵拟合出对应的第二概率分布参数,通过与所述第二概率分布参数对应的t分布得到与所述待处理数据对应的目标维度数据。


5.如权利要求1所述多维数据处理方法,其特征在于,所述根据每一所述数据类别对应的聚类中心,确定所述数据类别对应的类别属性,包括:
确定每一所述数据类别对应的聚类中心的位置坐标;
计算所述每一所述数据类别对应的聚类中心的位置坐标与坐标原点的距离,分别根据与所述坐标原点之间的距离符合设置条件的聚类中心的数据类别确定每一所述数据类别对应的类别属性。


6.如权利要求1所述多维数据处理方法,其特征在于,所述根据所述类别属性数对所述待处理数据进行聚类分析,得到与所述类别属性数对应的聚类中心及数据类别,包括:
根据所述类别属性数通过谱聚类算法对所述待处理数据进行聚类,得到与所述类别属性数对应的聚类中心及数据类别。


7.如权利要求6所述多维数据处理方法,其特征在于,所述根据所述类别属性数通过谱聚类算法对所述待处理数据进行聚类,得到与所述类别属性数对应的聚类中心及数据类别,包括:
确定所述待处理数据中每一待处理数据与其它待处理数据之间的类别属性权重值;
当任意两待处理数据的类别属性权重值大于设定值时,确定为同一类别并标记为已聚类,得到包含与所述类别属性数对应的数据类别的聚类结果,根据所述类别属性数确定所述数据类别对应的聚类中心。


8.如权利要求1所述多维数据处理方法,其特征在于,所述待处理数据包括物流业务数据,所述将所述待处理数据进行降维处理得到目标维度数据,根据所述目标维度数据确定所述待处理数据的类别属性数,包括:
将所述物流业务数据进行降维处理得到目标维度数据,根据所述目标维度数据确定所述物流业务数据包括三个类别属性;
所述根据每一所述数据类别对应的聚类中心,确定所述对应数据类别对应的类别属性,包括:
根据每一所述数据类别对应的聚类中心,确定所述数据类别对应的类别属性分别为价格属性、服务属性和时效属性。


9.如权利要求8所述多维数据处理方法,其特征在于,所述将所述物流业务数据进行降维处理得到目标维度数据之...

【专利技术属性】
技术研发人员:盛捷来季纺纺
申请(专利权)人:北京京东尚科信息技术有限公司北京京东世纪贸易有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1