一种高维数据可视化聚类分析方法、电子设备及可读介质技术

本申请提供了一种高维数据可视化聚类分析方法、电子设备及可读介质，其中高维数据可视化聚类分析方法，包括以下步骤：获取测试数据集；提取测试数据集的高维向量，计算高维向量的联合分布概率；根据选择的降维数获得初始的低维向量，计算低维向量的联合分布概率；根据高维向量的联合分布概率和低维向量的联合分布概率，计算高维向量和低维向量交叉熵；根据交叉熵迭代更新低维向量，直至迭代达次数到预定的次数，或交叉熵收敛，终止迭代。根据更新得到的低维向量建立可视化视图。本申请实施例通过迭代更新获取最优的低维向量，能够提升类别数据间可视化显示时的区分度，以及提升相同类别数据可视化显示时的聚拢程度。类别数据可视化显示时的聚拢程度。类别数据可视化显示时的聚拢程度。

【技术实现步骤摘要】
一种高维数据可视化聚类分析方法、电子设备及可读介质


[0001]本申请涉及声纹识别领域，具体涉及一种高维数据可视化聚类分析方法、电子设备及可读介质。

技术介绍

[0002]可视化技术是一种重要的数据分析工具，其主要利用计算机图形学、图像处理、信号处理等方法来表达数据的内部结构、信息和知识，通过将高维数据转成维度不大于3的数据，然后绘制成图像进行展示，由高维转成低维时数据间的距离是一致的，这样人可以通过视觉快速分析数据间的关系，有利于模式识别、离群点检测等研究，例如在声纹识别技术的研究中，通过声纹识别模型提取的高维声纹特征，通过可视化分析后可直观地表示各语音数据的聚类关系。
[0003]现有的可视化分析方法有很多，目前效果最好的方法为t
‑
sne和umap方法。这两种方法不需要有数据的先验信息，但由于其自适应核算法的关系，需要保证数据中每个类别要有足够多的数据量。然而当通过神经网络模型将数据处理后获取相应的高维特征数据，希望将数据可视化时，往往不能保证每类都有足够多的数据量，此时采用t
‑
sne方法和umap方法的效果不佳。

技术实现思路

[0004]本申请的目的在于至少能解决上述现有技术中的技术问题之一。
[0005]第一方面，本申请的实施例提供了一种高维数据可视化聚类分析方法，所述方法包括以下步骤：
[0006]获取测试数据集；提取测试数据集的高维向量X，计算高维向量X的联合分布概率P；根据选择的降维数获得初始的低维向量Y，计算低维向量Y的联合分布概率Q；根据高维向量X的联合分布概率P和低维向量Y的联合分布概率Q，计算高维向量X和低维向量Y交叉熵CE；根据交叉熵CE迭代更新低维向量Y，直至迭代达次数到预定的次数，或交叉熵CE收敛，终止迭代；根据更新得到的低维向量Y建立可视化视图。
[0007]在一些实施例中，所述高维向量X的联合分布概率P的计算公式为：
[0008][0009]其中：P
ij
为高维向量x
i
和高维向量x
j
的联合分布概率，P
i|i
＝0，为所有w的和，d(x
i
,x
j
)为高维向量x
i
和高维向量x
j
的距离，ρ
i
＝min{d(x
i
,x
j
),δ|i≠j,d(x
i
,x
j
)＞d(x
i
,x
i
)},δ和σ为超参数。
[0010]在一些实施例中，超参数δ的选取方法包括：获取一组数据，统计同类间的d(x
i
,x
j
),取最大值或均值作为δ。
[0011]在一些实施例中，超参数σ的选取方法包括：获取一组数据，该数据包含多个类，根据选定好的δ，计算数据x
i
和其他同类数据的距离，获取数据中所有相同类间的距离数组dist及该类总数量n，通过搜索算法查找最符合表达式并根据表达式确定超参数σ，其中m为该组数据中数据的总数。
[0012]在一些实施例中，所述低维向量Y的联合分布概率Q的计算公式为：
[0013][0014]其中用于对联合分布概率Q进行归一化处理。
[0015]在一些实施例中，所述交叉熵CE的计算公式为：
[0016][0017]在一些实施例中，根据交叉熵CE迭代更新低维向量Y包括：
[0018]根据表达式计算低维向量y
i
的导通过机器学习方法，不断迭代,更新低维向量y
i
,直至迭代达次数到预定的次数或者CE(X,Y)收敛；
[0019]式中
[0020]在一些实施例中，当L2_norm(dy)<1e
‑
6时，判定CE(X,Y)达到收敛，其中
[0021]第二方面，本申请的实施例提供了一种电子设备，所述存储器被配置用于存储计算机程序，所述计算机程序在由所述处理器执行时，使得所述处理器执行如上任一项所述的高维数据可视化聚类分析方法。
[0022]第三方面，本申请的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上任一项所述的高维数据可视化聚类分析方法。
[0023]相比于现有技术，本申请具有以下有益效果：
[0024]通过本申请实施例提供的高维数据可视化聚类分析方法，通过高维向量的联合分布概率和低维向量的联合分布概率，计算高维向量和低维向量的交叉熵，利用交叉熵迭代更新低维向量，从而获得最优的低维向量，以此建立可视化图像，能够提升类别数据间可视化显示时的区分度，以及提升相同类别数据可视化显示时的聚拢程度。
附图说明
[0025]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使
用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0026]图1为本申请的一实施例的高维数据可视化聚类分析方法的流程示意图；
[0027]图2为采用本申请实施例所提供的方法获取的二维可视化图像；
[0028]图3为采用现有技术获取的二维可视化图像。
具体实施方式
[0029]为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
[0030]图1示出了可以应用本申请实施例的高维数据可视化聚类分析方法的流程示意图，如图1所示，本申请的实施例提供的高维数据可视化聚类分析方法，所述方法包括以下步骤：
[0031]步骤S10:获取测试数据集；
[0032]具体的，获取待可视化分析的测试数据集，测试数据集中包括多个类别的数据；例如，待可视化分析的测试数据集是具有多个说话人的语音数据，每个说话人对应的语音数据即属于同一类别。
[0033]步骤S20：提取测试数据集的高维向量X，计算高维向量X的联合分布概率P；
[0034]具体的，提取出测试数据集的高维向量X，计算高维向量X的联合分布概率P；在一些实施例中，可采用如下公式计算高维向量X的联合分布概率P：
[0035]其中：P
ij
为高维向量x
i
和高维向量x
j
的联合分布概率，P
i|i
＝0，为所有w的和，用于高维向量X的联合分布概率P的归一化处理；
[0036]公式中d(x
i
,x
j
)为高维向量x
i
和高本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高维数据可视化聚类分析方法，其特征在于，所述方法包括以下步骤：获取测试数据集；提取测试数据集的高维向量X，计算高维向量X的联合分布概率P；根据选择的降维数获得初始的低维向量Y，计算低维向量Y的联合分布概率Q；根据高维向量X的联合分布概率P和低维向量Y的联合分布概率Q，计算高维向量X和低维向量Y交叉熵CE；根据交叉熵CE迭代更新低维向量Y，直至迭代达次数到预定的次数，或交叉熵CE收敛，终止迭代；根据更新得到的低维向量Y建立可视化视图。2.根据权利要求1所述的高维数据可视化聚类分析方法，其特征在于，所述高维向量X的联合分布概率P的计算公式为：其中：P
ij
为高维向量x
i
和高维向量x
j
的联合分布概率，P
i|i
＝0，为所有w的和，d(x
i
,x
j
)为高维向量x
i
和高维向量x
j
的距离，ρ
i
＝min{d(x
i
,x
j
),δ|i≠j,d(x
i
,x
j
)＞d(x
i
,x
i
)},δ和σ为超参数。3.根据权利要求2所述的高维数据可视化聚类分析方法，其特征在于，超参数δ的选取方法包括：获取一组数据，统计同类间的d(x
i
,x
j
),取最大值或均值作为δ。...

【专利技术属性】
技术研发人员：洪国强，肖龙源，李稀敏，叶志坚，
申请(专利权)人：厦门快商通科技股份有限公司，
类型：发明
国别省市：