数据处理方法及装置、处理器、电子设备、存储介质制造方法及图纸

本申请公开了一种数据处理方法及装置、处理器、电子设备、存储介质。该方法包括：获取n个节点，所述n为大于或等于2的整数，所述节点用于表示待聚类对象；确定所述n个节点中与第一节点之间的相似度大于或等于参考阈值的节点，作为第一备选节点，所述第一节点属于所述n个节点；将所述第一节点与所述第一备选节点连接，得到邻接图，其中，所述邻接图用于对所述n个节点所表示的待聚类对象聚类。

Data processing method and device, processor, electronic equipment and storage medium

【技术实现步骤摘要】
数据处理方法及装置、处理器、电子设备、存储介质
本申请涉及计算机
，尤其涉及一种数据处理方法及装置、处理器、电子设备、存储介质。
技术介绍
聚类是数据挖掘和机器学习等领域的关键技术之一。聚类指通过将相似的待聚类对象划分至同一类簇，将不相似的待聚类对象划分至不同的类簇。利用待聚类对象集中待聚类对象的信息以及不同待聚类对象之间的关联信息，可实现对待聚类对象集的聚类。依据待聚类对象集中不同待聚类对象之间的关联，可得到待聚类对象集的邻接图。邻接图包含至少两个节点，每个节点对应一个待聚类对象。邻接图包含与节点对应的待聚类对象的信息，以及不同待聚类对象之间的关联信息。传统聚类方法通过对邻接图进行处理，可利用待聚类对象的信息以及不同待聚类对象之间的信息，实现对待聚类对象集的聚类。但通过传统方法得到的邻接图包含的信息的准确度低。
技术实现思路
本申请提供一种数据处理方法及装置、处理器、电子设备、存储介质。第一方面，提供了一种数据处理方法，所述方法包括：获取n个节点，所述n为大于或等于2的整数，所述节点用于表示待聚类对象；确定所述n个节点中与第一节点之间的相似度大于或等于参考阈值的节点，作为第一备选节点，所述第一节点属于所述n个节点；将所述第一节点与所述第一备选节点连接，得到邻接图，其中，所述邻接图用于对所述n个节点所表示的待聚类对象聚类。在该方面中，通过将参考相似度阈值，作为确定第一节点的第一备选节点的依据，可减少第一备选节点中第一节点的噪声关联节点的数量。从而可提高邻接图的质量。结合本申请任一实施方式，在所述确定所述n个节点中与第一节点之间的相似度大于或等于参考阈值的节点，作为第一备选节点之前，所述方法还包括：确定所述n个节点与所述第一节点之间的相似度，得到第一相似度集；将第一相似度集中最大的k个相似度所对应的节点，作为第二备选节点；所述确定所述n个节点中与所述第一节点之间的相似度大于或等于参考阈值的节点，作为第一备选节点，包括：确定所述第二备选节点中相似度大于或等于所述参考阈值的节点，作为所述第一备选节点。在该种实施方式中，选取与第一节点相似度最大的k个节点，作为第二备选节点。后续再依据第二备选节点确定与第一备选节点时，可将第一备选节点的数量限制在k以内。这样，在减少第一备选节点中的第一节点的噪声关联节点的数量的同时，限制第一备选节点的数量。从而实现在提高邻接图的质量的同时，减小构建邻接图的数据处理量。结合本申请任一实施方式，所述将所述第一节点与所述第一备选节点连接，得到邻接图，包括：依据所述第一备选节点与所述第一节点之间的相似度，确定所述第一备选节点与所述第一节点之间的邻接关系；将所述第一节点与所述第一备选节点连接，使所述第一节点与所述第一备选节点满足所述邻接关系，得到所述邻接图。在该种实施方式中，依据节点之间的相似度，确定节点之间的邻接关系。通过使邻接图满足该邻接关系，可提高邻接图中信息的准确度，进而提高邻接图的质量。结合本申请任一实施方式，所述邻接关系包括所述第一备选节点与所述第一节点之间的距离；所述依据所述第一备选节点与所述第一节点之间的相似度，确定所述第一备选节点与所述第一节点之间的邻接关系，包括：依据所述第一备选节点与所述第一节点之间的相似度，确定所述第一备选节点与所述第一节点之间的距离，所述距离与所述相似度呈正相关。在该种实施方式中，邻接关系包括第一备选节点与第一节点之间的距离。依据第一备选节点与第一节点之间的相似度，确定第一备选节点与第一节点之间的距离。使节点与节点之间的距离包含节点与节点之间的相似度信息，从而提高邻接图的质量。结合本申请任一实施方式，所述依据所述第一备选节点与所述第一节点之间的相似度，确定所述第一备选节点与所述第一节点之间的距离，包括：将所述第一备选节点与所述第一节点之间的相似度作为备选相似度集，确定所述备选相似度集中的最小值，作为参考相似度；依据第一相似度与所述参考相似度之间的差，以及第二相似度与所述参考相似度之间的差，得到第一权值和第二权值，所述第一相似度和所述第二相似度均属于所述备选相似度集；依据所述第一权值和所述第二权值，确定所述第一节点与所述第二节点之间的距离，以及所述第一节点与第三节点之间的距离，所述第二节点为与所述第一相似度对应的节点，所述第三节点为与所述第二相似度对应的节点。在该种实施方式中，依据第一相似度与参考相似度之间的差，以及第二相似度与参考相似度之间的差，得到第一权值和第二权值。依据第一权值和所述第二权值，确定第一节点与第二节点之间的距离，以及第一节点与第三节点之间的距离。由于节点与节点之间的距离包含节点与节点之间的相似度信息，依据权值(包括第一权值和第二权值)确定节点与节点之间的距离(包括第一节点与第二节点之间的距离，以及第一节点与第三节点之间的距离)，可为不同节点之间的相似度信息赋予不同的权重，有利于对邻接图进行处理时利用节点之间的信息进行聚类。由此可见，该种实施方式可提高邻接图的质量。结合本申请任一实施方式，在确定所述第二备选节点中相似度大于或等于所述参考阈值的节点，作为所述第一备选节点之前，所述方法还包括：对所述n个待聚类对象中的第一待聚类对象进行特征提取处理，得到第一特征数据；依据所述第一特征数据确定所述第一待聚类对象的数据类型，所述数据类型包括图像、语音、语句；依据所述第一待聚类对象的数据类型和参考映射关系，得到所述参考阈值，所述参考映射关系为数据类型与相似度阈值之间的映射关系。在该种实施方式中，依据n个待聚类对象中的第一待聚类对象的数据类型，以及参考映射关系确定参考阈值，可实现为不同数据类型的数据设置不同的参考阈值。依据参考阈值确定第一节点的第一备选节点，可减少第一备选节点中的噪声关联节点，进而可减少邻接图中的噪声关联，提升邻接图的质量。结合本申请任一实施方式，在所述将第一相似度集中最大的k个相似度所对应的节点，作为第二备选节点之前，所述方法还包括：获取参考时长和/或参考存储容量；依据所述参考时长和/或所述参考存储容量，得到所述k。在该种实施方式中，依据参考时长和/或参考存储容量确定k，可更好的满足用户需求。例如，用户期望缩短构建邻接图的时长，可将参考时长调小。数据处理装置依据参考时长，可确定在使构建邻接图的时长小于或等于参考时长的前提下，使k的取值最大。从而达到在满足用户需求(使构建邻接图的时长小于或等于参考时长)的前提下，提高得到的邻接图的质量。结合本申请任一实施方式，所述方法还包括：获取聚类网络；使用所述聚类网络对所述邻接图进行处理，得到所述n个节点所表示的待聚类对象的聚类结果。在该种实施方式中，通过对基于本申请提供的技术方案得到的邻接图进行处理，得到n个待聚类对象的聚类结果，可提升聚类结果的准确度。结合本申请任一实施方式，所述确定所述n个节点与所述第本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n获取n个节点，所述n为大于或等于2的整数，所述节点用于表示待聚类对象；/n待聚类对象确定所述n个节点中与第一节点之间的相似度大于或等于参考阈值的节点，作为第一备选节点，所述第一节点属于所述n个节点；/n将所述第一节点与所述第一备选节点连接，得到邻接图，其中，所述邻接图用于对所述n个节点所表示的待聚类对象聚类。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
获取n个节点，所述n为大于或等于2的整数，所述节点用于表示待聚类对象；
待聚类对象确定所述n个节点中与第一节点之间的相似度大于或等于参考阈值的节点，作为第一备选节点，所述第一节点属于所述n个节点；
将所述第一节点与所述第一备选节点连接，得到邻接图，其中，所述邻接图用于对所述n个节点所表示的待聚类对象聚类。


2.根据权利要求1所述的方法，其特征在于，在所述确定所述n个节点中与第一节点之间的相似度大于或等于参考阈值的节点，作为第一备选节点之前，所述方法还包括：
确定所述n个节点与所述第一节点之间的相似度，得到第一相似度集；
将第一相似度集中最大的k个相似度所对应的节点，作为第二备选节点；
所述确定所述n个节点中与所述第一节点之间的相似度大于或等于参考阈值的节点，作为第一备选节点，包括：
确定所述第二备选节点中相似度大于或等于所述参考阈值的节点，作为所述第一备选节点。


3.根据权利要求1或2所述的方法，其特征在于，所述将所述第一节点与所述第一备选节点连接，得到邻接图，包括：
依据所述第一备选节点与所述第一节点之间的相似度，确定所述第一备选节点与所述第一节点之间的邻接关系；
将所述第一节点与所述第一备选节点连接，使所述第一节点与所述第一备选节点满足所述邻接关系，得到所述邻接图。


4.根据权利要求3所述的方法，其特征在于，所述邻接关系包括所述第一备选节点与所述第一节点之间的距离；
所述依据所述第一备选节点与所述第一节点之间的相似度，确定所述第一备选节点与所述第一节点之间的邻接关系，包括：
依据所述第一备选节点与所述第一节点之间的相似度，确定所述第一备选节点与所述第一节点之间的距离，所述距离与所述相似度呈正相关。


5.根据权利要求4所述的方法，其特征在于，所述依据所述第一备选节点与所述第一节点之间的相似度，确定所述第一备选节点与所述第一节点之间的距离，包括：
将所述第一备选节点与所述第一节点之间的相似度作为备选相似度集，确定所述备选相似度集中的最小值，作为参考相似度；
依据第一相似度与所述参考相似度之间的差，以及第二相似度与所述参考相似度之间的差，得到第一权值和第二权值，所述第一相似度和所述第二相似度均属于所述备选相似度集；
依据所述第一权值和所述第二权值，确定所述第一节点与所述第二节点之间的距离，以及所述第一节点与第三节点之间的距离，所述第二节点为与所述第一相似度对应的节点，所述第三节点为与所述第二相似度对应的节点。<...

【专利技术属性】
技术研发人员：黄厚钧，何悦，李诚，王贵杰，王子彬，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：广东;44