【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及一种生成式数据分析方法及系统。
技术介绍
1、深度学习是机器学习的一个重要分支，它是通过构建多层神经网络来进行学习和预测的一种方法。这种方法在许多领域中都取得了显著的成果，包括图像识别、语音识别、自然语言处理等。
2、深度学习的核心思想是构建多层的神经网络，每一层都包含大量的神经元。这些神经元之间的连接权重是在训练过程中自动学习和调整的。这种自动学习的方式使得深度学习能够处理复杂的非线性问题，并且不需要手动设计特征。深度学习的一个重要特点是它可以自动学习和提取特征。在传统的机器学习方法中，通常需要手动设计和选择特征。然而，对于复杂的数据，手动设计特征往往是非常困难的。深度学习则不需要手动设计特征，它可以从原始数据中自动学习和提取有用的特征。此外，深度学习还具有强大的表示能力。由于深度学习模型有很多隐藏层，每个隐藏层都可以学习到不同的抽象特征。这使得深度学习模型能够学习到复杂的数据分布和模式，从而在许多任务上取得了优秀的表现。
3、在实际应用中，深度学习已经被广泛应用于各种领域。例如，在图像识别领域，深度学习已经在许多比赛中取得了最好的成绩。在自然语言处理领域，深度学习也被用于机器翻译、情感分析等任务。总的来说，深度学习是一种强大的机器学习方法，它通过构建多层神经网络来自动学习和提取特征，从而在许多任务上取得了优秀的表现。然而，随着大数据时代的来临，需要通过深度学习处理的数据量越来越大，或者说单一次输入深度学习处理的数据更多，导致对神经网络的模型能力要求越来越高，适用性变差。p>
技术实现思路
1、本申请实施例提供一种生成式数据分析方法及系统，以实现降低对深度神经网络模型的性能要求，提高适用性。
2、为达到上述目的，本申请采用如下技术方案：
3、第一方面，提供一种生成式数据分析方法，应用于电子设备，该方法包括：电子设备获取待处理的数据集合；电子设备对待处理的数据集合进行向量拟合处理，得到待处理的特征向量集合，其中，待处理的特征向量集合是待处理的数据集合的向量化表达，且待处理的特征向量集合中的向量数目小于待处理的数据集合中的数据数目；电子设备通过深度神经网络模型分析待处理的特征向量集合，得到分析结果。
4、可选地，电子设备对待处理的数据集合进行向量拟合处理，得到待处理的特征向量集合，包括：电子设备将待处理的数据集合中的数据转换为向量，得到待处理的向量集合；电子设备将待处理的向量集中的相似向量拟合为特征向量，得到待处理的特征向量集合。
5、可选地，电子设备将待处理的数据集合中的数据转换为向量，得到待处理的向量集合，包括：电子设备对待处理的数据集合中的m条数据分别进行独热编码，得到m个向量，m个向量即为待处理的向量集合，m个向量中的每个向量均为二进制的k维向量，m为大于1的整数，k为大于1的整数。
6、可选地，电子设备将待处理的向量集中的相似向量拟合为特征向量，得到待处理的特征向量集合，包括：电子设备通过计算m个向量中每两个向量之间的相似度，将满足星型关联结构且相似度小于或等于相似度阈值的至少两个向量确定为一组向量，共得到n组向量，n为大于或等于1且小于m的整数；电子设备将n组向量中每组向量所包含的至少两个向量拟合为一个特征向量，共拟合得到n个特征向量，n个特征向量即为待处理的特征向量集合。
7、可选地，电子设备通过计算m个向量中每两个向量之间的相似度，将满足星型关联结构且相似度小于或等于相似度阈值的至少两个向量确定为一组向量，共得到n组向量，包括：电子设备按m个向量的索引计算m个向量中每两个向量之间的相似度；在此基础上，若电子设备第一次确定有第一向量与第二向量之间的相似度小于或等于相似度阈值，则将第一向量确定为第一星型关联结构的中心，用以计算第一星型关联结构的中心与其他所有未与第一向量计算过相似度的向量之间的相似度，从而将相似度小于或等于相似度阈值的至少一个第三向量分别确定为第一星型关联结构的分支，得到完整的第一星型关联结构，完整的第一星型关联结构所包含的第一向量以及至少一个第三向量作为第一组向量；之后，电子设备按m个向量的索引，开始计算m个向量中除第一组向量以外的每两个向量之间的相似度；在此基础上，若电子设备第二次确定有第四向量与第五向量之间的相似度小于或等于相似度阈值，则将第四向量确定为第二星型关联结构的中心，用以计算第一星型关联结构的中心与其他所有未与第一向量计算过相似度的向量之间的相似度，从而将相似度小于或等于相似度阈值的至少一个第六向量分别确定为第二星型关联结构的分支，得到完整的第二星型关联结构，完整的第二星型关联结构所包含的第四向量以及至少一个第六向量作为第二组向量，以此类推，直至确定第n组向量。
8、可选地，第n组向量对应完整的第n星型关联结构，完整的第二星型关联结构中任一分支与第二星型关联结构的中心的相似度小于或等于相似度阈值；或者，第n组向量所包含任意两个向量之间的相似度均大于相似度阈值。
9、可选地，电子设备将n组向量中每组向量所包含的至少两个向量拟合为一个特征向量，共拟合得到n个特征向量，包括：针对n组向量中的第i组向量，i为遍历1至n的整数，电子设备确定第i组向量中每个向量各自所包含的k个比特的取值，确定第i组向量中所有向量在k个比特位中的同一比特位上的取值概率；针对n组向量中的第i组向量，电子设备根据第i组向量中所有向量在k个比特位中的同一比特位上的取值概率，确定一个k维的特征向量，k维的特征向量中k个比特位各自的取值为根据第i组向量中所有向量在k个比特位中的同一比特位上的取值概率确定。
10、可选地，电子设备通过深度神经网络模型分析待处理的特征向量集合，得到分析结果，包括：电子设备为待处理的特征向量集合中的每个特征向量添加噪声，得到包含噪声的特征向量集合；电子设备通过深度神经网络模型分析包含噪声的特征向量集合，得到分析结果。
11、可选地，电子设备将n组向量中每组向量所包含的至少两个向量拟合为一个特征向量，共拟合得到n个特征向量，包括：针对n组向量中的第i组向量，i为遍历1至n的整数，第i组向量包含pi个向量，pi大于或等于2，电子设备确定将pi个向量的取值合并，得到一个pi×k维的特征向量。
12、第二方面，提供一种生成式数据分析系统，该系统包括电子设备，该系统被配置为：电子设备获取待处理的数据集合；电子设备对待处理的数据集合进行向量拟合处理，得到待处理的特征向量集合，其中，待处理的特征向量集合是待处理的数据集合的向量化表达，且待处理的特征向量集合中的向量数目小于待处理的数据集合中的数据数目；电子设备通过深度神经网络模型分析待处理的特征向量集合，得到分析结果。
13、可选地，电子设备对待处理的数据集合进行向量拟合处理，得到待处理的特征向量集合，包括：电子设备将待处理的数据集合中的数据转换为向量，得到待处理的向量集合；电子设备将待处理的向量集中的相似向量拟合为特征向量，得到待处理的特征向量集合。...
【技术保护点】
1.一种生成式数据分析方法，其特征在于，应用于电子设备，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述电子设备将所述待处理的数据集合中的数据转换为向量，得到待处理的向量集合，包括：
3.根据权利要求2所述的方法，其特征在于，所述电子设备将所述待处理的向量集中的相似向量拟合为特征向量，得到所述待处理的特征向量集合，包括：
4.根据权利要求3所述的方法，其特征在于，所述电子设备通过计算所述M个向量中每两个向量之间的相似度，将满足星型关联结构且相似度小于或等于相似度阈值的至少两个向量确定为一组向量，共得到N组向量，包括：
5.根据权利要求4所述的方法，其特征在于，所述第N组向量对应完整的第N星型关联结构，完整的所述第二星型关联结构中任一分支与所述第二星型关联结构的中心的相似度小于或等于所述相似度阈值；或者，所述第N组向量所包含任意两个向量之间的相似度均大于所述相似度阈值。
6.根据权利要求3-5中任一项所述的方法，其特征在于，所述电子设备将所述N组向量中每组向量所包含的至少两个向量拟合为一个特征向量，共拟合得到
7.根据权利要求6所述的方法，其特征在于，所述电子设备通过深度神经网络模型分析所述待处理的特征向量集合，得到分析结果，包括：
8.根据权利要求3-5中任一项所述的方法，其特征在于，所述电子设备将所述N组向量中每组向量所包含的至少两个向量拟合为一个特征向量，共拟合得到N个特征向量，包括：
9.一种生成式数据分析系统，其特征在于，所述系统包括电子设备，所述系统被配置为：
...【技术特征摘要】
1.一种生成式数据分析方法，其特征在于，应用于电子设备，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述电子设备将所述待处理的数据集合中的数据转换为向量，得到待处理的向量集合，包括：
3.根据权利要求2所述的方法，其特征在于，所述电子设备将所述待处理的向量集中的相似向量拟合为特征向量，得到所述待处理的特征向量集合，包括：
4.根据权利要求3所述的方法，其特征在于，所述电子设备通过计算所述m个向量中每两个向量之间的相似度，将满足星型关联结构且相似度小于或等于相似度阈值的至少两个向量确定为一组向量，共得到n组向量，包括：
5.根据权利要求4所述的方法，其特征在于，所述第n组向量对应完整的第n星型关联结构，完整的所述第二星型关联结构中任一分支与所...
【专利技术属性】
技术研发人员：张发恩，高达辉，徐安琪，
申请(专利权)人：青岛创新奇智科技集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。