基于大数据和云计算的数据挖掘方法和平台技术

本申请提供的基于大数据和云计算的数据挖掘方法和平台，涉及大数据技术领域。在本申请中，首先，挖掘出第一网络用户数据集对应的第一网络用户数据描述向量和第一网络用户关联数据描述向量、第二网络用户数据集对应的第二网络用户数据描述向量；形成第一网络用户数据集对应的丰富化第一网络用户数据描述向量；对第二网络用户数据描述向量与第一网络用户数据描述向量、丰富化第一网络用户数据描述向量进行相关程度确定，输出对应的相关程度组合；依据相关程度组合，分析出对应的数据集相关关系信息，再基于数据集相关关系信息，确定出用户相关关系信息。基于前述的内容，可以在一定程度上提高相关关系挖掘的可靠度。一定程度上提高相关关系挖掘的可靠度。一定程度上提高相关关系挖掘的可靠度。

【技术实现步骤摘要】
基于大数据和云计算的数据挖掘方法和平台


[0001]本申请涉及大数据
，具体而言，涉及一种基于大数据和云计算的数据挖掘方法和平台。

技术介绍

[0002]在大数据和云计算技术的不断成熟的背景下，其应用领域逐渐增加，例如，可以利用大数据和云计算技术对采集的数据进行信息挖掘处理，如挖掘出用户行为意图或用户之间的相关关系等。其中，在现有技术中，在对用户之间的相关关系进行挖掘的过程中，一般对用户对应的自身数据（如网络行为数据等）进行数据相关度计算，从而基于计算出的数据相关度，确定出用户之间的相关关系，使得存在相关关系挖掘的可靠度不高的问题。

技术实现思路

[0003]有鉴于此，本申请的目的在于提供一种基于大数据和云计算的数据挖掘方法和平台，以在一定程度上提高相关关系挖掘的可靠度。
[0004]为实现上述目的，本申请实施例采用如下技术方案：一种基于大数据和云计算的数据挖掘方法，包括：挖掘出第一网络用户数据集对应的第一网络用户数据描述向量和第一网络用户关联数据描述向量，并挖掘出第二网络用户数据集对应的第二网络用户数据描述向量，所述第一网络用户数据集对应于第一网络用户的用户网络行为数据，所述第二网络用户数据集对应于第二网络用户的用户网络行为数据，所述第一网络用户关联数据描述向量包括所述第一网络用户数据集对应的内部关联数据描述向量和/或外部关联数据描述向量，所述内部关联数据描述向量对应的关联网络用户和所述第一网络用户在所述用户网络行为数据对应的目标网络平台内部具有关联关系，所述外部关联数据描述向量对应的关联网络用户和所述第一网络用户在所述用户网络行为数据对应的目标网络平台外部具有关联关系；依据所述第一网络用户关联数据描述向量，将所述第一网络用户数据描述向量进行数据丰富化，形成所述第一网络用户数据集对应的丰富化第一网络用户数据描述向量，所述丰富化第一网络用户数据描述向量包括外部丰富化网络用户数据描述向量和/或内部丰富化网络用户数据描述向量；对所述第二网络用户数据描述向量与所述第一网络用户数据描述向量、所述丰富化第一网络用户数据描述向量进行相关程度确定，输出所述第一网络用户数据集和所述第二网络用户数据集对应的相关程度组合；依据所述第一网络用户数据集和所述第二网络用户数据集对应的相关程度组合，分析出所述第一网络用户数据集和所述第二网络用户数据集之间的数据集相关关系信息，以及，再基于所述数据集相关关系信息，确定出所述第一网络用户和所述第二网络用户之间的用户相关关系信息。
[0005]在一种可能的实施例中，在上述基于大数据和云计算的数据挖掘方法中，所述数
据挖掘方法还包括：提取到典型用户数据簇，所述典型用户数据簇中的典型用户数据组合包括第一典型用户数据组合和与第一典型用户数据组合关联的第二典型用户数据组合，所述典型用户数据组合包括典型第一网络用户数据集和典型第二网络用户数据集，所述第一典型用户数据组合包括的典型第一网络用户数据集和典型第二网络用户数据集之间具有相关关系；对所述典型第一网络用户数据集对应的典型第一网络用户数据描述向量、典型第一网络用户关联数据描述向量和所述典型第二网络用户数据集对应的典型第二网络用户数据描述向量，加载到待优化相关关系确定神经网络，所述典型第一网络用户关联数据描述向量包括典型第一网络用户数据集对应的内部关联数据描述向量和/或外部关联数据描述向量；依据相同的典型第一网络用户数据集对应的典型第一网络用户关联数据描述向量，为对应的典型第一网络用户数据描述向量进行数据丰富化处理，形成所述典型第一网络用户数据集对应的丰富化第一网络用户数据描述向量，该丰富化第一网络用户数据描述向量包括外部丰富化网络用户数据描述向量和/或内部丰富化网络用户数据描述向量；对于相同的典型用户数据组合，对所述典型第二网络用户数据集对应的典型第二网络用户数据描述向量，与所述典型第一网络用户数据集对应的典型第一网络用户数据描述向量、丰富化第一网络用户数据描述向量进行相关程度确定，输出每一个所述典型用户数据组合对应的相关程度组合；依据所述第一典型用户数据组合对应的相关程度组合和关联的第二典型用户数据组合对应的相关程度组合，分析输出典型数据学习误差值；依据所述典型数据学习误差值对所述待优化相关关系确定神经网络进行网络优化处理，形成对应的优化相关关系确定神经网络，所述优化相关关系确定神经网络用于分析出所述第一网络用户数据集和所述第二网络用户数据集之间的数据集相关关系信息。
[0006]在一种可能的实施例中，在上述基于大数据和云计算的数据挖掘方法中，所述提取到典型用户数据簇的步骤，包括：提取到多个第一典型用户数据组合；对所述多个第一典型用户数据组合进行数据调整处理，形成对应的多个第二典型用户数据组合；对与所述第一典型用户数据组合之间具有相同数据的第二典型用户数据组合进行标记处理，以形成与所述第一典型用户数据组合关联的第二典型用户数据组合；依据每一个所述第一典型用户数据组合和对应的关联的第二典型用户数据组合，构建出对应的典型用户数据簇。
[0007]在一种可能的实施例中，在上述基于大数据和云计算的数据挖掘方法中，所述典型第一网络用户数据集对应的丰富化第一网络用户数据描述向量包括的外部丰富化网络用户数据描述向量基于以下步骤确定：将当前的典型第一网络用户数据集对应的典型第一网络用户数据描述向量和外部关联数据描述向量进行内部聚焦特征分析，形成所述当前的典型第一网络用户数据集对应的内部聚焦网络用户数据描述向量和内部聚焦外部关联数据描述向量；将所述当前的典型第一网络用户数据集对应的典型第一网络用户数据描述向量
和内部聚焦外部关联数据描述向量进行关联聚焦特征分析，形成所述当前的典型第一网络用户数据集对应的关联聚焦网络用户数据描述向量，以及，将所述当前的典型第一网络用户数据集对应的外部关联数据描述向量和内部聚焦网络用户数据描述向量进行关联聚焦特征分析，形成所述当前的典型第一网络用户数据集对应的关联聚焦交关联数据描述向量；对所述当前的典型第一网络用户数据集对应的关联聚焦交关联数据描述向量和关联聚焦网络用户数据描述向量进行聚合处理，形成所述当前的典型第一网络用户数据集对应的聚合用户数据描述向量；将所述当前的典型第一网络用户数据集对应的聚合用户数据描述向量进行分层次聚焦特征分析，形成第一分层次聚焦特征分析影响力参数，以及，依据所述第一分层次聚焦特征分析影响力参数，对所述当前的典型第一网络用户数据集对应的典型第一网络用户数据描述向量进行数据丰富化处理，形成所述当前的典型第一网络用户数据集对应的外部丰富化网络用户数据描述向量。
[0008]在一种可能的实施例中，在上述基于大数据和云计算的数据挖掘方法中，所述典型第一网络用户数据集对应的丰富化第一网络用户数据描述向量包括的内部丰富化网络用户数据描述向量基于以下步骤确定：将当前的典型第一网络用户数据集对应的典型第一网络用户数据描述向量和内部关联数据描述向量进行聚合操作，形成应的第一数据聚合描述向量；将所述第一数据聚合描述向量进行过拟合抑制操作和特征压缩操作，形成对应的第二数据聚合描述向量；将所述第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据和云计算的数据挖掘方法，其特征在于，包括：挖掘出第一网络用户数据集对应的第一网络用户数据描述向量和第一网络用户关联数据描述向量，并挖掘出第二网络用户数据集对应的第二网络用户数据描述向量，所述第一网络用户数据集对应于第一网络用户的用户网络行为数据，所述第二网络用户数据集对应于第二网络用户的用户网络行为数据，所述第一网络用户关联数据描述向量包括所述第一网络用户数据集对应的内部关联数据描述向量和/或外部关联数据描述向量，所述内部关联数据描述向量对应的关联网络用户和所述第一网络用户在所述用户网络行为数据对应的目标网络平台内部具有关联关系，所述外部关联数据描述向量对应的关联网络用户和所述第一网络用户在所述用户网络行为数据对应的目标网络平台外部具有关联关系；依据所述第一网络用户关联数据描述向量，将所述第一网络用户数据描述向量进行数据丰富化，形成所述第一网络用户数据集对应的丰富化第一网络用户数据描述向量，所述丰富化第一网络用户数据描述向量包括外部丰富化网络用户数据描述向量和/或内部丰富化网络用户数据描述向量；对所述第二网络用户数据描述向量与所述第一网络用户数据描述向量、所述丰富化第一网络用户数据描述向量进行相关程度确定，输出所述第一网络用户数据集和所述第二网络用户数据集对应的相关程度组合；依据所述第一网络用户数据集和所述第二网络用户数据集对应的相关程度组合，分析出所述第一网络用户数据集和所述第二网络用户数据集之间的数据集相关关系信息，以及，再基于所述数据集相关关系信息，确定出所述第一网络用户和所述第二网络用户之间的用户相关关系信息。2.根据权利要求1所述的基于大数据和云计算的数据挖掘方法，其特征在于，所述数据挖掘方法还包括：提取到典型用户数据簇，所述典型用户数据簇中的典型用户数据组合包括第一典型用户数据组合和与第一典型用户数据组合关联的第二典型用户数据组合，所述典型用户数据组合包括典型第一网络用户数据集和典型第二网络用户数据集，所述第一典型用户数据组合包括的典型第一网络用户数据集和典型第二网络用户数据集之间具有相关关系；对所述典型第一网络用户数据集对应的典型第一网络用户数据描述向量、典型第一网络用户关联数据描述向量和所述典型第二网络用户数据集对应的典型第二网络用户数据描述向量，加载到待优化相关关系确定神经网络，所述典型第一网络用户关联数据描述向量包括典型第一网络用户数据集对应的内部关联数据描述向量和/或外部关联数据描述向量；依据相同的典型第一网络用户数据集对应的典型第一网络用户关联数据描述向量，为对应的典型第一网络用户数据描述向量进行数据丰富化处理，形成所述典型第一网络用户数据集对应的丰富化第一网络用户数据描述向量，该丰富化第一网络用户数据描述向量包括外部丰富化网络用户数据描述向量和/或内部丰富化网络用户数据描述向量；对于相同的典型用户数据组合，对所述典型第二网络用户数据集对应的典型第二网络用户数据描述向量，与所述典型第一网络用户数据集对应的典型第一网络用户数据描述向量、丰富化第一网络用户数据描述向量进行相关程度确定，输出每一个所述典型用户数据组合对应的相关程度组合；
依据所述第一典型用户数据组合对应的相关程度组合和关联的第二典型用户数据组合对应的相关程度组合，分析输出典型数据学习误差值；依据所述典型数据学习误差值对所述待优化相关关系确定神经网络进行网络优化处理，形成对应的优化相关关系确定神经网络，所述优化相关关系确定神经网络用于分析出所述第一网络用户数据集和所述第二网络用户数据集之间的数据集相关关系信息。3.根据权利要求2所述的基于大数据和云计算的数据挖掘方法，其特征在于，所述提取到典型用户数据簇的步骤，包括：提取到多个第一典型用户数据组合；对所述多个第一典型用户数据组合进行数据调整处理，形成对应的多个第二典型用户数据组合；对与所述第一典型用户数据组合之间具有相同数据的第二典型用户数据组合进行标记处理，以形成与所述第一典型用户数据组合关联的第二典型用户数据组合；依据每一个所述第一典型用户数据组合和对应的关联的第二典型用户数据组合，构建出对应的典型用户数据簇。4.根据权利要求2所述的基于大数据和云计算的数据挖掘方法，其特征在于，所述典型第一网络用户数据集对应的丰富化第一网络用户数据描述向量包括的外部丰富化网络用户数据描述向量基于以下步骤确定：将当前的典型第一网络用户数据集对应的典型第一网络用户数据描述向量和外部关联数据描述向量进行内部聚焦特征分析，形成所述当前的典型第一网络用户数据集对应的内部聚焦网络用户数据描述向量和内部聚焦外部关联数据描述向量；将所述当前的典型第一网络用户数据集对应的典型第一网络用户数据描述向量和内部聚焦外部关联数据描述向量进行关联聚焦特征分析，形成所述当前的典型第一网络用户数据集对应的关联聚焦网络用户数据描述向量，以及，将所述当前的典型第一网络用户数据集对应的外部关联数据描述向量和内部聚焦网络用户数据描述向量进行关联聚焦特征分析，形成所述当前的典型第一网络用户数据集对应的关联聚焦交关联数据描述向量；对所述当前的典型第一网络用户数据集对应的关联聚焦交关联数据描述向量和关联聚焦网络用户数据描述向量进行聚合处理，形成所述当前的典型第一网络用户数据集对应的聚合用户数据描述向量；将所述当前的典型第一网络用户数据集对应的聚合用户数据描述向量进行分层次聚焦特征分析，形成第一分层次聚焦特征分析影响力参数，以及，依据所述第一分层次聚焦特征分析影响力参数，对所述当前的典型第一网络用户数据集对应的典型第一网络用户数据描述向量进行数据丰富化处理，形成所述当前的典型第一网络用户数据集对应的外部丰富化网络用户数据描述向量。5.根据权利要求2所述的基于大数据和云计算的数据挖掘方法，其特征在于，所述典型第一网络用户数据集对应的丰富化第一网络用户数据描述向量包括的内部丰富化网络用户数据描述向量基于以下步骤确定：将当前的典型第一网络用户数据集对应的典型第一网络用户数据描述向量和内部关联数据描述向量进行聚合操作，形成应的第一数据聚合描述向量；将所述第一数据聚合描述向量进行过拟合抑制操作和特征压缩操作，形成对应的第二
数据聚合描述向量；将所述第二数据聚合描述向量进行向量参数映射操作，形成对应的第三数据聚合描述向量；对所述第三数据聚合描述向量进行分层次聚焦特征分析，形成对应的第二分层次聚焦特征分析影响力参数，再依据所述第二分层次聚焦特征分析影响力参数，对所述当前的典型第一网络用户数据集对应的典型第一网络用户数据描述向量进行数据丰富化处理，形成所述当前的典型第一网络用户数据集对应的内部丰富化网络用户数据描述向量。6.根据权利要求2所述的基于大数据和云计算的数据挖掘方法，其特征在于，所述相关程度组合包括至少两种相关程度信息，当前的典型第一网络用户数据描述向量为当前的典型用户数据组合包括的典型第一网络用户数据集对应的典型第一网络用户数据描述向量和/或丰富化第一网络用户数据描述向量，当前的典型第二网络用户数据描述向量为所述当前的典型用户数据组合包括的典型第二网络用户数据集对应的典型第二网络用户数据描述向量，所述典型第一网络用户数据集包括多条典型第一网络用户数据，所...

【专利技术属性】
技术研发人员：李桂芝，
申请(专利权)人：徐州思睿晶信息科技有限公司，
类型：发明
国别省市：