用于大数据处理的数据挖掘方法技术

本发明专利技术涉及互联网技术领域，具体地说是一种挖掘结果全面、数据处理速度高的用于大数据处理的数据挖掘方法，包括以下步骤：获取用户的检索需求，将其处理为一致性数据后，将其与预先存储的购买词进行相关性匹配，获得预先存储的购买词与检索需求数据之间至少一个相关性数据源，构建网络拓扑图，并在数据库中基于网络拓扑图进行挖掘，本发明专利技术与现有技术相比，摒弃了简单文字匹配或语义挖掘的方式，从相关性拓普网络入手，对待分析数据进行潜在关键信息的挖掘，具有所获结果更全面、更准确等显著的优点。

【技术实现步骤摘要】
【专利摘要】本专利技术涉及互联网
，具体地说是一种挖掘结果全面、数据处理速度高的，包括以下步骤：获取用户的检索需求，将其处理为一致性数据后，将其与预先存储的购买词进行相关性匹配，获得预先存储的购买词与检索需求数据之间至少一个相关性数据源，构建网络拓扑图，并在数据库中基于网络拓扑图进行挖掘，本专利技术与现有技术相比，摒弃了简单文字匹配或语义挖掘的方式，从相关性拓普网络入手，对待分析数据进行潜在关键信息的挖掘，具有所获结果更全面、更准确等显著的优点。【专利说明】
: 本专利技术涉及互联网
，具体地说是一种挖掘结果全面、数据处理速度高的。
技术介绍
: 大数据技术或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理的时间内达到汲取、管理、处理并整理成为帮助企业经营决策更积极目的资讯。大数据计数的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化的处理，换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键在于提高对数据的“加工能力”，通过加工数据实现增值。 如何从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、事先不知道的、但有时潜在有用的信息的过程被称为数据挖掘，显而易见，数据挖掘时大数据技术的关键。目前常见的数据挖掘方法大致分为以下几种:一种通过半自动化的方式建立网页分类体系，并引入数据分类、查询词分类或购买分类等属性，结合网页搜索结果进行相关性反馈，从而得到想要的信息；另一种是基于字面的文字匹配；还有一种是采用基于语义，分析潜在语义相关性模型从而获得检索数据，以上分析系统容易遗漏信息业务中的潜在特征，导致数据分析结果不全面。
技术实现思路
: 本专利技术针对现有技术中存在的缺点和不足，提出了一种挖掘结果全面、数据处理速度高的。 本专利技术通过以下措施达到: 一种，其特征在于包括以下步骤: 步骤1:获取用户的检索需求，通过用户输入检索词或语音的方式，获知用户的需求； 步骤2:对步骤1中所获的数据进行初步处理，将其处理为一致性数据后存入存储器准备下一步处理； 步骤3:从存储器中提取经过预处理后的检索需求数据，将其与预先存储的购买词进行相关性匹配，获得预先存储的购买词与检索需求数据之间至少一个相关性数据源； 步骤4:对步骤3所获的相关性数据构建网络拓扑图，并在数据库中基于网络拓扑图进行挖掘； 步骤5:输出挖掘结果。 本专利技术所述步骤2中对所获数据进行初步处理，可以采用哈希函数模型将高维数据处理为二进制数据，从而便于存储和进一步的分析处理。 本专利技术所述步骤3中还包括对至少一个相关性数据源进行融合性处理，所述融合性处理采用加权平均法处理方法。 本专利技术所述步骤3中还包括对至少一个相关性数据源进行融合性处理，所述融合性处理采用卡尔曼滤波处理法。 本专利技术所述步骤3中还包括对至少一个相关性数据源进行融合性处理，所述融合性处理采用统计决策处理法。 本专利技术所述步骤3中还包括对至少一个相关性数据源进行融合性处理，所述融合性处理采用神经网络处理法。 本专利技术与现有技术相比，摒弃了简单文字匹配或语义挖掘的方式，从相关性拓普网络入手，对待分析数据进行潜在关键信息的挖掘，具有所获结果更全面、更准确等显著的优点。 【专利附图】【附图说明】 : 附图是本专利技术的流程图。 【具体实施方式】 : 下面结合附图对本专利技术作进一步的说明。 如附图所示，本专利技术提出一种，其特征在于包括以下步骤: 步骤1:获取用户的检索需求，通过用户输入检索词或语音的方式，获知用户的需求； 步骤2:对步骤1中所获的数据进行初步处理，将其处理为一致性数据后存入存储器准备下一步处理； 步骤3:从存储器中提取经过预处理后的检索需求数据，将其与预先存储的购买词进行相关性匹配，获得预先存储的购买词与检索需求数据之间至少一个相关性数据源； 步骤4:对步骤3所获的相关性数据构建网络拓扑图，并在数据库中基于网络拓扑图进行挖掘； 步骤5:输出挖掘结果。 本专利技术所述步骤2中对所获数据进行初步处理，可以采用哈希函数模型将高维数据处理为二进制数据，从而便于存储和进一步的分析处理。 本专利技术所述步骤3中还包括对至少一个相关性数据源进行融合性处理，所述融合性处理采用加权平均法处理方法。 本专利技术所述步骤3中还包括对至少一个相关性数据源进行融合性处理，所述融合性处理采用卡尔曼滤波处理法。 本专利技术所述步骤3中还包括对至少一个相关性数据源进行融合性处理，所述融合性处理采用统计决策处理法。 本专利技术所述步骤3中还包括对至少一个相关性数据源进行融合性处理，所述融合性处理采用神经网络处理法。 本专利技术与现有技术相比，摒弃了简单文字匹配或语义挖掘的方式，从相关性拓普网络入手，对待分析数据进行潜在关键信息的挖掘，具有所获结果更全面、更准确等显著的优点。【权利要求】1.一种，其特征在于包括以下步骤: 步骤1:获取用户的检索需求，通过用户输入检索词或语音的方式，获知用户的需求；步骤2:对步骤I中所获的数据进行初步处理，将其处理为一致性数据后存入存储器准备下一步处理； 步骤3:从存储器中提取经过预处理后的检索需求数据，将其与预先存储的购买词进行相关性匹配，获得预先存储的购买词与检索需求数据之间至少一个相关性数据源； 步骤4:对步骤3所获的相关性数据构建网络拓扑图，并在数据库中基于网络拓扑图进行挖掘； 步骤5:输出挖掘结果。2.根据权利要求1所述的一种，其特征在于所述步骤2中对所获数据进行初步处理，采用哈希函数模型将高维数据处理为二进制数据，从而便于存储和进一步的分析处理。3.根据权利要求1所述的一种，其特征在于所述步骤3中还包括对至少一个相关性数据源进行融合性处理，所述融合性处理采用加权平均法处理方法。4.根据权利要求1所述的一种，其特征在于所述步骤3中还包括对至少一个相关性数据源进行融合性处理，所述融合性处理采用卡尔曼滤波处理法。5.根据权利要求1所述的一种，其特征在于所述步骤3中还包括对至少一个相关性数据源进行融合性处理，所述融合性处理采用统计决策处理法。6.根据权利要求1所述的一种，其特征在于所述步骤3中还包括对至少一个相关性数据源进行融合性处理，所述融合性处理采用神经网络处理法。【文档编号】G06F17/30GK104484409SQ201410783092【公开日】2015年4月1日 申请日期:2014年12月16日 优先权日:2014年12月16日 【专利技术者】赵迪, 高辉 申请人:芜湖乐锐思信息咨询有限公司本文档来自技高网...

【技术保护点】
一种用于大数据处理的数据挖掘方法，其特征在于包括以下步骤：步骤1：获取用户的检索需求，通过用户输入检索词或语音的方式，获知用户的需求；步骤2：对步骤1中所获的数据进行初步处理，将其处理为一致性数据后存入存储器准备下一步处理；步骤3：从存储器中提取经过预处理后的检索需求数据，将其与预先存储的购买词进行相关性匹配，获得预先存储的购买词与检索需求数据之间至少一个相关性数据源；步骤4：对步骤3所获的相关性数据构建网络拓扑图，并在数据库中基于网络拓扑图进行挖掘；步骤5：输出挖掘结果。

【技术特征摘要】

【专利技术属性】
技术研发人员：赵迪，高辉，
申请(专利权)人：芜湖乐锐思信息咨询有限公司，
类型：发明
国别省市：安徽;34