一种基于电子商务的业务数据处理系统及方法技术方案

本发明专利技术实施例公开了一种基于电子商务的业务数据处理系统及方法，所述系统包括数据收集模块，用于从开放的数据源中进行业务数据收集；数据存储模块，用于将收集的业务数据存入预设的数据库中，实现集群部署和列队存储；其中，所述数据库采用Big Table；匹配处理模块，用于利用MapReduce编程模型并结合数据算法对所述数据库中的数据进行匹配处理，并将匹配结果进行导出；其效果是：通过Big Table数据库和MapReduce编程模型对这些数据进行大批量的集群处理，实现效率的倍速提升，减少时延，保障了时效；再结合数据算法支持到快速的应用中去，实现快速匹配客户的整体需求，使得匹配更精准。准。准。

【技术实现步骤摘要】
一种基于电子商务的业务数据处理系统及方法


[0001]本专利技术涉及数据处理
，具体涉及一种基于电子商务的业务数据处理系统及方法。

技术介绍

[0002]当前的电子商务应用技术主要是：通过供应商入驻平台或运营方自己发布产品信息，用户通过访问平台商品库，选择需求，并实施购买，由此产生大量的业务数据；然后通过数据分析处理，了解用户的需求和习惯，以提升用户体验和业务达成。
[0003]目前，在基于业务数据的应用过程中，由于数据来源众多，对数据处理的效率提出了更高的要求，传统的分析方式需要挑选变量、进行变量转换等操作，使得工作量大，处理效率低下；加上本身又存在大量繁杂的数据、海量的供应商资源、供应商商品资源和客户需求资源，在客户的需求数量比较大，如数万清单时，使得匹配时的耗时大，难以保障时效。

技术实现思路

[0004]针对
技术介绍
中所提及的技术缺陷，本专利技术实施例提供了一种基于电子商务的业务数据处理系统及方法。
[0005]为实现上述目的，第一方面，本专利技术实施例提供了一种基于电子商务的业务数据处理系统，所述系统包括：
[0006]数据收集模块，用于从开放的数据源中进行业务数据收集；
[0007]数据存储模块，用于将收集的业务数据存入预设的数据库中，实现集群部署和列队存储；其中，所述数据库采用Big Table；
[0008]匹配处理模块，用于利用MapReduce编程模型并结合数据算法对所述数据库中的数据进行匹配处理，并将匹配结果进行导出；其中，所述数据算法包括主题模型和匹配算法。
[0009]进一步地，通过MapReduce模型在大量计算机组成的集群上调度，管理集群中计算机之间必要的通信。
[0010]进一步地，所述MapReduce模型将业务数据的处理方式抽象为map和reduce，map用于过滤和聚集数据，reduce根据map的生成完成归约、分组和总结，完成数据的聚合操作，以得到输出文件；
[0011]通过主题模型对所述输出文件进行特征抽取，以得到主题
‑
词语矩阵；其中，模型中的词语指不同业务数据类型中的字符串；
[0012]利用匹配算法对所述主题
‑
词语矩阵进行关键字匹配，以得到匹配结果。
[0013]进一步地，所述的一种基于电子商务的业务数据处理系统，还包括数据融合模块，所述数据融合模块用于，对采集的业务数据进行多业务数据融合，所述数据融合具体包括：
[0014]业务数据冲突检测；
[0015]基于冲突检测的结果进行冲突分析；
[0016]根据分析结果和预设的融合规则进行冲突消解，以实现多业务数据融合。
[0017]进一步地，所述融合规则包括拓扑约束规则，用于出现合并重叠、新增重叠和删除重叠的情况。
[0018]第二方面，本专利技术实施例还提供了一种基于电子商务的业务数据处理方法，应用于第一方面所述的一种基于电子商务的业务数据处理系统，所述方法包括：
[0019]从开放的数据源中进行业务数据收集；
[0020]将收集的业务数据存入预设的数据库中，实现集群部署和列队存储；其中，所述数据库采用Big Table；
[0021]利用MapReduce编程模型并结合数据算法对所述数据库中的数据进行匹配处理，并将匹配结果进行导出；其中，所述数据算法包括主题模型和匹配算法。
[0022]进一步地，所述方法还包括：
[0023]通过MapReduce模型在大量计算机组成的集群上调度，管理集群中计算机之间的通信。
[0024]进一步地，所述MapReduce模型将业务数据的处理方式抽象为map和reduce，map用于过滤和聚集数据，reduce根据map的生成完成归约、分组和总结，完成数据的聚合操作，以得到输出文件；
[0025]通过主题模型对所述输出文件进行特征抽取，以得到主题
‑
词语矩阵；其中，模型中的词语指不同业务数据类型中的字符串；
[0026]利用匹配算法对所述主题
‑
词语矩阵进行关键字匹配，以得到匹配结果。
[0027]进一步地，所述方法还包括：
[0028]对采集的业务数据进行多业务数据融合，所述数据融合具体包括：
[0029]业务数据冲突检测；
[0030]基于冲突检测的结果进行冲突分析；
[0031]根据分析结果和预设的融合规则进行冲突消解，以实现多业务数据融合。
[0032]进一步地，所述融合规则包括拓扑约束规则，用于出现合并重叠、新增重叠和删除重叠的情况。
[0033]实施本专利技术实施例提供的一种基于电子商务的业务数据处理系统及方法，通过Big Table数据库处理海量的数据，并利用MapReduce编程模型对这些数据进行大批量的集群处理，实现效率的倍速提升，以减少时延，保障时效；再结合数据算法支持到快速的应用中去，实现数据的统一管理、分解和统计，从而快速匹配客户的整体需求，使得匹配更精准。
附图说明
[0034]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0035]图1是本专利技术实施例提供的一种基于电子商务的业务数据处理系统的结构示意图；
[0036]图2是本专利技术实施例提供的一种基于电子商务的业务数据处理方法的流程图。
[0037]本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
[0038]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0039]需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，此外，本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于电子商务的业务数据处理系统，其特征在于，所述系统包括：数据收集模块，用于从开放的数据源中进行业务数据收集；数据存储模块，用于将收集的业务数据存入预设的数据库中，实现集群部署和列队存储；其中，所述数据库采用Big Table；匹配处理模块，用于利用MapReduce编程模型并结合数据算法对所述数据库中的数据进行匹配处理，并将匹配结果进行导出；其中，所述数据算法包括主题模型和匹配算法。2.如权利要求1所述的一种基于电子商务的业务数据处理系统，其特征在于，通过MapReduce模型在大量计算机组成的集群上调度，管理集群中计算机之间的通信。3.如权利要求2所述的一种基于电子商务的业务数据处理系统，其特征在于，所述MapReduce模型将业务数据的处理方式抽象为map和reduce，map用于过滤和聚集数据，reduce根据map的生成完成归约、分组和总结，完成数据的聚合操作，以得到输出文件；通过主题模型对所述输出文件进行特征抽取，以得到主题
‑
词语矩阵；其中，模型中的词语指不同业务数据类型中的字符串；利用匹配算法对所述主题
‑
词语矩阵进行关键字匹配，以得到匹配结果。4.如权利要求1所述的一种基于电子商务的业务数据处理系统，其特征在于，还包括数据融合模块，所述数据融合模块用于，对采集的业务数据进行多业务数据融合，所述数据融合具体包括：业务数据冲突检测；基于冲突检测的结果进行冲突分析；根据分析结果和预设的融合规则进行冲突消解，以实现多业务数据融合。5.如权利要求4所述的一种基于电子商务的业务数据处理系统，其特征在于，所述融合规则包括拓扑约束规则，用于出现合并重叠、新增重叠和删除重叠的情况。6.一种基于电...

【专利技术属性】
技术研发人员：刘根，
申请(专利权)人：阿锐巴数据科技上海有限公司，
类型：发明
国别省市：