一种中小型电商大数据平台制造技术

本发明专利技术公开了一种中小型电商大数据平台，从上到下依次包括运行环境层、基础设施层、基础平台层、用户网关层、客户应用层；其中，基础设施层，其为基础平台层提供基础设施服务；基础平台层，其为用户网关层提供基础服务调用接口；所述基础平台层包括任务调度控制台、HBase和Hive；用户网关层，用于为终端客户提供个性化的调用接口以及用户的身份认证；终端用户只有通过用户网关层提供的接口才可以与大数据平台进行交互；客户应用层，是各种不同的终端应用程序。本发明专利技术通过对阿里平台和全行业市场数据进行多维分析及展现，帮助客户精准打造宝贝爆款，提升店铺销售额，并提供强有力的数据分析决策方案。

A big data platform for small and medium-sized e-commerce

【技术实现步骤摘要】
一种中小型电商大数据平台
本专利技术涉及计算机领域，特别涉及一种中小型电商大数据平台。
技术介绍
随着互联网信息技术的迅猛发展，全世界的数据量爆发式增长，“大数据”引起了各个领域的关注。电商企业在营销过程中积累了各种类型数据，比如客户信息、销售交易信息、行为数据等，这些数据承载了各个消费群体的信息，成为了极有价值的资产，应用大数据正逐渐成为商业竞争的关键。与此同时，社会生产的分工精细化和技术进步使得消费者心理和消费行为模式都发生很多变化，其购物具有个性化、主动化、社交化和移动化的特征。仅仅依靠经验进行营销决策已经不能满足当今企业需要，迫切需要企业将有限的营销资源，精确地用于潜在客户，即开展精准营销。阿里电商、京东等平台后端都有一套的大数据分析平台，但与它们自身业务绑定十分紧密，对于第三方中小型电商企业遥不可及，对于第三方中小型电商企业而言，并不能很好地适用。
技术实现思路
本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种中小型电商大数据平台，该平台专为电商企业打造的全行业数据决策分析系统，通过对阿里平台和全行业市场数据进行多维分析及展现，帮助客户精准打造宝贝爆款，提升店铺销售额，并提供强有力的数据分析决策方案。本专利技术的目的通过以下的技术方案实现：一种中小型电商大数据平台，从上到下依次包括运行环境层、基础设施层、基础平台层、用户网关层、客户应用层；其中运行环境层，其为基础设施层提供运行时环境，包括操作系统和运行时环境；基础设施层，其为基础平台层提供基础设施服务；所述基础设施层包括Zookeeper集群和Hadoop集群：(1)ZooKeeper集群用于命名映射，作为Hadoop集群的命名服务器，基础平台层的任务调度控制台通过命名服务器访问Hadoop集群中的NameNode，同时具备failover的功能；(2)Hadoop集群是大数据平台的核心，是基础平台层的基础设施；它提供了HDFS、MapReduce、JobTracker和TaskTracker服务；基础平台层，其为用户网关层提供基础服务调用接口；所述基础平台层包括任务调度控制台、HBase和Hive：(1)任务调度控制台是MapReduce任务的调度中心，分配各种任务执行的顺序和优先级；用户通过调度控制台提交作业任务，并通过用户网关层的Hadoop客户端返回其任务执行的结果；(2)HBase是基于Hadoop的列数据库，为用户提供基于表的数据访问服务；(3)Hive是在Hadoop上的一个查询服务，用户通过用户网关层的Hive客户端提交类SQL的查询请求，并通过客户端的UI查看返回的查询结果，该接口可提供数据部门准即时的数据查询统计服务；用户网关层，用于为终端客户提供个性化的调用接口以及用户的身份认证，是用户唯一可见的大数据平台操作入口；终端用户只有通过用户网关层提供的接口才可以与大数据平台进行交互；客户应用层，是各种不同的终端应用程序，所述客户应用层包括各种关系型数据库，报表，交易行为分析，对账单，清结算。所述操作系统安装了CentOS6.5以上版本，且为64位。所述运行环境层将分布式文件系统的数据目录分布在不同的磁盘分区上。此外为了提高磁盘的IO吞吐量，避免安装RAID驱动，以此提高磁盘的IO性能。所述基础设施服务包括命名服务、分布式文件系统、MapReduce。分布式系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。本技术采用HDFS(Hadoop分布式文件系统)，对电商平台销售、商品、客户数据进行存储，以便于对数据进行后续分析。MapReduce是一个大数据计算框架。本技术通过将HDFS存储的分布式数据导入MapReduce中，进行分析运算，再将运算结果返回到HDFS中。所述Hadoop集群采用双主节点模式。以此避免Hadoop集群的单点故障问题。所述用户网关层，提供了3个个性化调用接口：(1)Hadoop客户端是用户提交MapReduce作业的入口，并从其UI界面查看返回的处理结果；(2)Hive客户端是用户提交HQL查询服务的入口，并从其UI界面查看查询结果；(3)Sqoop是关系型数据库与HBase或Hive交互数据的接口，其能够将关系型数据库中的数据按照要求导入到HBase或Hive中，以提供用户可通过HQL进行查询；同时HBase或Hive或HDFS也能够将数据导回到关系型数据库中，以便其他的分析系统进行进一步的数据分析。所述终端应用程序包括：行为分析程序：将交易数据从关系型数据库导入到Hadoop集群中，然后根据数据挖掘算法编写MapReduce作业任务并提交到JobTracker中进行分布式计算，然后将其计算结果放入Hive中；终端用户通过Hive客户端提交HQL查询统计分析的结果；对账单程序：将交易数据从关系型数据库导入到Hadoop集群，然后根据业务规则编写MapReduce作业任务并提交到JobTracker中进行分布式计算，终端用户通过Hadoop客户端提取对账单结果文件(Hadoop本身也是一个分布式文件系统，具备通常的文件存取能力)；清结算程序：将银联文件导入HDFS中，然后将之前从关系型数据库中导入的POSP交易数据进行MapReduce计算(即对账操作)，然后将计算结果连接到另外一个MapReduce作业中进行费率及分润的计算(即结算操作)，最后将计算结果导回到关系型数据库中由用户触发商户划款(即划款操作)。本专利技术与现有技术相比，具有如下优点和有益效果：1、本专利技术对电商平台进行数据挖掘，分析用户的行为与消费习惯，形成用户的消费个人画像，预测商品的发展的趋势，提高产品质量，同时提高用户满意度。帮助电商企业了解客户类型以及客户结构确定目标客户，改进客户互动、增加价值和建立持久关系。2、本专利技术基于大数据背景，针对电商企业的精准营销模式进行研究。以精准数据为基石的精准营销，作为新一代营销手段，精准营销模式可以帮助企业识别用户，降低营销成本，有效的提高企业销售率和增加利润，为其带来前所未有的发展机遇。3、本专利技术通过计算各大电商平台的大量数据，为中小型电商企业提供更加专业、精准的数据分析服务，帮助企业更好的运营店铺，提升产品价值。具有以下显著优势：1.靠谱的数据：前端页面真实抓取清洗加工有效储存。2.高质量数据：上至行业类目品牌数据，下至宝贝销售评价数据。3.历史需求数据：部分平台可提供2年及以上历史销售数据。4.多平台数据：淘宝天猫完整数据，拼多多等定制数据。附图说明图1是本专利技术所述总体运营指标示意图。图2是本专利技术所述网站流量指标示意图。图3是本专利技术所述销售转化指标示意图。图4是本专利技术所述客户价值指标示意图。图5是本专利技术所述商品类指标示意图。图6是本专利技术所述一种中小型电商大数据平台的基础设施层、基础平台层架构示意图。具体实施方式...

【技术保护点】
1.一种中小型电商大数据平台，其特征在于：从上到下依次包括运行环境层、基础设施层、基础平台层、用户网关层、客户应用层；其中/n运行环境层，其为基础设施层提供运行时环境，包括操作系统和运行时环境；/n基础设施层，其为基础平台层提供基础设施服务；所述基础设施层包括Zookeeper集群和Hadoop集群：(1)ZooKeeper集群用于命名映射，作为Hadoop集群的命名服务器，基础平台层的任务调度控制台通过命名服务器访问Hadoop集群中的NameNode，同时具备failover的功能；(2)Hadoop集群是大数据平台的核心，是基础平台层的基础设施；它提供了HDFS、MapReduce、JobTracker和TaskTracker服务；/n基础平台层，其为用户网关层提供基础服务调用接口；所述基础平台层包括任务调度控制台、HBase和Hive：(1)任务调度控制台是MapReduce任务的调度中心，分配各种任务执行的顺序和优先级；用户通过调度控制台提交作业任务，并通过用户网关层的Hadoop客户端返回其任务执行的结果；(2)HBase是基于Hadoop的列数据库，为用户提供基于表的数据访问服务；(3)Hive是在Hadoop上的一个查询服务，用户通过用户网关层的Hive客户端提交类SQL的查询请求，并通过客户端的UI查看返回的查询结果，该接口可提供数据部门准即时的数据查询统计服务；/n用户网关层，用于为终端客户提供个性化的调用接口以及用户的身份认证，是用户唯一可见的大数据平台操作入口；终端用户只有通过用户网关层提供的接口才可以与大数据平台进行交互；/n客户应用层，是各种不同的终端应用程序，所述客户应用层包括各种关系型数据库，报表，交易行为分析，对账单，清结算。/n...

【技术特征摘要】
1.一种中小型电商大数据平台，其特征在于：从上到下依次包括运行环境层、基础设施层、基础平台层、用户网关层、客户应用层；其中
运行环境层，其为基础设施层提供运行时环境，包括操作系统和运行时环境；
基础设施层，其为基础平台层提供基础设施服务；所述基础设施层包括Zookeeper集群和Hadoop集群：(1)ZooKeeper集群用于命名映射，作为Hadoop集群的命名服务器，基础平台层的任务调度控制台通过命名服务器访问Hadoop集群中的NameNode，同时具备failover的功能；(2)Hadoop集群是大数据平台的核心，是基础平台层的基础设施；它提供了HDFS、MapReduce、JobTracker和TaskTracker服务；
基础平台层，其为用户网关层提供基础服务调用接口；所述基础平台层包括任务调度控制台、HBase和Hive：(1)任务调度控制台是MapReduce任务的调度中心，分配各种任务执行的顺序和优先级；用户通过调度控制台提交作业任务，并通过用户网关层的Hadoop客户端返回其任务执行的结果；(2)HBase是基于Hadoop的列数据库，为用户提供基于表的数据访问服务；(3)Hive是在Hadoop上的一个查询服务，用户通过用户网关层的Hive客户端提交类SQL的查询请求，并通过客户端的UI查看返回的查询结果，该接口可提供数据部门准即时的数据查询统计服务；
用户网关层，用于为终端客户提供个性化的调用接口以及用户的身份认证，是用户唯一可见的大数据平台操作入口；终端用户只有通过用户网关层提供的接口才可以与大数据平台进行交互；
客户应用层，是各种不同的终端应用程序，所述客户应用层包括各种关系型数据库，报表，交易行为分析，对账单，清结算。


2.根据权利要求1所述中小型电商大数据平台，其特征在于：所述操作系统安装了CentOS6.5以上版本，且为64位。

<...

【专利技术属性】
技术研发人员：唐润华，郑彦云，董健，刘卫海，宋卉，郑镇宁，
申请(专利权)人：广东食品药品职业学院，
类型：发明
国别省市：广东;44