基于云计算的推荐系统构建方法技术方案

本发明专利技术公开了一种基于云计算的推荐系统构建方法，属于云计算及推荐系统构建领域。该方法首先构建多个节点的Hadoop云平台，然后在Hadoop上构建Mahout中间件，再根据业务需求定制Mahout算法库，在Mahout中间件上实现传统推进算法、伪分布式推进算法和分布式算法，最后根据用户需求构建推荐应用框架。本发明专利技术将串行推荐算法与MapReduce结合实现并行算法，可有效提高处理的效率，能完成单机下无法处理的大量数据，并很快地将推荐结果提供给用户。

【技术实现步骤摘要】

本专利技术涉及一种系统构建方法，尤其涉及一种， 属于云计算及推荐系统构建领域。
技术介绍
随着电子商务提供越来越多的选择的同时，其结构也变得越来越复杂，用户会迷失在大量的商品信息空间中，无法找到自己需要的商品。解决这个问题的一个方法是发展智能推荐系统，依据顾客的偏好或需求为其推荐商品，以帮助顾客完成购买过程。当前只有少数几个大型电子商务网站(如Amazon、eBay等)针对自己的业务开发了个性化推荐系统，大多数的中小型企业并没有那么多精力和资源去投入建设自己的推荐系统。目前推荐系存在的问题是1、不够灵活；2、没有充分考虑到商业策略；3、不能根据推荐需求的变化采用不同的推荐策略；4、难以处理大规模数据；5、推荐系统需进行定制开发，集成代价高，移植性差。这些问题限制了推荐系统在实际中的大规模应用。基于云计算数据挖掘算法的并行性存在一些挑战。用什么样的算法来处理目前的数据挖掘，这是一个首要的问题，并不是所有算法都能够用云计算的方式完成目前的任务。
技术实现思路
本专利技术针对现有推荐系统存在的缺陷，而提出一种。该方法包括如下内容(1)构建分布式文件系统层构建多个节点的Hadoop云平台，在多个节点中一个为主节点，其余为从节点；(2)构建分布式计算层采用MapReduce作为分布式并行计算模型，在Hadoop上构建Mahout中间件；(3)定制数据分析中间件层根据业务需求定制Mahout算法库，在Mahout中间件上实现传统推进算法、伪分布式推进算法和分布式算法；(4)构建推荐应用层根据用户不同需求，设置Mahout算法库中算法的相关参数大小或调用不同算法， 构建应用框架；根据用户不同需求，在应用框架中调用Mahout算法库中的不同算法、设置相关参数大小。技术效果本专利技术提出了一个通用的、扩展性强的推荐系统构建方案，该方案将基于项目的串行推荐算法与MapReduce结合实现并行算法，灵活制定了相应的推荐策略，可有效提高数据处理效率，能完成单机下无法处理的大量数据，并能快速将推荐结果反馈给用户。附图说明图1为推荐系统层次结构图。图2为推荐系统架构图。具体实施例方式下面对本专利技术作进一步说明。基于云计算的电子商务个性化推荐系统包括分布式文件系统层、分布式计算层、 数据分析中间件层和推荐应用层，其中分布式文件系统层和分布式计算层是利用Hadoop 构建的，而数据分析中间件层是根据业务应用在Mahout的基础上定制，并且以服务方式供用户访问。系统的每一层都有相应的云计算管理模块，包括数据安全、资源监控、资源动态调度、资源动态部署、资源规划和虚拟化等功能，保证每一层都具有高可靠性和可伸缩性。本专利技术方法主要包括如下内容(1)构建分布式文件系统层构建多个节点的Hadoop云平台，其中一个为主节点，其余为从节点。该平台可以提供分布式文件存储和分布式编程框架Maplteduce。(2)构建分布式计算层在Hadoop上构建Mahout中间件。构建该中间件可以很方便地在该中间件上编写分布式算法，以供Hadoop执行。(3)定制数据分析中间件层在Mahout上实现传统推进算法、伪分布式推进算法和分布式算法。这些算法是与分布式编程框架MapReduce结合编写的，以便分布执行。(4)构建推荐应用层构建应用框架，推荐应用层根据用户不同需求调用我们定义的算法，即根据不同需求设置算法中的关键参数大小或调用不同算法。用户输入的数据存储在分布式文件系统上，推荐应用执行于Hadoop上，执行完结果反馈给用户。下面对四个系统层进行补充说明。1)分布式文件系统层本专利技术提出利用Hadoop HDFS(Hadoop的分布式文件系统)实现高可靠的分布式数据文件存储功能，将海量数据分布存储在多台计算机集群上，把文件进行分块存储，为实现容错自动进行分块复制。2)分布式计算层本专利技术采用MapReduce (并行计算模型)作为分布式并行计算模型，将大型任务分成很多细粒度的子任务，这些子任务分布式且并行地在多个计算节点上进行调度和计算， 从而在云平台上获得对海量数据的处理能力。3)数据分析中间件层Mahout已经实现了聚类、分类、协同过滤、进化编程等数据挖掘算法，并且允许扩展，根据推荐应用层的业务需求定制我们的Mahout算法库，并且以服务方式供推荐应用层调用。典型的电子商务推荐内容的生成流程包括数据建模、数据导入、数据预处理、推荐模型处理、数据输出等过程。数据分析中间件层依托下层的分布式计算层和分布式文件系统层，可以处理海量数据集和快速增长的数据集，比如每日更新的用户访问日志。由于Mahout 是依附于最通用的云计算平台Hadoop上，可有效地与其它云计算中间件进行协调整合。4)推荐应用层实现内容过滤推荐、协同过滤推荐、混合推荐等电子商务推荐应用，满足电子商务的业务需求。权利要求1. 一种，其特征在于 该方法包括如下内容(1)构建分布式文件系统层构建多个节点的Hadoop云平台，在多个节点中一个为主节点，其余为从节点；(2)构建分布式计算层采用MapReduce作为分布式并行计算模型，在Hadoop上构建Mahout中间件；(3)定制数据分析中间件层根据业务需求定制Mahout算法库，在Mahout中间件上实现传统推进算法、伪分布式推进算法和分布式算法；(4)构建推荐应用层根据用户不同需求，设置Mahout算法库中算法的相关参数大小或调用不同算法，构建应用框架；根据用户不同需求，在应用框架中调用Mahout算法库中的不同算法、设置相关参数大2.根据权利要求1所述的，其特征在于所述传统推进算法是与分布式编程框架MapReduce结合编写的。3.根据权利要求1所述的，其特征在于所述推荐应用层执行于Hadoop上。全文摘要本专利技术公开了一种，属于云计算及推荐系统构建领域。该方法首先构建多个节点的Hadoop云平台，然后在Hadoop上构建Mahout中间件，再根据业务需求定制Mahout算法库，在Mahout中间件上实现传统推进算法、伪分布式推进算法和分布式算法，最后根据用户需求构建推荐应用框架。本专利技术将串行推荐算法与MapReduce结合实现并行算法，可有效提高处理的效率，能完成单机下无法处理的大量数据，并很快地将推荐结果提供给用户。文档编号G06Q30/00GK102169505SQ20111012566公开日2011年8月31日 申请日期2011年5月16日 优先权日2011年5月16日专利技术者邱飞, 陈国庆 申请人:苏州两江科技有限公司本文档来自技高网...

【技术保护点】
１．一种基于云计算的推荐系统构建方法，其特征在于：该方法包括如下内容：（１）构建分布式文件系统层：构建多个节点的Ｈａｄｏｏｐ云平台，在多个节点中一个为主节点，其余为从节点；（２）构建分布式计算层：采用ＭａｐＲｅｄｕｃｅ作为分布式并行计算模型，在Ｈａｄｏｏｐ上构建Ｍａｈｏｕｔ中间件；（３）定制数据分析中间件层：根据业务需求定制Ｍａｈｏｕｔ算法库，在Ｍａｈｏｕｔ中间件上实现传统推进算法、伪分布式推进算法和分布式算法；（４）构建推荐应用层：根据用户不同需求，设置Ｍａｈｏｕｔ算法库中算法的相关参数大小或调用不同算法，构建应用框架；根据用户不同需求，在应用框架中调用Ｍａｈｏｕｔ算法库中的不同算法、设置相关参数大小。

【技术特征摘要】

【专利技术属性】
技术研发人员：陈国庆，邱飞，
申请(专利权)人：苏州两江科技有限公司，
类型：发明
国别省市：32