一种基于Spark的旅游兴趣推荐系统及推荐方法技术方案
A recommendation system and recommendation method of tourism interest based on Spark
The invention discloses a recommendation system, Spark tourism based on the interest include: data warehouse module for data storage; data collection module, storing the collected data to data warehouse module; recommendation engine module, extract the data from the data warehouse module; the processing module, the output module group recommendation engine results according to the unified evaluation module, weight; for each engine recommendation engine group module for accuracy and diversity assessment; engine management module, evaluation module according to the results, the dynamic increase, delete the recommendation engine, determine the weight of each engine; user feedback processing module, the user interface user feedback data collection. The recommendation method of the recommendation system is also disclosed. It solves the problems of low efficiency of analysis and calculation and insufficient storage space expansion of the existing recommendation algorithms.
【技术实现步骤摘要】
一种基于Spark的旅游兴趣推荐系统及推荐方法
本专利技术属于旅游
，具体涉及一种基于Spark的旅游兴趣推荐系统，本专利技术还涉及利用上述推荐系统进行推荐的方法。
技术介绍
目前，随着生活水平的提高，人们在满足物质需求的基础上，更加注重精神需求，但是，目前旅游景点商业化和旅行团跟团游存在的强制消费以及无自由时间活动等问题，使得消费者无法享受当地文化中的建筑之美，文化之美，餐饮之美。而且，目前的旅游消费体系中忽略了当地大学生的导游作用，通过私人定制旅游系统，有利于当地大学生通过兼职导游解决生活来源的问题，有利于大学生带领消费者体验纯正的当地文化，不再盲目聚集。在当前大数据的时代背景下，信息过载是消费者面临的重要问题之一，如何帮助游客在海量的数据集中获取自己不明确和难以表达的需求，筛选到满意的大学生导游是目前面临的主要问题。在旅游推荐系统中面临的主要挑战是：数据稀疏性、冷启动以及多样性和新颖性等问题。当采用单一的推荐算法如SVD算法会存在冷启动以及维度高，计算复杂等问题，基于人口统计学的推荐方法粗糙不准确。这些推荐算法都有自己的特点和适用场景，但都无法面对复杂...
【技术保护点】
一种基于Spark的旅游兴趣推荐系统，其特征在于，包括：数据仓库模块(1)，用于存储数据；数据收集模块(2)，将用户交互界面的数据进行收集，将收集到的数据存储到数据仓库模块(1)中；推荐引擎组模块(3)，从数据仓库模块(1)中提取数据，每个引擎都有自己的推荐策略；结果处理模块(4)，对推荐引擎组模块(3)输出的结果按照权重统一起来，并将最终的结果展示给游客；评估模块(5)，对推荐引擎组模块(3)的每一个引擎针对准确度和多样性进行评估，以便确定各个引擎的使用场景；引擎管理模块(6)，根据评估模块(5)的结果，动态的增加、删除推荐引擎，确定各个引擎的权重；用户反馈处理模块(7)...
【技术特征摘要】
1.一种基于Spark的旅游兴趣推荐系统，其特征在于，包括：数据仓库模块(1)，用于存储数据；数据收集模块(2)，将用户交互界面的数据进行收集，将收集到的数据存储到数据仓库模块(1)中；推荐引擎组模块(3)，从数据仓库模块(1)中提取数据，每个引擎都有自己的推荐策略；结果处理模块(4)，对推荐引擎组模块(3)输出的结果按照权重统一起来，并将最终的结果展示给游客；评估模块(5)，对推荐引擎组模块(3)的每一个引擎针对准确度和多样性进行评估，以便确定各个引擎的使用场景；引擎管理模块(6)，根据评估模块(5)的结果，动态的增加、删除推荐引擎，确定各个引擎的权重；用户反馈处理模块(7)，将用户交互界面的用户反馈数据收集，并将收集到的反馈数据发送至数据仓库模块(1)。2.根据权利要求1所述一种基于Spark的旅游兴趣推荐系统，其特征在于，所述推荐引擎组模块(3)包括三个推荐引擎，分别是：基于内容的推荐，利用了大学生导游描述文件；基于人口统计学的推荐，利用了游客描述文件；基于SVD的推荐，利用了游客评分文件；三个推荐引擎之间采用模块化设计，根据情况线性添加、删除及实时的调整推荐系统的权值分布。3.根据权利要求1所述一种基于Spark的旅游兴趣推荐系统，其特征在于，每一个所述推荐引擎都分为两部分，离线计算模块和在线计算模块。4.根据权利要求3所述一种基于Spark的旅游兴趣推荐系统，其特征在于，所述推荐引擎的离线计算模块处理数据量和计算量较大的原始数据，采用Spark分布式计算框架，供在线计算时使用。5.根据权利要求3所述一种基于Spark的旅游兴趣推荐系统，其特征在于，所述推荐引擎的在线计算模块与具体的推荐目标相关，计算量不大，在离线计算的基础上，以最快的速度给出推荐结果。6.采用一种基于Spark的旅游兴趣推荐系统的推荐方法，其特征在于，数据收集模块(2)从用户交互界面获取用户数据User.dat、大学生导游数据Student.dat、用户打分记录Rating.dat存储到数据仓库模块(1)，用户反馈处理模块(7)从用户交互界面收集反馈数据发送给数据仓库模块(1)；数据仓库模块(1)包括原始数据层、离线中间层、推荐结果层，原始数据层将数据集中的数据抽象后封装，以Prequet文件的形式存储于HDFS中以供推荐引擎组模块(3)调用；离线中间层基于原始数据层，离线中间层是将各个推荐引擎离线部分产生的中间计算结果存储在数据仓库中，与具体的推荐对象无关，目的是先提前计算好以便供推荐引擎组模块(3)在线计算使用；推荐结果层是各个推荐引擎基于离线中间层数据个性化推荐的结果数据存储于内存中；结果处理模块(4)将推荐结果层中存储的数据过滤排序后直接返回给用户交互页面；评估模块(5)对推荐引擎组模块(3)的推荐结果的准确性、新颖性进行评估，根据评估的评估模块(5)的结果，引擎管理模块(6)动态的增加、删除推荐引擎，确定各个引擎的权重，以便获取需要的准确性、新颖性信息。7.根据权利要求6所述的采用一种基于Spark的旅游兴趣推荐系统的推荐方法，其特征在于，所述推荐系统中利用了数据集的三个文件：①User.dat，用于描述用户信息，用来构造人口统计学的推荐，每条记录的数据格式设置为：UserID::Gender::Age::Occupation::Hobby其中Occupation和hobby被数字字典化；UserID是指用户ID，Gender是指用户性别，Age是指用户年龄，Occupation是指用户职业，Hobby是指用户兴趣；②Student.dat，用于描述大学生导游信息，用来构造基于内容的推荐，文件中每行的数据格式为：StudentID::Gender::Age::University::Hobby其中StudentID是指学生导游ID，Gender是指学生导游性别，Age是指学生导游年龄，University是指学生导游学校，Hobby是指学生导游兴趣；③Rating.dat，用于描述用户打分记录，提供了用户行为信息，用来构造基于SVD的推荐，文件中每条记录的数据格式为：UserID::StudentID::Rating::TimeUserID是指用户ID，Student是指学生导游ID，Rating是指用户对学生导游的评分，Time是指用户对学生导游评分的日期。8.根据权利要求7所述的采用一种基于Spark的旅游兴趣推荐系统的推荐方法，其特征在于，所述数据仓库模块(1)中数据仓库表的具体实现为：①设计字符串Schema；②将上述字符串转化为Spark能处理的Schema对象，并给每一个字段分配类型；③构造原始数据RDD...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。