一种基于大数据的信息处理系统技术方案

本发明专利技术公开了一种基于大数据的信息处理系统，包括信息采集模块、信息处理分析模块和资源推荐模块，所述信息采集模块用于采集学习平台的资源和用户信息，所述信息处理分析模块用于对采集到的资源和用户信息进行处理分析，所述资源推荐模块用于根据处理分析后的信息向用户推荐合适的资源信息，所述信息处理分析模块与信息采集模块网络连接，所述资源推荐模块与信息处理分析模块网络连接，所述信息采集模块包括信息数据库模块、用户信息采集模块、资源数据采集模块和数据预处理模块，所述信息处理分析模块包括信息聚类单元和相似度分析模块，本发明专利技术，具有智能推荐和优化学习效率的特点。特点。特点。

【技术实现步骤摘要】
一种基于大数据的信息处理系统


[0001]本专利技术涉及信息处理
，具体为一种基于大数据的信息处理系统。

技术介绍

[0002]随着社会科学技术的发展，在线学习信息资源的数量不断增长，学习者无法从海量、庞杂的信息中找寻到自己想要的学习内容，并且在寻找的同时，会受到很多无关信息的干扰，进而学习者的时间被浪费，导致其学习效率与学习兴趣持续降低。因此，设计智能推荐和优化学习效率的一种基于大数据的信息处理系统是很有必要的。

技术实现思路

[0003]本专利技术的目的在于提供一种基于大数据的信息处理系统，以解决上述
技术介绍
中提出的问题。
[0004]为了解决上述技术问题，本专利技术提供如下技术方案：一种基于大数据的信息处理系统，包括信息采集模块、信息处理分析模块和资源推荐模块，所述信息采集模块用于采集学习平台的资源和用户信息，所述信息处理分析模块用于对采集到的资源和用户信息进行处理分析，所述资源推荐模块用于根据处理分析后的信息向用户推荐合适的资源信息，所述信息处理分析模块与信息采集模块网络连接，所述资源推荐模块与信息处理分析模块网络连接。
[0005]根据上述技术方案，所述信息采集模块包括信息数据库模块、用户信息采集模块、资源数据采集模块和数据预处理模块，所述信息数据库模块用于存储采集到的资源和用户数据信息，所述用户信息采集模块用于采集用户信息，所述资源数据采集模块用于采集学习资源信息，所述数据预处理模块用于对采集到的数据进行预处理，所述数据预处理模块与信息数据库模块网络连接。
[0006]根据上述技术方案，所述信息处理分析模块包括信息聚类单元和相似度分析模块，所述信息聚类单元用于对采集到的数据进行聚类，所述相似度分析模块用于对用户和资源数据进行相似度的分析。
[0007]根据上述技术方案，所述资源推荐模块包括用户兴趣获取模块、候选集合筛选模块和推荐结果产生模块，所述用户兴趣获取模块用户获取用户对资源的兴趣度，所述候选集合筛选模块用于从众多学习资源项目集中筛选出学习用户可能感兴趣的内容，所述推荐结果产生模块用于输出向用户推荐的资源信息。
[0008]根据上述技术方案，所述信息采集模块的运行方法主要包括以下步骤：
[0009]步骤S1：建立信息数据库，将采集到的学习平台的用户数据信息和学习资源信息存储至数据库中；
[0010]步骤S2：用户通过注册登录学习平台进行学习资源的浏览学习，获取历史用户的数据信息存储至数据库中，并实时获取进入学习平台需要进行学习资源推荐的用户数据信息；
[0011]步骤S3：通过爬虫从学习平台的资源数据库中获取资源信息，并根据历史记录统计各资源的用户评分数据信息；
[0012]步骤S4：对获取到的资源信息和用户信息进行预处理。
[0013]根据上述技术方案，所述步骤S4中数据预处理具体为：首先过滤并且筛选出自己所需要的数据，其次对缺失数据进行填补，然后将不同规模与数量级的数据统一到相同的区间范围内，最后将不同维度的各类数据进行合并，以学习用户A的一次学习行为为合并数据。
[0014]根据上述技术方案，所述信息处理分析模块的主要运行方法包括以下步骤：
[0015]步骤A1：对采集到的用户数据进行聚类；
[0016]步骤A2：对学习用户和学习资源进行相似度分析计算，通过提取学习资源的评分和点击热度，分析学习资源间的相似度；通过提取学习者的年龄，计算学习者之间的相似度。
[0017]根据上述技术方案，所述步骤A2中具体相似度计算为：具体学习资源1和2的评分相似度S为：资源2的所有用户评分平均值与资源1的所有用户评分平均值的差值，并取绝对值；点击热度相似度P由用户对学习资源的点击次数决定；具体用户年龄相似度M为资源1的所有用户年龄平均值与资源2的所有用户年龄平均值的差值。
[0018]根据上述技术方案，所述资源推荐模块的主要运行方法包括以下步骤：
[0019]步骤B1：获取学习平台中两个用户信息以及该平台的学习行为数据，分别标记为用户b和用户c，对其浏览学习资源i的行为进行打分，获取该用户资源兴趣程度
[0020]步骤B2：定义该学习资源平台有n个学习用户和m项学习资源，则学习用户与学习资源之间的行为关系可以构成n*m大小的浏览行为矩阵，定义一个学习用户浏览学习资源的向量为则矩阵A为
[0021]步骤B3：在用户偏好获取的基础上，根据用户和资源相似度的分析，对用户兴趣资源进行筛选，对已预测的兴趣程度进行排序，最终向用户进行资源推荐。
[0022]根据上述技术方案，所述步骤B3进一步包括以下步骤：
[0023]步骤B31：检索学习用户对学习资源的评分数据，并将评分数据转化为向量形式，随机确定一个目标学习用户a，找出与学习用户a有过共同评分学习资源的学习者合集J，并统计J中的学习者个数M；
[0024]步骤B32：对M个数进行遍历，找到与学习者b共同评分过的资源合集R，计算a和b的相似度Sim(a，b)，直至M个数遍历完；
[0025]步骤B33：根据相似度确定目标学习用户的最近邻居项目集，检索邻居项目集中学习用户b对目标资源的评分R；
[0026]步骤B34：对学习用户a进行评分预测，并选取评分最大的前N个资源推荐给a。
[0027]与现有技术相比，本专利技术所达到的有益效果是：本专利技术通过设置有信息采集模块、
信息处理分析模块和资源推荐模块，对学习平台的资源和用户信息进行采集，根据采集到的数据信息进行聚类分析，分析用户和资源数据之间的相似度，结合用户行为、用户信息和学习资源信息，为用户智能推荐兴趣偏好和相似度高的学习资源，实现学习用户学习效率的提高和学习效果的提升。
附图说明
[0028]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：
[0029]图1是本专利技术的系统模块组成示意图。
具体实施方式
[0030]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0031]请参阅图1，本专利技术提供技术方案：一种基于大数据的信息处理系统，包括信息采集模块、信息处理分析模块和资源推荐模块，信息采集模块用于采集学习平台的资源和用户信息，信息处理分析模块用于对采集到的资源和用户信息进行处理分析，资源推荐模块用于根据处理分析后的信息向用户推荐合适的资源信息，信息处理分析模块与信息采集模块网络连接，资源推荐模块与信息处理分析模块网络连接，通过设置有信息采集模块、信息处理分析模块和资源推荐模块，对学习平台的资源和用户信息进行采集，根据采集到的数据信息进行聚类分析，分析用户和资源数据之间的相似度，结合用户行为、用户信息和学习资源本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据的信息处理系统，包括信息采集模块、信息处理分析模块和资源推荐模块，其特征在于：所述信息采集模块用于采集学习平台的资源和用户信息，所述信息处理分析模块用于对采集到的资源和用户信息进行处理分析，所述资源推荐模块用于根据处理分析后的信息向用户推荐合适的资源信息，所述信息处理分析模块与信息采集模块网络连接，所述资源推荐模块与信息处理分析模块网络连接。2.根据权利要求1所述的一种基于大数据的信息处理系统，其特征在于：所述信息采集模块包括信息数据库模块、用户信息采集模块、资源数据采集模块和数据预处理模块，所述信息数据库模块用于存储采集到的资源和用户数据信息，所述用户信息采集模块用于采集用户信息，所述资源数据采集模块用于采集学习资源信息，所述数据预处理模块用于对采集到的数据进行预处理，所述数据预处理模块与信息数据库模块网络连接。3.根据权利要求2所述的一种基于大数据的信息处理系统，其特征在于：所述信息处理分析模块包括信息聚类单元和相似度分析模块，所述信息聚类单元用于对采集到的数据进行聚类，所述相似度分析模块用于对用户和资源数据进行相似度的分析。4.根据权利要求3所述的一种基于大数据的信息处理系统，其特征在于：所述资源推荐模块包括用户兴趣获取模块、候选集合筛选模块和推荐结果产生模块，所述用户兴趣获取模块用户获取用户对资源的兴趣度，所述候选集合筛选模块用于从众多学习资源项目集中筛选出学习用户可能感兴趣的内容，所述推荐结果产生模块用于输出向用户推荐的资源信息。5.根据权利要求4所述的一种基于大数据的信息处理系统，其特征在于：所述信息采集模块的运行方法主要包括以下步骤：步骤S1：建立信息数据库，将采集到的学习平台的用户数据信息和学习资源信息存储至数据库中；步骤S2：用户通过注册登录学习平台进行学习资源的浏览学习，获取历史用户的数据信息存储至数据库中，并实时获取进入学习平台需要进行学习资源推荐的用户数据信息；步骤S3：通过爬虫从学习平台的资源数据库中获取资源信息，并根据历史记录统计各资源的用户评分数据信息；步骤S4：对获取到的资源信息和用户信息进行预处理。6.根据权利要求5所述的一种基于大数据的信息处理系统，其特征在于：所述步骤S4中数据预处理具体为：首先过滤并且筛选出自己所需要的数据，其次对缺失数据进行填补，...

【专利技术属性】
技术研发人员：赵渊博，
申请(专利权)人：赵渊博，
类型：发明
国别省市：