基于深度强化学习的个性化学习系统及方法技术方案

本发明专利技术涉及学习系统技术领域，公开了基于深度强化学习的个性化学习系统及方法，包括个性化学习终端、个性化数据分析处理端以及个性化学习服务端，所述个性化学习终端还包括电子教材交互模块、作业与考试模块、个人学习档案管理模块、疑难问题互动交流模块与资源查询模块，所述个性化数据分析处理端包括个性化学情数据预处理模块、学习内容个性化推荐模块和学习结果智能测评模型构建模块，优点在于：通过整合了学习交互活动终端、个性化模型分析端、个性化学习服务端等多环节的系统资源，支撑学习者依据学习目标，应用个性化学习服务中心提供的服务，快速获取合适的学习资源和学习策略，完成学习目标并进行自我评价，实现自我导向学习。

【技术实现步骤摘要】
基于深度强化学习的个性化学习系统及方法
本专利技术涉及学习系统
，具体为基于深度强化学习的个性化学习系统及方法。
技术介绍
如今，教育信息化已步入“2.0时代”，人工智能、大数据等技术在精准教学、个性化学习领域发挥的作用进一步凸显。通过信息技术与学科教学的深度融合，力求助推教育质量大幅提升，已成为业界的共识。随着互联网技术的普及和发展，越来越多的学习者通过网络获取学习资源。与此同时，多元化、个性化的知识定制服务也成了学习者需求的新热点。目前，对个性化教育的追求和教育资源分布不均衡，一直是教育行业的两大核心痛点，人工智能技术带来了解决问题的新的可能性。基于人工智能技术的学习辅助工具，虽然能为学生的学习带来很好的服务体验，然而存在以下问题：(1)、这些人工智能学习辅助工具更多是为了满足某个专门领域的学习需求，目的是为了促进学习者获得特定的知识和技能，而且这些系统常常作为学习教育的补充，未能深入影响学生的日常学习和生活，难以处理学习内容需求的动态变化。这种动态变化体现在两个方面，首先学习内容具有一定的时效性，其次是学习者对于学习内容的需求是不断变化的；(2)、现有的学习内容推荐工具，无法建模学习者的兴趣及需求内容的动态变化，学习资源内容推荐不能确保实时有效性；(3)、现有的学习辅助工具，只是涉及学习者学习活动某个独立的视角，并没有深入结合学习科学研究理论，和优化学习路径，因此没法实现学习者自主学习。
技术实现思路
(一)解决的技术问题针对现有技术的不足，本专利技术提供了基于深度强化学习的个性化学习系统及方法，解决了如何充分结合学习科学研究成果与人工智能技术的进步，使学习系统能够与学习者之间以更自然的方式进行交互，通过人工智能技术为学习者提供个性化学习等亟待解决的问题。(二)技术方案为实现上述目的，本专利技术提供如下技术方案：基于深度强化学习的个性化学习系统，包括个性化学习终端、个性化数据分析处理端以及个性化学习服务端，其特征在于，所述个性化学习终端还包括电子教材交互模块、作业与考试模块、个人学习档案管理模块、疑难问题互动交流模块与资源查询模块，所述个性化数据分析处理端包括个性化学情数据预处理模块、学习内容个性化推荐模块和学习结果智能测评模块。优选的，所述个性化学习终端通过构建好的资源推荐模型根据学习者的动态访问交互日志为学习者推送与之能力相匹配的学习资源，所述个性化学习终端还通过学习结果智能测评模型根据学习者的学情数据智能诊断反馈学习者的课程完成情况与知识的薄弱，所述个性化学习终端还覆盖多个学习活动场景，这样有助于学习者获知自身不足，实现自主引导学习。优选的，所述电子教材交互模块用于学习者对电子教材的绑定、下载、保存和对教材的学习交互记录，所述作业与考试模块用于课后作业的参与完成、批阅和展示的整套课后作业交互流程，所述资源查询模块包括学习资源库，通过获取学习者的考试、学习等交互信息，可以有效得知学习者的真实状况，以便于分析处理。优选的，所述个性化学习终端通过融合多个学习活动场景产生的交互数据，提取学习者的个性化学习数据，采用深度强化学习算法对个性化学习进行内容推荐建模、且对学习结果进行个性化评价分析。本专利技术要解决的另一技术问题是提供基于深度强化学习的个性化学习方法，包括以下步骤：1)、个性化学习终端采集学情数据，学情数据包含静态学情数据和动态学情数据；2)、学习者使用个性化学习终端的账号登录终端，获取学习资源，并绑定课程，跟进课程的开设进度参与学习、参与课程疑难问题答疑，并完成相关作业及考试测验；3)、学习者在学习终端进行各种学习活动，通过学习播放课程视频、点击资源等实现与平台的个性化资源内容推荐系统的多轮交互，在该过程中推荐系统能够感知用户的实时行为，从而更加理解学习者的偏好和需求；4)、个性化分析模型处理端将静态学情数据进行处理，提取离线的个性化特征数据；5)、个性化分析模型处理端对动态学情数据进行处理，提取实时的个性化特征数据。实时的个性化特征数据包含学习者对学习资源的交互行为及学习任务的完成结果情况；6)、个性化模型分析处理端，提取完学习者用户的离线特征，包含用户过去的历史反馈数据和实时特征，基于离线特征和实时特征采用深度强化学习构建个性化的学习内容分层推荐模型。优选的，所述步骤1)中静态学情数据的采集包括以下方式：A1、学习者在学生终端注册账号，填写档案信息，这些数据可在注册账号时以基本信息登记的形式采集，这些信息可通过学习者在学习终端的用户中心修改而更新；A2、学习者通过账号在过去一个星期、一个月访问参与选定的课程视频学习、加入过的最新的相关课程，包含课程视频的直播和录播回放。对学习者在过去一个星期、一个月的学习行为数据进行采集存储，过去一个星期、一个月的学习行为数据如访问课程次数、有访问课程行为的天数、已完成的章节数、相关作业、测验考试考评情况等数据；A3、学习者在过去一个星期、一个月对学习资源的历史查询和浏览行为数据。优选的，所述步骤1)中动态学情数据的采集包括以下内容：B1、采集学习者在课程学习参与中与教师互动的活跃度；B2、采集学习者对学习资源内容搜索的关键字，及对搜索结果资源的点击、在线对学习资源的交互情况。B3、动态学情数据实时采集上传到个性化学习模型处理分析端，进行分析预处理，实时计算学习者个性化的动态交互特征。优选的，所述步骤4)中离线的个性化特征数据包括离线的特征数据包含学习者的性别、年龄、学历、爱好等，并将类别特征变量转换为虚拟数字变量，这样可以将特征信息转变为数字信息，以便于后续的模型构建。(三)有益效果与现有技术相比，本专利技术提供了基于深度强化学习的个性化学习系统及方法，具备以下有益效果：1、该基于深度强化学习的个性化学习系统及方法，通过整合了学习交互活动终端、个性化模型分析端、个性化学习服务端等多环节的系统资源，支撑学习者依据学习目标，通过应用个性化学习服务中心提供的服务，快速获取合适的学习资源和学习策略，完成学习目标并进行自我评价，实现自我导向学习。2、该基于深度强化学习的个性化学习系统及方法，通过个性化教育平台的终端设备，可实时采集学习者学习活动中的多维动态信息，这些信息通过后台进行分析处理，就可以发布到个性化学习的应用平台，实时服务于智能教育领域，通过深度强化学习，不仅基于学习者的静态个性化特征，还基于学习者的动态学习行为特征，不仅避免了推荐场景中的冷启动问题，同时确保了推荐结果的精准和多样性。3、该基于深度强化学习的个性化学习系统及方法，通过个性化学习教育平台，能联合学习者和教育者等多个视角，不仅能实现个性化学习，还能实现个性化辅助教育，通过对特征分层融合分析设计、模型离线训练、以及支持增量更新的数据格式存储，可实现智能推荐模型的快速更新，快速服务于学习者的学习活动中，而且通过双DQN网络模型，充分利用了探索的策略，降低了推荐模型对已感知样本量的依赖，能本文档来自技高网...

【技术保护点】
1.基于深度强化学习的个性化学习系统，包括个性化学习终端、个性化数据分析处理端以及个性化学习服务端，其特征在于，所述个性化学习终端还包括电子教材交互模块、作业与考试模块、个人学习档案管理模块、疑难问题互动交流模块与资源查询模块，所述个性化数据分析处理端包括个性化学情数据预处理模块、学习内容个性化推荐模块和学习结果智能测评模型构建模块。/n

【技术特征摘要】
1.基于深度强化学习的个性化学习系统，包括个性化学习终端、个性化数据分析处理端以及个性化学习服务端，其特征在于，所述个性化学习终端还包括电子教材交互模块、作业与考试模块、个人学习档案管理模块、疑难问题互动交流模块与资源查询模块，所述个性化数据分析处理端包括个性化学情数据预处理模块、学习内容个性化推荐模块和学习结果智能测评模型构建模块。


2.根据权利要求1所述的基于深度强化学习的个性化学习系统，其特征在于，所述个性化学习终端通过构建好的资源推荐模型根据学习者的动态访问交互日志为学习者推送与之能力相匹配的学习资源，所述个性化学习终端还通过学习结果智能测评模型根据学习者的学情数据智能诊断反馈学习者的课程完成情况与知识的薄弱，所述个性化学习终端还覆盖多个学习活动场景。


3.根据权利要求1所述的基于深度强化学习的个性化学习系统及方法，其特征在于，所述电子教材交互模块用于学习者对电子教材的绑定、下载、保存和对教材的学习交互记录，所述作业与考试模块用于课后作业的参与完成、批阅和展示的整套课后作业交互流程，所述资源查询模块包括学习资源库。


4.根据权利要求1所述的基于深度强化学习的个性化学习系统及方法，其特征在于，所述个性化学习终端通过融合多个学习活动场景产生的交互数据，提取学习者的个性化学习数据，采用深度强化学习算法对个性化学习进行内容推荐建模、且对学习结果进行个性化评价分析。


5.基于深度强化学习的个性化学习方法，使用上述权利要求1-4种任意一项，其特征在于，包括以下步骤：
1)、个性化学习终端采集学情数据，学情数据包含静态学情数据和动态学情数据；
2)、学习者使用个性化学习终端的账号登录终端，获取学习资源，并绑定课程，跟进课程的开设进度参与学习、参与课程疑难问题答疑，并完成相关作业及考试测验；
3)、学习者在学习终端进行各种学习活动，通过学习播放课程视频、点击资源等实现与平台的个性化资源内容推荐系统的多轮交互，在该过程中推荐系统能够感知用户的实时行为...

【专利技术属性】
技术研发人员：袁琳琳，代亮亮，陈春艳，
申请(专利权)人：贵州广播电视大学贵州职业技术学院，贵州微育科技有限公司，贵州云科教服务有限公司，
类型：发明
国别省市：贵州;52