一种自适应的主动式信息交互教育方法技术

本发明专利技术涉及一种自适应的主动式信息交互教育方法，根据学习者的环境和注意力的情况，自适应地转变播放方式，如将视频通过内容识别和自动语音生成转变成音频，或者对音频自动生成字幕和配图生成视频。具体的，该装置可以根据声音信号、振动信号、加速度传感器、感光传感器，进行环境干扰特征的识别，判别环境嘈杂程度、声音场景、环境光线条件、设备晃动状态；同时，该装置可以辨识学习者的注意力状态，自动推送合适的内容形式，以最大化注意力集中程度。并且，该装置可以通过对视频和图像内容识别，自动生成描述视频和图像内容的文字，进一步合成音频播放；该装置也可以对音频内容识别，自动生成文字、配图，进行视觉呈现。进行视觉呈现。进行视觉呈现。

【技术实现步骤摘要】
一种自适应的主动式信息交互教育方法


[0001]本专利技术属于智能教育领域，具体涉及一种自适应的主动式信息交互教育方法。

技术介绍

[0002]自适应的教育方法可以有效拓展学习者获取知识的场景、提升学习者的注意力水平，从而提升学习效率。
[0003]随着智能工具的小型化和网络带宽的提速，普通学习者使用智能工具的场景大幅度拓宽了。对各种环境自适应的学习教育装置可以更有效地辅助学习者对信息的获取、加工、认知内化，辅助和提升认知的效率。
[0004]教育信息的传输应该尽量贴合学习者身处的环境和投入的注意力，从信息接收的增强角度，通过多模态、多通道的音频、视频、图像、文字，有效呈现学习内容。
[0005]学习者可能在受干扰的环境中学习，如在地铁车厢中、或在运动健身过程中等，导致信息接收遇到障碍，或因为客观环境、或因为短时的注意力下降，造成学习的低效。通过主动和自适应地调整信息交互方式，能够提高认知效率。目前已有一些方案：例如视频内容的导航和搜索、对前后置关联知识点内容的推送；以及音频内容的可视化、视频\VR内容的语音解说。即从认本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自适应的主动式信息交互教育方法，其特征在于，包括如下步骤：步骤一：构建学习环境数据库，并对每种学习环境进行场景类别的划分，并构建训练数据集；将训练数据集输入到基于机器学习的学习环境识别模型，以类别信息作为所述学习环境识别模型的监督信息，进行学习环境识别模型的训练；构建学习内容数据库，并对每个学习内容的图片和声音信号建立关联关系，构建学习内容识别模型；将学习内容输入到学习内容识别模型，以图片作为学习内容识别模型的监督信息，进行学习内容识别模型的训练；构建视频数据库，并对视频内容进行文字描述；输入视频到基于机器学习的视频识别模型，以文字描述作为所述视频识别模型的监督信息，进行视频识别模型的训练；构建图像数据库，并对图像内容进行文字描述；输入图像到基于机器学习的图像识别模型，以文字描述作为所述图像识别模型的监督信息，进行图像识别模型的训练；构建学习者的状态数据库，并根据学习者的状态对注意力打标，构建训练数据集，以注意力作为监督信息，训练基于机器学习的注意力识别模型；步骤二：对学习者所处的学习环境的声音、光线以及学习者所持设备的晃动进行检测，并将检测结果输入训练后的学习环境识别模型，得到学习者所处的场景；结合学习者所处的学习者所处场景、学习环境的声音、光线以及学习者所持设备的晃动，自适应地切换音频到视频的辅助呈现或视觉信息到音频的辅助呈现方式；同时，实时辨识学习者的注意力状态，结合学习者所处的场景、学习环境的声音、光线以及学习者所持设备的晃动，给出提示信息，并自动切换合适的场景，以最大化注意力集中程度。2.根据权利要求1所述的自适应的主动式信息交互教育方法，其特征在于，所述自适应地切换音频到视频的辅助呈现方式，通过如下方式来实现：加载语音识别引擎，对学习者学习的音频内容进行识别，通过语音识别自动生成字幕文字，在学习者所持设备的屏幕上显示字幕文字；将学习者学习的音频内容输入训练后的学习内容识别模型，获得学习者学习的音频内容对应的图片，并将其显示在学习者所持设备的屏幕上，进行音频内容的辅助视觉呈现。3.根据权利要求1所述的一种自适应的主动式信息交互教育方法，其特征在于，自适应地切换视觉信息到音频的辅助呈现方式，通过如下方式来实现：加载训练后的视频识别模型或图像识别模型，通过对学习者学习的视频或图像内容识别...

【专利技术属性】
技术研发人员：黄程韦，杨嘉帆，黄宝忠，朱晓明，盖君芳，陈圆谜，
申请(专利权)人：浙江杭钢职业教育集团有限公司，
类型：发明
国别省市：