一种自适应的主动式信息交互教育方法技术

本发明专利技术涉及一种自适应的主动式信息交互教育方法，根据学习者的环境和注意力的情况，自适应地转变播放方式，如将视频通过内容识别和自动语音生成转变成音频，或者对音频自动生成字幕和配图生成视频。具体的，该装置可以根据声音信号、振动信号、加速度传感器、感光传感器，进行环境干扰特征的识别，判别环境嘈杂程度、声音场景、环境光线条件、设备晃动状态；同时，该装置可以辨识学习者的注意力状态，自动推送合适的内容形式，以最大化注意力集中程度。并且，该装置可以通过对视频和图像内容识别，自动生成描述视频和图像内容的文字，进一步合成音频播放；该装置也可以对音频内容识别，自动生成文字、配图，进行视觉呈现。进行视觉呈现。进行视觉呈现。

【技术实现步骤摘要】
一种自适应的主动式信息交互教育方法


[0001]本专利技术属于智能教育领域，具体涉及一种自适应的主动式信息交互教育方法。

技术介绍

[0002]自适应的教育方法可以有效拓展学习者获取知识的场景、提升学习者的注意力水平，从而提升学习效率。
[0003]随着智能工具的小型化和网络带宽的提速，普通学习者使用智能工具的场景大幅度拓宽了。对各种环境自适应的学习教育装置可以更有效地辅助学习者对信息的获取、加工、认知内化，辅助和提升认知的效率。
[0004]教育信息的传输应该尽量贴合学习者身处的环境和投入的注意力，从信息接收的增强角度，通过多模态、多通道的音频、视频、图像、文字，有效呈现学习内容。
[0005]学习者可能在受干扰的环境中学习，如在地铁车厢中、或在运动健身过程中等，导致信息接收遇到障碍，或因为客观环境、或因为短时的注意力下降，造成学习的低效。通过主动和自适应地调整信息交互方式，能够提高认知效率。目前已有一些方案：例如视频内容的导航和搜索、对前后置关联知识点内容的推送；以及音频内容的可视化、视频\VR内容的语音解说。即从认知效率角度，对内容的呈现形式进行组合优化，能够提高学习效率。
[0006]然而，目前的学习资源、课程内容，尚缺乏对信息增强的综合性研究和整体性技术解决方案，导致学习过程中的信息获取不畅通、容易受到干扰影响。比如，在学习内容形式方面，已有的技术能够通过基于行为数据的深度学习推荐算法适应性地优化知识点的学习顺序和视觉呈现以强化学习者的认知效率，但未能把学习内容的多感官呈现形式、学习环境干扰因素和学习者注意力状态等影响认知效率的因素进行综合考虑；在学习者注意力状态方面，已有的技术提出了基于机器学习的人脸姿态估计方法和融合视线估计的注意力评估方法，以提高学习者注意力评估的精度，进而通过学习内容中额外预设的多感官交互体验以加强学习者的注意力，但未能把学习环境干扰因素考虑周全，也未能实现学习内容原有信息的主动和自动增强。综上，现有技术中没有将内容呈现形式、学习环境、特定人注意力集中程度进行整体考虑的技术解决方案，也没有对学习内容原有信息进行自适应和主动式智能化增强的技术研究[1,2,3]。
[0007]因此本专利技术涉及的一种自适应的主动式信息交互教育方法具有重要的理论与实际意义。

技术实现思路

[0008]为解决上述问题，本专利技术公开了一种自适应的主动式信息交互教育方法，根据环境嘈杂程度、声音场景特点，自适应地切换音频到视频呈现；根据环境光线条件、设备晃动状态，自适应地切换视频到音频呈现。
[0009]为达到上述目的，本专利技术的技术方案如下：
[0010]一种自适应的主动式信息交互教育方法，包括如下步骤：
[0011]步骤一：构建学习环境数据库，并对每种学习环境进行场景类别的划分，并构建训练数据集；将训练数据集输入到基于机器学习的学习环境识别模型，以类别信息作为所述学习环境识别模型的监督信息，进行学习环境识别模型的训练；
[0012]构建学习内容数据库，并对每个学习内容的图片和声音信号建立关联关系，构建学习内容识别模型；将学习内容输入到学习内容识别模型，以图片作为学习内容识别模型的监督信息，进行学习内容识别模型的训练；
[0013]构建视频数据库，并对视频内容进行文字描述；输入视频到基于机器学习的视频识别模型，以文字描述作为所述视频识别模型的监督信息，进行视频识别模型的训练；
[0014]构建图像数据库，并对图像内容进行文字描述；输入图像到基于机器学习的图像识别模型，以文字描述作为所述图像识别模型的监督信息，进行图像识别模型的训练；
[0015]构建学习者的状态数据库，并根据学习者的状态对注意力打标，构建训练数据集，以注意力作为监督信息，训练基于机器学习的注意力识别模型；
[0016]步骤二：对学习者所处的学习环境的声音、光线以及学习者所持设备的晃动进行检测，并将检测结果输入训练后的学习环境识别模型，得到学习者所处的场景；结合学习者所处的学习者所处场景、学习环境的声音、光线以及学习者所持设备的晃动，自适应地切换音频到视频的辅助呈现或视觉信息到音频的辅助呈现方式；
[0017]同时，实时辨识学习者的注意力状态，结合学习者所处的场景、学习环境的声音、光线以及学习者所持设备的晃动，给出提示信息，并自动切换合适的场景，以最大化注意力集中程度。
[0018]进一步地，所述自适应地切换音频到视频的辅助呈现方式，通过如下方式来实现：
[0019]加载语音识别引擎，对学习者学习的音频内容进行识别，通过语音识别自动生成字幕文字，在学习者所持设备的屏幕上显示字幕文字；将学习者学习的音频内容输入训练后的学习内容识别模型，获得学习者学习的音频内容对应的图片，并将其显示在学习者所持设备的屏幕上，进行音频内容的辅助视觉呈现。
[0020]进一步地，自适应地切换视觉信息到音频的辅助呈现方式，通过如下方式来实现：
[0021]加载训练后的视频识别模型或图像识别模型，通过对学习者学习的视频或图像内容识别，自动生成描述视频或图像内容的文字描述；加载文字识别引擎，对学习者学习的视觉信息中的文字进行识别；将所述文字描述和识别出的学习者学习的视觉信息中的文字进行时间线上的整合后，通过语音合成引擎，合成文字的音频内容进行播放。
[0022]进一步地，辨识学习者的当前的状态，输入训练后的注意力识别模型，获得学习者的注意力集中等级；当学习者的注意力集中等级低于设定阈值，给出相应的提示信息。
[0023]进一步地，所述学习者的状态包括人脸转动和移动轨迹、眼动状态、视线方向估计、人脸表情、头部姿态、上半身姿态，屏幕和外设操作行为。
[0024]进一步地，实时辨识学习者的注意力状态，结合学习者所处的场景、学习环境的声音、光线以及学习者所持设备的晃动，给出提示信息，通过如下步骤来实现：
[0025](1)构建学习内容呈现形式、学习者所处的场景、学习者注意力集中程度三者之间的概率依赖关系；
[0026](2)建立注意力在内容形式、学习环境两者上的联合条件概率密度函数；
[0027](3)推送合适的内容形式，以最大化注意力集中程度，在贝叶斯框架下计算环境特
征对于场景1的后验概率值P(x|S1)，计算环境特征对于场景2的后验概率值P(x|S2)，其中x代表特征值，S1代表场景1，S2代表场景2，设权重W1，W2，且W1+W2＝1,调节W1，使得，场景选择结果为：
[0028][0029]迭代改变权重W1＝W1+ΔW，最小化注意力等级，在第i次迭代中，检测注意力等级变化ΔL，获得梯度g＝ΔL/ΔW，令下一次迭代为W1＝W1
‑
α*g
[0030]其中α为一个较小的正数，设为0.001到0.1。
[0031]进一步地，通过麦克风感应环境的声音信号。
[0032]进一步地，通过振动传感器和加速度传感器感应设备的振动信号。
[0033]进一步地，通过感本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自适应的主动式信息交互教育方法，其特征在于，包括如下步骤：步骤一：构建学习环境数据库，并对每种学习环境进行场景类别的划分，并构建训练数据集；将训练数据集输入到基于机器学习的学习环境识别模型，以类别信息作为所述学习环境识别模型的监督信息，进行学习环境识别模型的训练；构建学习内容数据库，并对每个学习内容的图片和声音信号建立关联关系，构建学习内容识别模型；将学习内容输入到学习内容识别模型，以图片作为学习内容识别模型的监督信息，进行学习内容识别模型的训练；构建视频数据库，并对视频内容进行文字描述；输入视频到基于机器学习的视频识别模型，以文字描述作为所述视频识别模型的监督信息，进行视频识别模型的训练；构建图像数据库，并对图像内容进行文字描述；输入图像到基于机器学习的图像识别模型，以文字描述作为所述图像识别模型的监督信息，进行图像识别模型的训练；构建学习者的状态数据库，并根据学习者的状态对注意力打标，构建训练数据集，以注意力作为监督信息，训练基于机器学习的注意力识别模型；步骤二：对学习者所处的学习环境的声音、光线以及学习者所持设备的晃动进行检测，并将检测结果输入训练后的学习环境识别模型，得到学习者所处的场景；结合学习者所处的学习者所处场景、学习环境的声音、光线以及学习者所持设备的晃动，自适应地切换音频到视频的辅助呈现或视觉信息到音频的辅助呈现方式；同时，实时辨识学习者的注意力状态，结合学习者所处的场景、学习环境的声音、光线以及学习者所持设备的晃动，给出提示信息，并自动切换合适的场景，以最大化注意力集中程度。2.根据权利要求1所述的自适应的主动式信息交互教育方法，其特征在于，所述自适应地切换音频到视频的辅助呈现方式，通过如下方式来实现：加载语音识别引擎，对学习者学习的音频内容进行识别，通过语音识别自动生成字幕文字，在学习者所持设备的屏幕上显示字幕文字；将学习者学习的音频内容输入训练后的学习内容识别模型，获得学习者学习的音频内容对应的图片，并将其显示在学习者所持设备的屏幕上，进行音频内容的辅助视觉呈现。3.根据权利要求1所述的一种自适应的主动式信息交互教育方法，其特征在于，自适应地切换视觉信息到音频的辅助呈现方式，通过如下方式来实现：加载训练后的视频识别模型或图像识别模型，通过对学习者学习的视频或图像内容识别...

【专利技术属性】
技术研发人员：黄程韦，杨嘉帆，黄宝忠，朱晓明，盖君芳，陈圆谜，
申请(专利权)人：浙江杭钢职业教育集团有限公司，
类型：发明
国别省市：