本发明专利技术公开一种多模态学习行为分析方法、系统及存储介质，应用于人工智能技术领域，能够实现高性能和高可解释性的多模态学习行为分析，为教育决策过程提供可靠的分析解释。该方法包括：获取待分析对象学习过程的多模态行为数据并进行预处理得到多模态序列数据；根据多模态序列数据进行协同嵌入表示得到初始特征表示；根据初始特征表示构建学习行为数据关联图；通过图解耦神经网络对学习行为数据关联图进行解耦得到多模态解耦图；根据多模态解耦图各节点间的关系构建属性路由机制；通过属性路由机制更新节点嵌入表示和图结构得到目标特征表示和目标图结构；根据目标特征表示进行学习行为分析并对目标图结构进行可视化得到可视化学习行为分析结果。可视化学习行为分析结果。可视化学习行为分析结果。
【技术实现步骤摘要】
多模态学习行为分析方法、系统及存储介质
[0001]本专利技术涉及人工智能
，尤其涉及一种多模态学习行为分析方法、系统及存储介质。
技术介绍
[0002]随着教育大数据增强和人工智能技术兴起的浪潮，人工智能技术与教育融合应用成为智能教育实践过程中的重要手段。智能教育也从互联网化向基于学生全过程行为数据分析的精准助教等实际应用场景转变。相关技术中，随着学生学习行为数据的增加，高维度特征难以被常人理解，且缺失了与元数据之间的实际意义关联，如何在实现高性能和高解释性的基础上为教育决策过程提供可靠的分析解释没有很好的方法。
技术实现思路
[0003]为了解决上述技术问题的至少之一，本专利技术提出一种多模态学习行为分析方法、系统及存储介质，能够实现高性能和高可解释性的多模态学习行为分析，为教育决策过程提供可靠的分析解释。
[0004]一方面，本专利技术实施例提供了一种多模态学习行为分析方法，包括以下步骤：
[0005]获取待分析对象学习过程的多模态行为数据；
[0006]将所述多模态行为数据进行预处理得到相应的多模态序列数据；
[0007]根据所述多模态序列数据进行协同嵌入表示，得到初始特征表示；
[0008]根据所述初始特征表示构建学习行为数据关联图；
[0009]通过图解耦神经网络对所述学习行为数据关联图进行解耦，得到多模态解耦图；
[0010]根据所述多模态解耦图中各个节点之间的关系构建属性路由机制；
[0011]通过所述属性路由机制更新迭代所述多模态解耦图的节点嵌入表示和图结构，得到目标特征表示和目标图结构；
[0012]根据所述目标特征表示进行学习行为分析并对所述目标图结构进行可视化，得到可视化学习行为分析结果。
[0013]根据本专利技术实施例的一种多模态学习行为分析方法，至少具有如下有益效果：本实施例首先获取待分析对象在学习过程中的多模态行为数据，并将获取的多模态行为数据进行预处理得到相应的多模态序列数据，以便于进行深层次的特征学习。接着，本实施例根据多模态序列数据进行协同嵌入表示，得到初始特征表示，以通过协同嵌入的方式将多个模态信息映射到同一个嵌入空间中，增强模态间的互补性。然后，根据得到的初始特征表示构建学习行为数据关联图，以通过构建关联图的方式提高数据的表示能力。同时，通过图解耦神经网络对学习行为关联图进行解耦，得到多模态解耦图。另外，本实施例根据多模态解耦图中各个节点之间的关系构建属性路由机制，并通过属性路由机制更新迭代多模态解耦图的节点嵌入表示和图结构，以得到目标特征表示和目标图结构，以通过构建的属性路由机制有效控制信息在模型内的传递，提高学习行为分析结果的准确性和透明度。进一步地，
本实施例根据目标特征表示进行学习行为分析并对目标图结构进行可视化，从而得到可视化学习行为分析结果，实现高性能和高可解释性的多模态学习行为分析，为教育决策过程提供可靠的分析解释。
[0014]根据本专利技术的一些实施例，所述将所述多模态行为数据进行预处理得到相应的多模态序列数据，包括：
[0015]根据所述多模态行为数据的数据形式进行相应的数据清洗，得到多模态清洗数据；
[0016]对所述多模态清洗数据进行数据序列化得到所述多模态序列数据。
[0017]根据本专利技术的一些实施例，所述根据所述多模态序列数据进行协同嵌入表示，得到初始特征表示，包括：
[0018]将所述多模态序列数据中不同模态序列数据通过卷积神经网络和长短期记忆网络进行所述协同嵌入表示，得到所述初始特征表示。
[0019]根据本专利技术的一些实施例，所述根据所述初始特征表示构建学习行为数据关联图，包括：
[0020]根据所述初始特征表示得到时间切片节点之间的关联关系；其中，所述时间切片节点为所述多模态序列数据中的时间切片；
[0021]根据所述关联关系构建邻接矩阵；
[0022]根据所述邻接矩阵和所述时间切片节点构建所述学习行为数据关联图。
[0023]根据本专利技术的一些实施例，所述根据所述多模态解耦图中各个节点之间的关系构建属性路由机制，包括：
[0024]计算所述多模态解耦图中各个模态解耦图的所述节点之间的第一差异分数矩阵；其中，所述第一差异分数矩阵为模态内信息传递的掩码矩阵；
[0025]计算所述多模态解耦图中相同的所述节点在不同模态中的第二差异分数矩阵；其中，所述第二差异分数矩阵为跨模态信息传递的掩码矩阵。
[0026]根据本专利技术的一些实施例，所述通过所述属性路由机制更新迭代所述多模态解耦图的节点嵌入表示和图结构，得到目标特征表示和目标图结构，包括：
[0027]根据所述第一差异分数矩阵控制信息在所述多模态解耦图中各个模态解耦图内的时间维度上的传递，得到时间维度表示更新；
[0028]根据所述第二差异分数矩阵控制信息在所述多模态解耦图中各个模态解耦图之间的模态维度上的传递，得到模态维度表示更新；
[0029]根据所述时间维度表示更新和所述模态维度表示更新对所述节点嵌入表示进行更新，得到所述目标特征表示；
[0030]根据所述目标特征表示更新所述图结构，得到所述目标图结构。
[0031]根据本专利技术的一些实施例，所述根据所述目标特征表示进行学习行为分析并对所述目标图结构进行可视化，得到可视化学习行为分析结果，包括：
[0032]将所述目标特征表示输入预设图解耦学习行为分析模型进行学习行为分析，得到学习行为分析结果；
[0033]根据所述掩码矩阵对所述目标图结构进行可视化，得到预设可视化图像；其中，所述预设可视化图像包括热度图和结构可视化图；
[0034]根据所述学习行为分析结果和所述预设可视化图像得到所述可视化学习行为分析结果。
[0035]另一方面，本专利技术实施例还提供了一种多模态学习行为分析系统，包括：
[0036]数据获取模块，用于获取待分析对象学习过程的多模态行为数据；
[0037]预处理模块，用于将所述多模态行为数据进行预处理得到相应的多模态序列数据；
[0038]嵌入表示模块，用于根据所述多模态序列数据进行协同嵌入表示，得到初始特征表示；
[0039]关联图构建模块，用于根据所述初始特征表示构建学习行为数据关联图；
[0040]解耦模块，用于通过图解耦神经网络对所述学习行为数据关联图进行解耦，得到多模态解耦图；
[0041]路由构建模块，根据所述多模态解耦图中各个节点之间的关系构建属性路由机制；
[0042]路由更新模块，用于通过所述属性路由机制更新迭代所述多模态解耦图的节点嵌入表示和图结构，得到目标特征表示和目标图结构；
[0043]结果分析模块，用于根据所述目标特征表示进行学习行为分析并对所述目标图结构进行可视化，得到可视化学习行为分析结果。
[0044]另一方面，本专利技术实施例还提供了一种多模态学习行为分析系统，包括：
[0045]至少一个处理本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多模态学习行为分析方法，其特征在于，包括以下步骤：获取待分析对象学习过程的多模态行为数据；将所述多模态行为数据进行预处理得到相应的多模态序列数据；根据所述多模态序列数据进行协同嵌入表示，得到初始特征表示；根据所述初始特征表示构建学习行为数据关联图；通过图解耦神经网络对所述学习行为数据关联图进行解耦，得到多模态解耦图；根据所述多模态解耦图中各个节点之间的关系构建属性路由机制；通过所述属性路由机制更新迭代所述多模态解耦图的节点嵌入表示和图结构，得到目标特征表示和目标图结构；根据所述目标特征表示进行学习行为分析并对所述目标图结构进行可视化，得到可视化学习行为分析结果。2.根据权利要求1所述的多模态学习行为分析方法，其特征在于，所述将所述多模态行为数据进行预处理得到相应的多模态序列数据，包括：根据所述多模态行为数据的数据形式进行相应的数据清洗，得到多模态清洗数据；对所述多模态清洗数据进行数据序列化得到所述多模态序列数据。3.根据权利要求1所述的多模态学习行为分析方法，其特征在于，所述根据所述多模态序列数据进行协同嵌入表示，得到初始特征表示，包括：将所述多模态序列数据中不同模态序列数据通过卷积神经网络和长短期记忆网络进行所述协同嵌入表示，得到所述初始特征表示。4.根据权利要求1所述的多模态学习行为分析方法，其特征在于，所述根据所述初始特征表示构建学习行为数据关联图，包括：根据所述初始特征表示得到时间切片节点之间的关联关系；其中，所述时间切片节点为所述多模态序列数据中的时间切片；根据所述关联关系构建邻接矩阵；根据所述邻接矩阵和所述时间切片节点构建所述学习行为数据关联图。5.根据权利要求1所述的多模态学习行为分析方法，其特征在于，所述根据所述多模态解耦图中各个节点之间的关系构建属性路由机制，包括：计算所述多模态解耦图中各个模态解耦图的所述节点之间的第一差异分数矩阵；其中，所述第一差异分数矩阵为模态内信息传递的掩码矩阵；计算所述多模态解耦图中相同的所述节点在不同模态中的第二差异分数矩阵；其中，所述第二差异分数矩阵为跨模态信息传递的掩码矩阵。6.根据权利要求5所述的多模态学习行为分析方法，其特征在于，所述通过所述属性路由机制更新迭代所述多模态解耦图的节点嵌入表示和图结构，得到目标特征表示和目标图结构，包括：根据所...
【专利技术属性】
技术研发人员：梅晓勇，周友根，黄昌勤，
申请(专利权)人：浙江师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。