一种基于时域因果信息的多模态教育资源自动标注方法技术

本发明专利技术公开了一种基于时域因果信息的多模态教育资源自动标注方法，包括：构建多层级教育资源使用记录的描述框架；根据所述描述框架进行多模态教育资源使用记录采集，并对采集到的教育资源使用记录进行时域因果干预；对教育资源多模态使用过程数据进行融合表示；根据所述多模态教育资源的融合表示，构建线上

【技术实现步骤摘要】
一种基于时域因果信息的多模态教育资源自动标注方法


[0001]本专利技术涉及计算机
，尤其是一种基于时域因果信息的多模态教育资源自动标注方法。

技术介绍

[0002]教育资源标注是资源组织、资源推荐等重要任务的基础，目前大多数都是基于人工规则或简单学习算法的，较少基于资源实际使用记录进行设计，导致这些方法容错性低，处理数据模态单一，使用场景单一，准确率低效，特别是在多模态教育资源井喷式增长的互联网时代，给教育资源的高效自动标注带来了极大挑战。深度神经网络技术在多模态数据分析处理方面取得了不错的研究进展，相较于以前传统人工规则或浅层学习算法，这类方法具有更好通用性建模与复杂机理拟合能力等优点，但深度学习技术由关联关系驱动的，使得对复杂多源异构多模态等教育资源因果本质特征学习还存在较大缺陷，极大限制了海量多模态教育资源的自动标注性能。

技术实现思路

[0003]有鉴于此，本专利技术实施例提供一种准确率高且鲁棒性高的，基于时域因果信息的多模态教育资源自动标注方法，从教育资源使用过程角度出发，同时利用教育资源使用过程数据和多模态教育资源本身数据，增强多模态教育资源的因果本质表征学习。
[0004]本专利技术实施例的一方面提供了一种基于时域因果信息的多模态教育资源自动标注方法，包括：
[0005]构建多层级教育资源使用记录的描述框架；
[0006]根据所述描述框架进行多模态教育资源使用记录采集，并对采集到的教育资源使用记录进行时域因果干预；
[0007]对教育资源多模态使用过程数据进行融合表示；
[0008]根据所述多模态教育资源的融合表示，构建线上
‑
线下增量学习标注模型；
[0009]将待标注多模态教育资源输入所述线上
‑
线下增量学习标注模型，输出教育资源标注结果。
[0010]可选地，所述构建多层级教育资源使用记录的描述框架，具体为：根据在线教育情境特点，建立“行为
‑
目标
‑
状态”三层级资源使用语义描述机制，该步骤包括：
[0011]构建描述行为层：根据学习场景资源使用特点，利用时序谓词逻辑表达方法，构建“用户
‑
资源
‑
动作”的交互关系语义模型，其中，所述交互关系语义模型用于描述学习场景中用户、资源之间的作用关系，建立各个要素的词表及其实例关系集；所述各个要素包括但不限于行为、目标、教育资源使用状态；
[0012]构建描述目标层：根据BDI模型并引入学习资源领域知识，构建具有动作前件
‑
动作后件
‑
使用状态的动作
‑
目标
‑
状态操作语义表示，将目标和资源使用状态引入到用户动作的操作语义，实现动作、目标、资源使用状态三个层次的关联；
[0013]构建描述资源使用状态层：从记录日志中直接提取或者用预训练的机器学习模型间接提取资源使用效果评估指标集合。
[0014]可选地，所述根据所述描述框架进行多模态教育资源使用记录采集，包括：
[0015]根据线上流式日志数据和多媒体传感数据，借助多类型深度神经网络学习算法，结合三层级资源使用语义描述机制，构建学习场景中用户和资源识别、用户
‑
资源
‑
动作的交互关系抽取方法，完成在线跨时域原始资源使用过程数据语义化描述，实现多模态时序过程数据语义化感知与组织；
[0016]其中，语义化的过程数据表示为{(d
raw
,L
t
,t
link
)}，d
raw
表示原始采集数据，L
t
表示从三层语义描述机制获取语义化标签集合，t
link
表示时间信息记录字段；
[0017]其中，所述线上流式日志数据和多媒体传感数据包括但不限于线上结构化学习日志数据、音频数据、文本数据以及视频数据。
[0018]可选地，所述对采集到的教育资源使用记录进行时域因果干预，包括：
[0019]针对学习过程多模态教育资源使用的时序因果特性，以时态分布因果关系视角进行去混淆过程建模；
[0020]基于学习过程时序事件因果关系角度出发，借助学习过程数据可感知语义化标签集合，构建时序因果关系约束预训练的干预机制，从离散事件角度拟合等式连续时域去混淆过程表征；
[0021]构建面向多模态x
‑
Transformer基于离散时序Mask算子干预学习机制，其中，x
‑
Transformer中的x表示不同模态数据。
[0022]可选地，所述基于学习过程时序事件因果关系角度出发，借助学习过程数据可感知语义化标签集合，构建时序因果关系约束预训练的干预机制，从离散事件角度拟合等式连续时域去混淆过程表征，包括：
[0023]基于学习过数据可感知语义化标签集合，构造学习行为过程事件
‑
事件、事件
‑
时间关系集合及时序标签集合和因果关系标签集合；
[0024]在学习过程数据时序维度上，构造学习行为事件时序标签约束计算方法；
[0025]构造完整时序因果关系约束方法，为面向学习过程数据的Mask位置选取计算进行正则化约束求解。
[0026]可选地，所述对教育资源多模态使用过程数据进行融合表示，包括：
[0027]基于已语义化组织学习过程数据，采用架构灵活的x
‑
Transformer作为底层通用骨干网络,结合不同数据类型特征，采用领域内通用优化方法，进行x
‑
Transformer架构优化调整；其中，x表示不同模态数据；
[0028]抽取不同模态数据的特征关联，构建关联度计算函数，用于跨模态注意力融合增强；
[0029]构建跨模态时序注意力融合模型，先对数据按预设的间隔时间组合以采集时序对齐的各个时刻的数据，然后输入到一个由跨模态注意力融合模块堆叠的循环网络中，先对同一时刻的数据做融合，再在时间维度进行特征扩散以获取模态不变的语义表示；
[0030]完成多模态跨时域教育资源使用过程数据的融合，得到关于特定教育资源特征集合。
[0031]可选地，所述根据所述多模态教育资源的融合表示，构建线上
‑
线下增量学习标注
模型，包括：
[0032]针对标签或词汇的语义增量类，首先采用语义本体技术对采样的文本词汇进行语义分析，对其中的新增文本词汇，采集新增文本词汇的多模态信息，获取新增文本词汇的多模态特征，将所述多模态特征和对应的文本词汇构建双元组特征，根据所述双元组特征，构建对应的二分类学习任务，以识别新增文本词汇和非新增文本词汇，完成第一类增量学习；
[0033]针对资源使用过程的显著表示特征，首先获取资源使用过程数据的语义特征表示，对于这些获取的语义特征表示，与该教育资源对应已有的资源使用过程本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时域因果信息的多模态教育资源自动标注方法，其特征在于，包括：构建多层级教育资源使用记录的描述框架；根据所述描述框架进行多模态教育资源使用记录采集，并对采集到的教育资源使用记录进行时域因果干预；对教育资源多模态使用过程数据进行融合表示；根据所述多模态教育资源的融合表示，构建线上
‑
线下增量学习标注模型；将待标注多模态教育资源输入所述线上
‑
线下增量学习标注模型，输出教育资源标注结果。2.根据权利要求1所述的一种基于时域因果信息的多模态教育资源自动标注方法，其特征在于，所述构建多层级教育资源使用记录的描述框架，具体为：根据在线教育情境特点，建立“行为
‑
目标
‑
状态”三层级资源使用语义描述机制，该步骤包括：构建描述行为层：根据学习场景资源使用特点，利用时序谓词逻辑表达方法，构建“用户
‑
资源
‑
动作”的交互关系语义模型，其中，所述交互关系语义模型用于描述学习场景中用户、资源之间的作用关系，建立各个要素的词表及其实例关系集；所述各个要素包括但不限于行为、目标、教育资源使用状态；构建描述目标层：根据BDI模型并引入学习资源领域知识，构建具有动作前件
‑
动作后件
‑
使用状态的动作
‑
目标
‑
状态操作语义表示，将目标和资源使用状态引入到用户动作的操作语义，实现动作、目标、资源使用状态三个层次的关联；构建描述资源使用状态层：从记录日志中直接提取或者用预训练的机器学习模型间接提取资源使用效果评估指标集合。3.根据权利要求2所述的一种基于时域因果信息的多模态教育资源自动标注方法，其特征在于，所述根据所述描述框架进行多模态教育资源使用记录采集，包括：根据线上流式日志数据和多媒体传感数据，借助多类型深度神经网络学习算法，结合三层级资源使用语义描述机制，构建学习场景中用户和资源识别、用户
‑
资源
‑
动作的交互关系抽取方法，完成在线跨时域原始资源使用过程数据语义化描述，实现多模态时序过程数据语义化感知与组织；其中，语义化的过程数据表示为{(
raw
,L
t
,t
link
)}，d
raw
表示原始采集数据，L
t
表示从三层语义描述机制获取语义化标签集合，t
link
表示时间信息记录字段；其中，所述线上流式日志数据和多媒体传感数据包括但不限于线上结构化学习日志数据、音频数据、文本数据以及视频数据。4.根据权利要求1所述的一种基于时域因果信息的多模态教育资源自动标注方法，其特征在于，所述对采集到的教育资源使用记录进行时域因果干预，包括：针对学习过程多模态教育资源使用的时序因果特性，以时态分布因果关系视角进行去混淆过程建模；基于学习过程时序事件因果关系角度出发，借助学习过程数据可感知语义化标签集合，构建时序因果关系约束预训练的干预机制，从离散事件角度拟合等式连续时域去混淆过程表征；构建面向多模态x
‑
Transformer基于离散时序Mask算子干预学习机制，其中，x
‑
Transformer中的x表示不同模态数据。

【专利技术属性】
技术研发人员：黄琼浩，黄昌勤，蒋凡，王译，涂雅欣，韩中美，
申请(专利权)人：浙江师范大学，
类型：发明
国别省市：