一种基于多模态的题目知识点标注方法及系统技术方案

本发明专利技术公开了一种基于多模态的题目知识点标注方法及系统，包括：获取教育领域的原始数据，其中，所述原始数据来自于物理实体；对所述原始数据进行清洗和增强处理，得到增强后的训练数据；基于增强后的训练数据，通过构建差异化数据建立多样化的模型偏好，并利用协同注意力机制和门控机制融合文本和视觉特征进行推理，得到多模态推理结果；根据所述多模态推理结果，进行集成预测，得到题目知识点标签。本发明专利技术通过构建差异化数据来建立多样化的模型偏好，引入的共同注意机制和门控机制，增强跨模态信息的交互，使模型能够更有效地融合文本和视觉特征，提高了知识点标注的准确性和适用性。

【技术实现步骤摘要】

本专利技术属于教育领域题目知识点标注，尤其涉及一种基于多模态的题目知识点标注方法及系统。

技术介绍

1、随着信息技术的飞速发展，多模态技术在各个领域得到了广泛应用。多模态技术是指通过多种感官或多种数据类型来获取和处理信息，其核心在于融合不同模态的数据，以获取更全面、更准确的信息。这种技术在教育、医疗、工业、娱乐等多个行业都展现出了巨大的潜力和价值。例如，在教育领域，多模态技术可以结合文本、图像、音频、视频等多种形式的教学资源，为学生提供更加丰富和个性化的学习体验。在题目标注方面，多模态技术的应用仍处于发展阶段。目前，大多数题目标注主要依赖于单一的文本模态，即通过文字描述来标注相关知识点、解题思路和关键考察点。

2、然而，现有题目标注方法主要依赖单一文本模态，存在明显的局限性。一方面，仅依靠文本描述难以全面准确地传达题目所涉及的知识和应用场景，尤其是对于涉及复杂结构、图形、图表或音频的题目，缺乏直观的多模态呈现可能会影响理解和掌握。另一方面，单一模态的标注难以满足个性化学习的需求，不同学习者可能对不同模态的信息接收和理解能力存在差异，单一文本模态本文档来自技高网...

【技术保护点】

1.一种基于多模态的题目知识点标注方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，

3.根据权利要求1所述的方法，其特征在于，

4.根据权利要求3所述的方法，其特征在于，

5.根据权利要求3所述的方法，其特征在于，

6.根据权利要求5所述的方法，其特征在于，

7.根据权利要求3所述的方法，其特征在于，

8.根据权利要求1所述的方法，其特征在于，

9.一种基于多模态的题目知识点标注系统，其特征在于，用于实施权利要求1-8任一项所述的方法，包括：p>

10.一种...

【技术特征摘要】

1.一种基于多模态的题目知识点标注方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，

3.根据权利要求1所述的方法，其特征在于，

4.根据权利要求3所述的方法，其特征在于，

5.根据权利要求3所述的方法，其特征在于，

6.根据权利要求5所述的方法，其特征在于，

【专利技术属性】
技术研发人员：杨志伟，王垅涛，林惠茹，罗伟其，官全龙，
申请(专利权)人：暨南大学，
类型：发明
国别省市：

全部详细技术资料下载 我是这个专利的主人