【技术实现步骤摘要】
本专利技术涉及思政教育领域，具体为多模态知识图谱处理方法、系统、电子设备及存储介质。
技术介绍
1、思政教育在培养学生全面发展、提升教育教学质量、服务国家发展战略等方面具有重要意义，然而，在实际教学中也面临着一些问题和挑战，主要表现为教学内容和方式单一，学生产生抵触心理，课程时间有限，教师无法深入讲解，学生难以形成认知。
技术实现思路
1、有鉴于此，本专利技术的目的在于提供多模态知识图谱处理方法、系统、电子设备及存储介质以解决教学课程内容单一问题，同时节约教师课程课件制作时间，让教师有更多时间探索思政教育实践活动。
2、为实现上述目的，本专利技术提供如下技术方案：多模态知识图谱处理方法，包括：
3、s1. 基于不同模态知识数据，经知识抽取、知识融合、知识加工建立课程知识图谱；基于不同模态知识数据中的图像数据，经图像处理、数据标注，训练目标检测神经网络；基于不同模态知识数据中的视频数据，经数据处理、数据标注，训练行为检测神经网络；基于不同模态知识数据中的语音数据，经数据预处理、特征提取后，训练语音识别模型，同时训练典型人物声音模型；其中，训练的目标检测神经网络检测类别、声音模型模拟的声音所属人物均能够与课程知识图谱中的知识实体相关联，语音识别模型能够识别人声并输出文本信息可以实现通过文本建立语音输入与知识图谱的联系；
4、s2. 教师制作课程基本框架，所述方法按顺序进行课程框架读取，其中，文本数据采用自然语言处理方法进行知识点抽取后基于课程知识图谱
5、s3. 学生可以进行提问，所述多模态知识图谱处理方法基于课程知识图谱进行知识搜索，完成问题回答；
6、s4. 采集课堂学生反馈问题量，并将采集的问题量标记为a；采集课堂中学生动作特征，基于行为检测神经网络进行检测并将检测结果进行专注度分析，将其标记为b；记录学生测试成绩并标记为c；通过公式：y=k1a+k2b+k3c对教学课程知识补全所用知识进行评估，其中，k1、k2、k3表示权重，设定阈值，大于阈值的知识表示受学生欢迎，对该部分知识进行标注并反馈，增大该知识的权重，优化知识搜索的结果。
7、优选地，所述不同模态知识数据至少包括：教育教学资源、网络数据资源以及学校实地采集特色资源的图像、视频、语音、文本数据。
8、优选地，教师课程框架语音数据包括：课程音频资料、教师口述课程框架。
9、优选地，目标检测神经网络检测的目标类别至少包括：典型人物、典型事件。
10、优选地，行为检测至少包括：点头、抬头。
11、优选地，知识补全设置知识搜索的深度以控制课程发散程度。
12、进一步地，s3学生提问的方式至少包括：语音、文本、图文方式。
13、进一步地，问题回答方式至少包括：语音作答、文本作答、图片作答、多媒体影音图像辅助作答以及以上方式的混合作答。
14、更进一步地，语音作答时，当知识推理的答案涉及具体人物时，声音模型使用对应的人物声音进行问题回答，增强回答渲染力以及学生代入感，当知识推理的答案涉及具体事件时，问题回答时以对应事件在知识数据中的声音数据作为背景音乐进行作答。
15、优选地，基于教师基本课程框架进行知识补全还生成课程思维导图。
16、同时，本专利技术还提供多模态知识图谱处理系统，系统包括：知识模块、扫描模块、语音模块、展示模块、推理模块、反馈模块以及存储模块，知识模块基于课程知识图谱完成知识搜索功能，扫描模块完成所述教师课程基本框架的扫描工作，语音模块包括语音识别与声音模型，完成提问时的语音识别、教师课程框架中的语音数据识别以及回答问题时的人物声音模拟输出功能，展示模块完成知识补全后课程展示、课程思维导图展示，推理模块完成教师课程基本框架知识补全推理以及提问时的知识推理功能，反馈模块接收学生反馈问题量、课程中学生专注度以及学生测试成绩并对课程知识补全所用知识进行评估并反馈到知识模块，存储模块完成所有中间数据以及结果数据的存储，其中结果数据至少包括教师课程框架、知识补全后的课程内容、课程思维导图。
17、进一步地，本专利技术提供一种电子设备，包括语音接收与播放器、存储器、处理器，语音接收与播放器接收学生提问或教师课程框架中的语音数据并在语音作答时进行搜索答案播放，存储器存储上述系统代码及数据，处理器完成处理方法所述的数据处理功能。
18、进一步地，本专利技术提供一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上文所述地多模态知识图谱处理方法的步骤。
19、与现有技术相比，本专利技术的有益效果是：
20、1、本专利技术基于多种模态数据获得不同算法模型，通过对算法模型地组合应用，可以基于教师构思的基本课程框架，通过模型解析，获得课程框架信息并基于课程知识图谱进行课程内容的丰富，由于知识图谱包含图像、语音、视频、文本等多种模态数据，因此最终丰富的课程内容将不局限于文本，能够在课堂上给学生呈现出图文影音等多种形式内容，增加课程吸引力，同时，由于课程内容基于知识图谱推荐系统自动丰富，可以有效节约教师课件制作时间，特别是课程框架可以接收教师音频输入，因此能够显著节省课件制作时间，让教师有更多时间探索教育实践活动。
21、2、不管是课前、课中还是课后，本专利技术可以及时对学生问题进行回答，且提供丰富的回答模式，当学生接收语音作答模式且学生问题涉及具体人物时，本方法与系统会模仿相应人物声音进行作答，当学生问题涉及具体事件时，本专利技术回答时将自动匹配事件音乐，给学生沉浸式体验，加深学生课程印象。
22、3、本专利技术收集学生反馈问题量、学生课上专注度以及学生测试成绩并反馈到知识图谱中，不断优化知识搜索结果，使得课程知识补充的内容越来越受学生欢迎，通过不断迭代优化，最终实现基于知识图谱推荐系统搜索并补全的课程内容越来越受学生欢迎，提升学生上课的抬头率、点头率。
本文档来自技高网...【技术保护点】
1.多模态知识图谱处理方法，其特征在于：
2.根据权利要求1所述的多模态知识图谱处理方法，其特征在于：所述不同模态知识数据至少包括：教育教学资源、网络数据资源以及学校实地采集特色资源的图像、视频、语音、文本数据。
3.根据权利要求1所述的多模态知识图谱处理方法，其特征在于：教师课程框架语音数据包括：课程音频资料、教师口述课程框架。
4.根据权利要求3所述的多模态知识图谱处理方法，其特征在于：目标检测神经网络检测的目标类别至少包括：典型人物、典型事件。
5.根据权利要求4所述的多模态知识图谱处理方法，其特征在于：行为检测至少包括：点头、抬头。
6.根据权利要求5所述的多模态知识图谱处理方法，其特征在于：知识补全设置知识搜索的深度以控制课程发散程度。
7.根据权利要求6所述的多模态知识图谱处理方法，其特征在于：S3学生提问的方式至少包括：语音、文本、图文方式。
8.根据权利要求7所述的多模态知识图谱处理方法，其特征在于：问题回答方式至少包括：语音作答、文本作答、图片作答、多媒体影音图像辅助作答以及以上
9.根据权利要求8所述的多模态知识图谱处理方法，其特征在于：语音作答时，当知识推理的答案涉及具体人物时，声音模型使用对应的人物声音进行问题回答，增强回答渲染力以及学生代入感，当知识推理的答案涉及具体事件时，问题回答时以对应事件在知识数据中的声音数据作为背景音乐进行作答，带给学生沉浸式体验。
10.根据权利要求9所述的多模态知识图谱处理方法，其特征在于：基于教师基本课程框架进行知识补全还生成课程思维导图。
11.多模态知识图谱处理系统，系统实现权利要求1-10任一项所述的多模态知识图谱处理方法，系统包括：知识模块、扫描模块、语音模块、展示模块、推理模块、反馈模块以及存储模块，其特征在于：知识模块基于课程知识图谱完成知识搜索功能，扫描模块完成所述教师课程基本框架的扫描工作，语音模块包括语音识别与声音模型，完成提问时的语音识别、教师课程框架中的语音数据识别以及回答问题时的人物声音模拟输出功能，展示模块完成知识补全后课程展示、课程思维导图展示，推理模块完成教师课程基本框架知识补全推理以及提问时的知识推理功能，反馈模块接收学生反馈问题量、课程中学生专注度以及学生测试成绩并对课程知识补全所用知识进行评估并反馈到知识模块，存储模块完成所有中间数据以及结果数据的存储，其中结果数据至少包括教师课程框架、知识补全后的课程内容、课程思维导图。
12.一种电子设备，其特征在于：包括：
13.一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，其特征在于：所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1-10任一项所述的多模态知识图谱处理方法的步骤。
...【技术特征摘要】
1.多模态知识图谱处理方法，其特征在于：
2.根据权利要求1所述的多模态知识图谱处理方法，其特征在于：所述不同模态知识数据至少包括：教育教学资源、网络数据资源以及学校实地采集特色资源的图像、视频、语音、文本数据。
3.根据权利要求1所述的多模态知识图谱处理方法，其特征在于：教师课程框架语音数据包括：课程音频资料、教师口述课程框架。
4.根据权利要求3所述的多模态知识图谱处理方法，其特征在于：目标检测神经网络检测的目标类别至少包括：典型人物、典型事件。
5.根据权利要求4所述的多模态知识图谱处理方法，其特征在于：行为检测至少包括：点头、抬头。
6.根据权利要求5所述的多模态知识图谱处理方法，其特征在于：知识补全设置知识搜索的深度以控制课程发散程度。
7.根据权利要求6所述的多模态知识图谱处理方法，其特征在于：s3学生提问的方式至少包括：语音、文本、图文方式。
8.根据权利要求7所述的多模态知识图谱处理方法，其特征在于：问题回答方式至少包括：语音作答、文本作答、图片作答、多媒体影音图像辅助作答以及以上方式的混合作答。
9.根据权利要求8所述的多模态知识图谱处理方法，其特征在于：语音作答时，当知识推理的答案涉及具体人物时，声音模型使用对应的人物声音进行问题回答，增强回答渲染力以及学生代入感，当知识推理的答案涉及具体事件时，问题回答时以对...
【专利技术属性】
技术研发人员：杨锐，张骏泽，丁敏，鲍绍武，尹金，胡贵恒，陈翠红，范生万，王佳佳，曹旭，娄建顺，张胜男，
申请(专利权)人：安徽工商职业学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。