一种直播实验教学过程视频标注方法和系统技术方案

本发明专利技术公开了一种直播实验教学过程视频标注方法和系统，属于智能教学领域。包括：分别提取媒体流中的视频信息和音频信息，得到视频流和音频流，媒体流为直播实验教学时实时采集到的符合实验操作人员视角的教学内容；对视频流和音频流分别进行目标识别，同一时间识别结果比对成功后再匹配设备数据库；把匹配到的实验设备信息标注在视频流中对应设备位置后，将标注后视频与原始音频以媒体流的形式进行合成，将标有实验设备信息的媒体流实时推送至学生端。本发明专利技术将老师提及的设备信息标注在拍摄到的视频流上，支持对视频中的物品进行实时识别并标注名称，支持自动理解语音上下文，使学生在观看老师实验演示时，能更好地理解每个设备的用途与操作。

【技术实现步骤摘要】
一种直播实验教学过程视频标注方法和系统
本专利技术属于智能教学
，更具体地，涉及一种直播实验教学过程视频标注方法和系统。
技术介绍
在传统教学模式中，老师站在正前方的讲台上授课，学生则是端正地坐在教室内听讲。随着科技进步和现实制约，现在上课更多的是以网上直播的方式进行教学。具体来说，在线直播教学就是通过网络直播方式表现的某门学科的教学内容及实施的教学活动的总和，是信息时代条件下教学过程新的表现形式。它包括按一定的教学目标、教学策略组织起来的教学内容和网络教学支撑环境。其中，网络教学支撑环境特指支持网络教学的软件工具、教学资源以及在网络教学平台上实施的教学活动。在线直播教学具有交互性、共享性、开放性、协作性和自主性等基本特征。通过直播课堂，老师可以十分方便地在线创建课程并进行授课，学生可以从丰富的课程中选择自己感兴趣的课程进行学习。然而，在线直播教学的教学质量存在着很大的问题。学生往往跟不上老师讲课的进度，一旦落下了一点，就要付出更多的时间进行补救，这一现象在实验教学上表现得尤为明显。往往是老师拿出了某样实验装置，学生无法直观掌握其用途。
技术实现思路
针对现有技术的缺陷和改进需求，本专利技术提供了一种直播实验教学过程视频标注方法和系统，其目的在于在线直播实验教学过程中，能够对老师使用的装置进行有效识别，并给对应的物品加上信息标注，提高在线直播实验教学质量。为实现上述目的，按照本专利技术的第一方面，提供了一种直播实验教学过程视频标注方法，该方法包括以下步骤：S1.分别提取媒体流中的视频信息和音频信息，得到视频流和音频流，所述媒体流为老师直播实验教学时实时采集到的符合实验操作人员视角的教学内容；S2.对视频流和音频流分别进行实验设备识别，同一时间的识别结果比对成功之后再匹配实验设备数据库，保存匹配到的实验设备信息；S3.把实验设备信息标注在视频流中对应的设备位置上后，将标注后视频与原始音频以媒体流的形式进行合成，将标有实验设备信息的媒体流实时推送至学生端。优选地，使用老师佩戴的头戴式穿戴式设备采集媒体流。优选地，对视频流进行实验设备识别，包括以下步骤：(1)抽取视频流中的关键帧；(2)采用训练好的神经网络，对关键帧进行实验设备识别，并记录检测到的实验设备的名称。优选地，神经网络采用SSD算法。优选地，对音频流进行实验设备识别过程为：对获得到的音频信息进行关键词识别，并记录识别到的实验设备的名称。优选地，采用百度的语音SDK进行音频的关键词识别。为实现上述目的，按照本专利技术的第二方面，提供了一种直播实验教学过程视频标注系统，包括：计算机可读存储介质和处理器；所述计算机可读存储介质用于存储可执行指令；所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行第一方面所述的直播实验教学过程视频标注方法。总体而言，通过本专利技术所构思的以上技术方案，能够取得以下有益效果：(1)针对在实验教学上学生往往跟不上老师讲课的进度导致教学质量低下的问题，本专利技术将老师提及的设备信息标注在拍摄到的视频流上，支持对视频中的物品进行实时识别并标注名称，支持自动理解老师语音上下文，判断特定实验装置的参数配置并标注，使得学生在观看老师实验演示的时候，能够更好地理解每个设备的用途与操作。该系统具有极大的独创性和可行性，在现代化的教育体系中非常适用，对当前学生自主学习的智能化有着较高价值。(2)本专利技术使用老师佩戴的头戴式摄像机，这使得拍摄的视频符合实验操作人员的视角(第一视角)，易于被学生理解。(3)对于拍摄到的视频，本专利技术采用流媒体的方式进行传播，整个过程中，视频信息和音频信息的推流拉流，实现在线视频直播，从而来保证整个系统的实时性。(4)针对目前的摄像头技术难以准确识别实验装置的参数(需要摄像头变焦调整来识别装置上的微小读数以及刻度)，本专利技术提出了语音识别与图像识别相结合的目标识别技术路线，有效解决了该问题。附图说明图1为本专利技术提供的一种直播实验教学过程视频标注方法流程图；图2为本专利技术提供的流媒体直播系统拓扑图；图3为本专利技术提供的一种直播实验教学过程视频标注系统结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。如图1所示，本专利技术提供了一种直播实验教学过程视频标注方法，该方法包括以下步骤：步骤S1.分别提取媒体流中的视频信息和音频信息，得到视频流和音频流，所述媒体流为老师直播实验教学时实时采集到的符合实验操作人员视角的教学内容。媒体流由直播实验教学过程中老师佩戴的头戴式穿戴式设备(摄像头与麦克风)实时拍摄到的教学内容。由于直播时老师同时进行讲义讲解时，产生对应音频数据。头戴式穿戴式设备比较轻量级，而且可以给学生展现老师的第一视角。如图2所示，本专利技术通过一个一级服务器和两个二级服务器实现基本的流媒体直播系统。摄像头为海康威视的1080p高清网络摄像头。直播系统整个运作过程如下：网络摄像头拍摄到实验台信息，然后推流到一级服务器，一级服务器对收到的视频流进行保存本地工作，同时对收到的视频流进行处理。随后一级服务器把视频流推流到二级服务器，二级服务器会对收到的视频流存本地工作，同时还会为收到的视频流进行转码工作。用户端根据现有网络带宽进行拉流，可以选择不同清晰度的视频拉流。在推流端，可以对网络摄像头拍到的视频进行推流。在一级服务器处，执行目标检测SSD(SingleShotMultiBoxDetector)算法。步骤S2.对视频流和音频流分别进行实验设备识别，同一时间的识别结果比对成功之后再匹配实验设备数据库，保存匹配到的实验设备信息。为了保证实时性，需要对获得的视频流实时处理，所以需要推流与目标检测之间同时进行。对视频流进行实验设备识别，包括以下步骤：(1)抽取视频流中的关键帧；在本专利技术中，关键帧是指H.264流中的I帧。(2)采用训练好的神经网络，对关键帧进行实验设备识别，并记录检测到的实验设备的名称。对要用到的实验设备从不同的角度拍摄一组照片，然后对照片用物体名称(标签)进行命名，作为实验设备训练集，使用实验设备训练集训练神经网络，使得老师课堂上所用到的实验设备能够被神经网络精准地识别。本实施例采用目标检测SSD算法，训练完成后SSD算法可以识别出特定的实验设备，并获取各实验设备的位置信息。该算法的快速性可支持实时的视频流直播。SSD算法在一些公开的数据集比如PASCLAVOC、COCO还有ILSVRC中SD算的准确性都得到了验证。该算法运行速度更快，对于512*512大小图片的输入，SSD算法甚至超越了更先进的R-CNN模本文档来自技高网...

【技术保护点】
1.一种直播实验教学过程视频标注方法，其特征在于，该方法包括以下步骤：/nS1.分别提取媒体流中的视频信息和音频信息，得到视频流和音频流，所述媒体流为老师直播实验教学时实时采集到的符合实验操作人员视角的教学内容；/nS2.对视频流和音频流分别进行实验设备识别，同一时间的识别结果比对成功之后再匹配实验设备数据库，保存匹配到的实验设备信息；/nS3.把实验设备信息标注在视频流中对应的设备位置上后，将标注后视频与原始音频以媒体流的形式进行合成，将标有实验设备信息的媒体流实时推送至学生端。/n

【技术特征摘要】
1.一种直播实验教学过程视频标注方法，其特征在于，该方法包括以下步骤：
S1.分别提取媒体流中的视频信息和音频信息，得到视频流和音频流，所述媒体流为老师直播实验教学时实时采集到的符合实验操作人员视角的教学内容；
S2.对视频流和音频流分别进行实验设备识别，同一时间的识别结果比对成功之后再匹配实验设备数据库，保存匹配到的实验设备信息；
S3.把实验设备信息标注在视频流中对应的设备位置上后，将标注后视频与原始音频以媒体流的形式进行合成，将标有实验设备信息的媒体流实时推送至学生端。


2.如权利要求1所述的方法，其特征在于，使用老师佩戴的头戴式穿戴式设备采集媒体流。


3.如权利要求1或2所述的方法，其特征在于，对视频流进行实验设备识别，包括以下步骤：
(1)抽取视频流中的关键...

【专利技术属性】
技术研发人员：刘威，库翱，向敏，徐晶，许炜，程文青，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42