一种双摄像机交互式智能跟踪教学系统技术方案

本发明专利技术公开了一种双摄像机交互式智能跟踪教学系统，包括图像采集模块、摄像机控制模块、用户界面交互模块、线程交互模块、教师跟踪模块、学生检测模块、学生跟踪模块。在教学过程中，控制主机通过双路图像采集卡实时获取教师与学生摄像机的拍摄图像，通过利用基于图像处理技术的跟踪算法和检测算法的计算结果，选择适当的控制策略，合理安排信号之间的相互切换，并快速灵活准确的实现现场摄像机的摇摆和俯仰、缩放和聚焦等功能，保证教师时刻处于拍摄画面的适当位置，实现了对教师自动跟踪定位、学生全景显示及提问检测和板书时给予特写镜头等功能，从而实现了跟踪抗外界干扰、动作无特定限制、拍摄无专人值守的自动智能跟踪教学系统。

【技术实现步骤摘要】

本专利技术涉及了一种结合图像采集、运动目标检测与跟踪以及摄像机控制等技术的交互式智能跟踪教学系统，属于计算机视觉教学

技术介绍
受教育部大力推广的农远工程启发，依托现代互联网技术的高速发展，包括学习方式的改变、E-1earning技术空前的发展与应用，网络教学的日益普及等，近年来智能跟踪教学系统逐渐在我国各大中小学课堂教学中获得推广，成为教学技能培训的主要形式之一。随着近年来图像处理及计算机视觉理论中目标跟踪技术研究的快速发展，以及计算机和相关硬件设备日新月异的技术更新速度和生产成本的降低，智能跟踪教学系统不仅能让每个普通教师在不受任何约束授课的同时拍摄实时跟踪图像，而且拥有提供了各类界面接口，便于操作的优势，在各教学培训领域获得了更为广泛的需求和应用。例如，在广大中小学校的日常教学中，教师可以按照平时的教学习惯进行授课，系统将会自动对其运动特征进行分析计算，通过高效稳定的跟踪策略保证教师时刻处于拍摄画面的适当区域，然后将教师授课以及与学生互动交流的过程制作成多媒体文件(课件、教学资源等)，借助于网络教学和远程点播等教学平台，可以为边远地区学生提供优质的教学资源，并且该系本文档来自技高网...

【技术保护点】
一种双摄像机交互式智能跟踪教学系统，其特征在于包括：图像采集模块、摄像机控制模块、用户界面交互模块、线程交互模块、教师跟踪模块、学生检测模块、学生跟踪模块；图像采集模块：使用双路图像采集卡可实时而独立的分别对教师摄像机与学生摄像机采集图像，然后将采集到的图像按帧存储在系统内存中，其中将教师摄像机采集到的图像作为教师跟踪模块或学生跟踪模块的输入图像，将学生摄像机所采集到的图像作为学生检测模块的输入图像；当摄像机控制模块接收到对教师或学生摄像机产生运动控制的指令时，图像采集模块会通过更新采集到的图像，在用户界面交互模块的显示窗口中进行实时显示；摄像机控制模块：在手动跟踪模式下，操作者针对需要观察的...

【技术特征摘要】
1.种双摄像机交互式智能跟踪教学系统，其特征在于包括:图像采集模块、摄像机控制模块、用户界面交互模块、线程交互模块、教师跟踪模块、学生检测模块、学生跟踪模块； 图像采集模块:使用双路图像采集卡可实时而独立的分别对教师摄像机与学生摄像机采集图像，然后将采集到的图像按帧存储在系统内存中，其中将教师摄像机采集到的图像作为教师跟踪模块或学生跟踪模块的输入图像，将学生摄像机所采集到的图像作为学生检测模块的输入图像；当摄像机控制模块接收到对教师或学生摄像机产生运动控制的指令时，图像采集模块会通过更新采集到的图像，在用户界面交互模块的显示窗口中进行实时显示; 摄像机控制模块:在手动跟踪模式下，操作者针对需要观察的区域，只需在界面交互模块的画面显示窗口中，使用鼠标左键单击该区域，便可向教师摄像机发送控制指令，使其快速稳定的转至该区域，控制鼠标滑轮向前滑动时，对该区域进行放大查看，向后滑动时，可扩大所观察的区域范围；在自动跟踪模式下，线程交互模式中所包含的教师跟踪模块、学生跟踪模块和学生检测模块可依据相应判断策略在教师跟踪、学生检测以及学生跟踪流程间协调切换并进行计算，依据其得到的结果来实现对教师摄像机与学生摄像机的独立控制功能，包括教师跟踪期间对教师摄像机的摆动和缩放控制、学生起立回答问题时对学生给予特写镜头等动作； 用户界面交互模块:为用户对系统的运行与操作提供界面支持，包括初始化参数设置单元、跟踪方式的选择以及对图形采集模块中教师摄像机与学生摄像机所拍摄图像的实时显示；其中，初始参数设置界面包括对教师身高信息，教室长、高尺寸参数的录入，并依据系统安装的几何关系计算并返回具体的安装参数。另一方面，根据教师身高能够对教师自动跟踪时的初始位置进行自动设置；然后将每一帧由图像采集模块采集到的图像在指定的画面显示窗口中进行实时显示，以便用户能对教师跟踪、学生跟踪以及学生检测的结果进行最直观的观察；跟踪方式提供两种选择:手动跟踪方式与自动跟踪方式，当选择手动跟踪方式时，针对实际应用要求，可在教师摄像机的拍摄显示窗口中，根据相应的规则，简单操作鼠标便可完成用户与系统 之间的交互功能，达到对教室任意区域缩放查看的目的；当选用自动跟踪方式时，在初始参数设置完毕后，点击“开始运行”按钮后，系统的运行以及对于线程交互模块、摄像机控制模块以及图像采集模块的操作都是自动进行，无需额外的人为操作，方便简洁； 线程交互模块:当系统选择自动跟踪模式，并且点击“开始运行”按钮后，对于从教师摄像机中采集到的彩色图像将传递给教师跟踪模块，经过特征区域识别、模板提取、建立混合高斯模型、建立目标颜色直方图、极大似然估计(EM)、卡尔曼滤波预测搜索目标等步骤后，即可获得教师具体的运动信息与位置参数，并根据所设计的教师跟踪策略来实现对教师摄像机摆动、缩放与调节焦距等动作的控制；对于从学生摄像机中采集到的彩色图像，将其传递给学生检测模块，经过颜色空间转换、平滑处理、阈值化处理、高斯动态背景处理后，得到学生运动的检测结果，并据此实现对学生摄像机的相关动作控制的功能；当学生检测模块检测到学生上讲台板书回答问题时，通过向线程交互模块发送消息，切换教师跟踪模块至学生跟踪模块，...

【专利技术属性】
技术研发人员：王睿，梅磊，徐瑞，刘玉明，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：