课堂录像中教师黑板书写动作的自动识别方法技术

课堂录像中教师黑板书写行为的自动识别方法，属于远程教育系统中的图像识别技术，其处理步骤为：ａ．使用采集卡采集一帧图像，用当前帧与前一帧做图像相减运算，得到二值化的帧差图像并进行分析；ｂ．对二值帧差图像做数学形态学中的闭运算处理之后，再进行连通区域标记，通过设置阈值，去除二值帧差图像中较为明显的噪声区域；ｃ．获取目标矩形框并计算矩形的面积，当矩形面积满足一定条件时，判断为有人体运动，则对教师板书行为进行检测及识别；ｄ．若连续检测到了写黑板行为超过５帧图像时，则对摄像机进行拉伸处理；ｅ．若连续检测不到写黑板行为超过５０帧图像时，则把摄像机的拉伸倍数还原为初始倍数。

【技术实现步骤摘要】

本专利技术是一种课堂录像中教师黑板书写动作的自动识别算法，属于远程教育系统中的图像识别技术。
技术介绍
远程教育作为一种有效而经济的学习方式，得到越来越多的认同。而制约远程教 育发展的一个关键因素之一是课程视频资源的缺乏，其原因是较为繁琐的教学现场视频的 人工摄制过程。目前，拍摄教学视频需要专门的摄像师到教室里去全程拍摄，或者教师在专 门的录制教室进行授课，成本比较高。因此，使摄制设备自动化、智能化，不需要专门的摄影 师的参与，能方便摆放在普通教室，具有广泛的应用前景。 要实现教学过程的自动录播，智能视频分析是其核心技术，包括目标检测、目标跟 踪及行为识别等。目标检测利用视频中运动或特征的信息，检测出视频中的目标，属于低级 视频处理。目标跟踪根据目标检测的结果，对特定的目标进行跟踪，属于中级视频处理。行 为识别对跟踪目标的行为进行识别，属于高级视频处理。 在用于远程教学的视频分析中，在对拍摄的主要目标——教师进行定位、跟踪之 后，还需要对视频中的教师的行为进行识别，使摄像机自动对不同的行为做出不同的反应， 获得改好的摄像效果。其中，教师写黑板(在黑板上书写文字或绘图)的动作是课堂教学 中最常见的重要行为之一，如果检测到教师正在写黑板，则摄像头聚焦在以板书的手为中 心的黑板上，使黑板上书写的内容清晰可见。当检测到写黑板结束后，则摄像机恢复原来的 状态。
技术实现思路
技术问题本专利技术的目的是提供一种课堂录像中教师黑板书写动作的自动识别 方法，在准确地找到教师的位置后，判断教师是否有写黑板的动作，如果有则进行摄像机拉 伸。问题的实质是在教师板书的目标区域中，根据教师写板书通常右上部动作较大的特点 来比较运动目标各部分的运动量大小，并由此判断教师是否在板书以及拉伸摄像机。 技术方案本专利技术的包括以下步 骤 a.使用采集卡采集一帧图像，用当前帧与前一帧做图像相减运算，得到二值化的 帧差图像并进行分析； b.对二值帧差图像做数学形态学中的闭运算处理之后，再进行连通区域标记，通 过设置阈值，去除二值帧差图像中较为明显的噪声区域； c.获取目标矩形框并计算矩形的面积，当矩形面积满足所定条件时，判断为有人 体运动，则对教师板书行为进行检测及识别； d.若连续检测到了写黑板行为超过5帧图像时，则对摄像机进行拉伸处理； e.若连续检测不到写黑板行为超过50帧图像时，则把摄像机的拉伸倍数还原为初始倍数。在所述的二值帧差图像中，判断教师写黑板动作的运动量的方法为 1)帧差图像分析帧差图像分析的对象为目标人体的外接矩形框，是对运动目标的检测结果，首先对帧差图像做数学形态学中的闭运算处理，然后对处理后的结果进行连通区域标记，去除二值帧差图像中的噪声；当某个连通区域的像素点个数小于1000时，认为该区域为噪声区域，此时，在二值帧差图像中组成目标人体的黑色像素点，其余部分均为白色像素点，遍历整个二值帧差图像中所有黑色像素点的坐标，并在这些坐标当中分别找出水平和垂直方向的最大和最小坐标值，确定目标人体外接矩形框的左上角顶点A、右上角顶点B、右下角顶点C、左下角顶点D的坐标，当矩形面积在3000到10000之间时，就说明教师有可能在写黑板； 2)划分运动区域教师正在写黑板的姿态一般是举起右手，手部有较大的运动而 其他部位动作很小，因此首先要将目标人体外接矩形框分成几个区域，由于写黑板的动作 是教师背向摄像头伸出手去写板书，而教师朝右上方向伸出去板书的手与身体通常满足一 定比例，因此可以在腋下部位附近确定一个分割特征点G，通过分割特征点G分别做水平和 垂直方向的直线，并与外接矩形框相交，从而可以将外接矩形框分为4个矩形区域； 选择100幅教师板书时的图像作为样本，计算出每幅图像中的手部宽度像素值和 手部高度像素值，并对所有样本求平均值就可以大致算出Hh和Hw，再由已经获得的外接矩 形框四个顶点的坐标，就可以计算出特征分割点G的坐标，在确定了特征分割点G的坐标以 后，过分割点的水平和垂直方向直线与外接矩形框左、右、上、下四条边的交点E、 F、 H、 I的 坐标也随之确定，从而由目标人体外接矩形框得到四个运动区域，其中外接矩形框的右上 部分区域包含了教师伸出去写黑板的手，整个左侧部分包含了教师的身体； 3)判断运动量根据划分好的4个运动区域，分别计算出各个区域的运动量，某区 域的运动量可以由二值帧差图像中该区域值为1的像素的个数来描述，而教师写黑板的姿 态反映为目标人体外接矩形框中的右上区域有较大的运动，而右下区域基本上没有运动， 左下和左上区域仅有少量运动； 因此当各区域的运动量满足以下三个条件的时候，判断此时视频中的目标人体正 在写黑板 a.右上的手部区域HBFG的运动量比右下空白区域GFCI的运动量大； b.左下的身体区域EGID的运动量比右下空白区域GFCI的运动量大； c.右上的手部区域HBFG有一定的运动量，即手部区域运动量与该区域面积的比值达到一定的比例。 有益效果本专利技术利用比较运动量的方法判断教师板书行为不仅计算量小，而且 在判断出教师的板书行为的同时，可以将板书内容放大到一个合适的比例，使得录播系统 能够为学习者提供一种清晰并直观的感觉。 1.由于采用本专利技术的远程教育自动录播系统中的摄像机是移动的，所以场景变化 用帧差法来进行运动检测不需要考虑特定背景，具有更好的效果。 2.比较各部分运动量是比较两幅图像各部分区域中颜色差距比较大的象素个数， 即比较帧差图像各部分区域中运动象素的个数。该方法计算量较少且结果精确，适于实时 检测。 3.当检测到有板书时，在不同场景中可自适应地根据比例系数拉伸来达到清晰的 效果，适用于大多数远程教育系统。附图说明 图1写黑板时的帧差图， 图2帧差图像分析， 图3写黑板行为识别算法的流程图。具体实施例方式要对教师写黑板这个行为进行识别，必须要对写黑板这个行为的特点进行分析， 用数学语言描述这个特点，然后设计一个分类器，来判断视频中的教师是否在写黑板。教师 正在写黑板的姿态一般是举起右手在黑板板书，其特征是教师的手部有较大的运动而身体 其他部位动作很小，因此有必要先将目标人体外接矩形框分成4个区域。其中包含手部的 右上角区域有较大的运动，而右下角的空白区域基本上没有运动，左下角的身体部分也有 轻微的运动。计算目标人体外接矩形框中各区域的运动量并比较各个区域之间运动量，由 此判断教师是否在板书以及拉伸摄像机。若连续检测到了写黑板行为超过5帧图像时，则 对摄像机进行拉伸处理；若连续检测不到写黑板行为超过50帧图像时，则把摄像机的拉伸 倍数还原为初始倍数。 对视频中的人体行为进行识别就是对视频中的运动行为进行分析，而帧间差分图 像能很好地反映视频中的运动信息，常用来描述视频中的运动信息。帧间差分图像是相邻 两帧视频图像进行图像相减运算(差值的绝对值)而得到的图像 Dk(x， y) = |fk—Jx， y)-fk(x， y) I (1) 由于自然图像存在或多或少的噪声，在直接进行图像相减得到的帧间差分图像 中，噪声和运动区域存在明显差别。有必要采用一个固定的阈值对帧间差分图像进行二值 化，得到二值化的帧差图像(如图1所示) 在式(2)中，Th的大小问题要根据运动的程度确定。若Th太大，本文档来自技高网...

【技术保护点】
一种课堂录像中教师黑板书写动作的自动识别方法，其特征在于该方法包括以下步骤：　　　　ａ．使用采集卡采集一帧图像，用当前帧与前一帧做图像相减运算，得到二值化的帧差图像并进行分析；　　　　ｂ．对二值帧差图像做数学形态学中的闭运算处理之后，再进行连通区域标记，通过设置阈值，去除二值帧差图像中较为明显的噪声区域；　　　　ｃ．获取目标矩形框并计算矩形的面积，当矩形面积满足所定条件时，判断为有人体运动，则对教师板书行为进行检测及识别；　　　　ｄ．若连续检测到了写黑板行为超过５帧图像时，则对摄像机进行拉伸处理；　　　　ｅ．若连续检测不到写黑板行为超过５０帧图像时，则把摄像机的拉伸倍数还原为初始倍数。

【技术特征摘要】
一种课堂录像中教师黑板书写动作的自动识别方法，其特征在于该方法包括以下步骤a.使用采集卡采集一帧图像，用当前帧与前一帧做图像相减运算，得到二值化的帧差图像并进行分析；b.对二值帧差图像做数学形态学中的闭运算处理之后，再进行连通区域标记，通过设置阈值，去除二值帧差图像中较为明显的噪声区域；c.获取目标矩形框并计算矩形的面积，当矩形面积满足所定条件时，判断为有人体运动，则对教师板书行为进行检测及识别；d.若连续检测到了写黑板行为超过5帧图像时，则对摄像机进行拉伸处理；e.若连续检测不到写黑板行为超过50帧图像时，则把摄像机的拉伸倍数还原为初始倍数。2. 根据权利要求1所述的课堂录像中教师黑板书写动作的自动识别方法，其特征为在 所述的二值帧差图像中，判断教师写黑板动作的运动量的方法为1) 帧差图像分析帧差图像分析的对象为目标人体的外接矩形框，是对运动目标的检 测结果，首先对帧差图像做数学形态学中的闭运算处理，然后对处理后的结果进行连通区 域标记，去除二值帧差图像中的噪声；当某个连通区域的像素点个数小于1000时，认为该 区域为噪声区域，此时，在二值帧差图像中组成目标人体的黑色像素点，其余部分均为白色 像素点，遍历整个二值帧差图像中所有黑色像素点的坐标，并在这些坐标当中分别找出水 平和垂直方向的最大和最小坐标值，确定目标人体外接矩形框的左上角顶点A、右上角顶点 B、右下角顶点C、左下角顶点D的坐标，当矩形面积在3000到10000之间时，就说明教师有 可能在写黑板；2) 划分运动区域教师正在写黑板的姿态一般是举起右手，手部有较大的运动而其他 部位...

【专利技术属性】
技术研发人员：詹学峰，朱秀昌，洪红，梁国山，干宗良，唐贵进，蔡旻，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：84[中国|南京]