一种黑板笔迹自动合成方法技术

本发明专利技术公开了一种黑板笔迹自动合成方法，属于数据处理技术领域，包括采用一种黑板笔迹自动合成方法，包括如下步骤：通过摄像机实时采集包含黑板区域的图像，并在图像中检测黑板外框，对黑板进行定位；在检测出黑板位置后，根据图像中的黑板区域进行背景建模，得到背景图像；将摄像机当前采集到的图像与背景图像进行逐像素比对，得到前景像素；利用线条提取算法，对前景像素进行处理，以从当前采集到的图像中提取出文字笔迹；将连续多帧图像笔迹内容进行叠加，得到黑板上的笔记。本发明专利技术能自动检测到老师板书时新书写的内容，提取黑板中的文字信息，极大的提高了教学质量。 1

A method of automatic synthesis of blackboard handwriting

The invention discloses an automatic synthesis method of blackboard handwriting, which belongs to the field of data processing technology, including a blackboard handwriting automatic synthesis method, including the following steps: collecting the image containing the blackboard area through the camera in real time, detecting the blackboard outer frame in the image, locating the blackboard, and detecting the blackboard in the image. After the location, the background image is obtained according to the background of the blackboard area in the image. The foreground pixels are obtained by comparing the image and background image of the camera to the background image, and the line extraction algorithm is used to process the foreground pixels, and the written handwriting is extracted from the image collected at the present time. Continuous multi frame image handwriting content is superimposed to get notes on the blackboard. The invention can automatically detect the contents of the new book written on the teacher's blackboard writing, and extract the text information in the blackboard, thus greatly improving the teaching quality. One

【技术实现步骤摘要】
一种黑板笔迹自动合成方法
本专利技术涉及数据处理
，特别涉及一种黑板笔迹自动合成方法。
技术介绍
在传统的课堂录播系统中，相机的视野、位置等都是固定的。当教师在讲台上走动时，相机并不能跟随教师移动，因此很容易出现无法拍摄到教师的情形。此外，当课堂中教师和学生发生互动时，相机不能转动，不能对学生进行拍摄，从而失去了课堂的生动灵活性。降低了录制的视频的效果。
技术实现思路
本专利技术的目的在于提供一种可提高教学质量的黑板笔迹自动合成方法。为实现以上目的，本专利技术采用的技术方案为：采用一种黑板笔迹自动合成方法，包括如下步骤：通过摄像机实时采集包含黑板区域的图像，并在图像中检测黑板外框，对黑板进行定位；在检测出黑板位置后，根据图像中的黑板区域进行背景建模，得到背景图像；将摄像机当前采集到的图像与背景图像进行逐像素比对，得到前景像素；利用线条提取算法，对前景像素进行处理，以从当前采集到的图像中提取出文字笔迹；将连续多帧图像笔迹内容进行叠加，得到黑板上的笔记。优选地，所述通过摄像机实时采集包含黑板区域的图像，并在图像中检测黑板外框，对黑板进行定位，具体包括：利用Canny边缘检测算子，提取黑板区域图像的边缘；遍历所有边缘的像素，并利用Hough直线检测方法，得到直线以及直线对应的方程；对长度大于预设个数像素的直线进行分析，得到共线的两条直线，其中，预设个数的像素设为50个；对于两条共线的直线，计算该两条直线对应的边缘像素的最短距离；在该最短距离小于预设个数像素时，将该两条直线融合为一条直线作为边界线，其中，预设个数的像素设为50个；对得到的所有边界线进行分析，在边界线构成四边形时则确定黑板定位。优选地，所述在检测出黑板位置后，根据图像中的黑板区域进行背景建模，得到背景图像，具体包括：在确定黑板位置后，从图像中提取出黑板区域；将黑板区域等间隔分割成6×6个子区域图像；检测每个子区域图像内部是否存在笔迹；对于不存在笔迹的子区域图像，直接更新到背景图像中该子区域对应的位置以得到背景图像。优选地，所述将摄像机当前采集到的图像与背景图像进行逐像素比对，得到前景像素，具体包括：将摄像机当前采集的图像与所述背景图像进行逐像素对比；若在某个像素位置，当前采集的图像与背景图像之间的亮度差值大于设定的亮度值，则将该像素检测出来；对检测出的像素进行中值滤波处理，得到准确的前景像素。优选地，所述利用线条提取算法，对前景像素进行处理，以从当前采集到的图像中提取出文字笔迹，具体包括：对所述前景像素进行逐行水平扫描，并记录线条的左右边界；在同一行中，若线条左、右边界的距离小于3个像素，则保留下这两个边界的位置；对所有行的线条的左、右边界进行分析，得到平滑的线条；将当前采集图像中所有连续的、平滑的边界线条提取出来；在所有连续的、平滑的边界线条中，将对应的左右边界线条形成连通域，得到对应的文字笔迹。优选地，所述将连续多帧图像笔迹内容进行叠加，得到黑板上的笔记，具体包括：将连续的每一帧笔迹像素内容，逐个叠加到一张全黑的图像中，得到累加图像；采用中值滤波对累加图像进行噪声过滤处理，并对处理后的图像进行连通域提取；将距离小于2个像素的连通域连接起来，成为完整的文字作为笔迹。优选地，在所述将连续多帧图像笔迹内容进行叠加，得到黑板上的笔记之前，还包括：根据前后帧黑板区域图像的文字笔迹内容变化，判断是否发生擦除动作；若发生擦除动作，则将发生擦除动作前的连续多帧图像笔迹内容进行叠加，得到黑板上的笔记。优选地，还包括对所述黑板上的笔记进行识别，将其转录成数字内容，其具体包括：对黑板上的文字进行文字行定位，得到多个文字行；在每个文字行内，对单个的文字进行分割，对每个文字定位；将每一个文字对应的图像块进行归一化处理，缩放至同样的尺寸；采用事先训练好的深度卷积神经网络对文字图片进行特征提取、字符分类操作，得到对应的数字文字识别结果。优选地，所述对黑板上的文字进行文字行定位，得到多个文字行，具体包括：A1)根据设定的文字行高数值对黑板上的文字版面进行二值化处理，得到笔迹图；A2)将得到的笔迹图进行行投影，得到一条投影曲线；A3)根据预先建立的波谷高斯模型，在投影曲线上检测出波谷的位置；A4)将所有检测到的波谷位置提取出来，将两个相邻波谷之间作为一个文字行；A5)重复执行步骤A1)至A4)，得到所述黑板上所有文字的文字行位置。优选地，所述在每个文字行内，对单个的文字进行分割，对每个文字定位，具体包括：B1)根据设定的文字宽度数值，对每个文字行进行二值化处理，得到当前文字行的二值化图像；B2)将得到的文字行的二值化图像进行投影，得到文字行的投影曲线；B3)基于预先建立的波谷高斯模型，在文字行的投影曲线上，检测波谷的位置；B4)将所有检测到的波谷位置提取出来，将两个相邻的波谷之间作为一个文字。B5)重复执行步骤B1)至B4)，得到每一个文字行中文字的位置。与现有技术相比，本专利技术存在以下技术效果：本专利技术中通过利用摄像机实时采集黑板区域的图像，并进行背景建模，根据背景图像对摄像机当前采集的图像进行处理，识别出图像中的文字笔迹，并合成得到黑板版面上的文字，节省了学生的记录笔迹的时间。而且，能自动检测到老师板书时新书写的内容，提取黑板中的文字信息，极大的提高了教学质量。附图说明下面结合附图，对本专利技术的具体实施方式进行详细描述：图1是一种黑板笔迹自动合成方法的流程示意图；图2是黑板定位的流程示意图；图3是黑板背景建模的流程示意图；图4是图像中的运动信息检测流程示意图；图5是文字笔迹提取流程示意图；图6是擦除动作判断流程图；图7是黑板内容合成流程示意图；图8是另一种黑板笔迹自动合成方法的流程示意图；图9是文字识别流程示意图；图10是文字行定位流程示意图；图11是文字定位流程示意图。具体实施方式为了更进一步说明本专利技术的特征，请参阅以下有关本专利技术的详细说明与附图。所附图仅供参考与说明之用，并非用来对本专利技术的保护范围加以限制。如图1所示，本实施例公开了一种黑板笔迹自动合成方法，包括如下步骤S101至S105：S101、通过摄像机实时采集包含黑板区域的图像，并在图像中检测黑板外框，对黑板进行定位；需要说明的是，本实施例中通过设置一个摄像机实时对黑板区域的画面进行采集，获取连续的包含黑板区域的图像帧。S102、在检测出黑板位置后，根据图像中的黑板区域进行背景建模，得到背景图像；S103、将摄像机当前采集到的图像与背景图像进行逐像素比对，得到前景像素；S104、利用线条提取算法，对前景像素进行处理，以从当前采集到的图像中提取出文字笔迹；S105、将连续多帧图像笔迹内容进行叠加，得到黑板上的笔记。作为进一步优选的方案，如图2所示，上述步骤S101：通过摄像机实时采集包含黑板区域的图像，并在图像中检测黑板外框，对黑板进行定位，具体包括：(1)在包含黑板区域的图像中，利用Canny边缘检测算子，提取边缘。(2)遍历所有的边缘像素，利用Hough直线检测方法，提取直线，同时计算出直线对应的方程；(3)在提取的所有直线中，将长度小于50个像素的直线过滤掉。(4)将所有长度大于50个像素的直线进行分析，找到共线的两条直线。具体为：利用这两条直线各自对应的直线方程，并计算二者的距离。如果两条直线距离小于5个本文档来自技高网...

【技术保护点】
1.一种黑板笔迹自动合成方法，其特征在于，包括：

【技术特征摘要】
1.一种黑板笔迹自动合成方法，其特征在于，包括：通过摄像机实时采集包含黑板区域的图像，并在图像中检测黑板外框，对黑板进行定位；在检测出黑板位置后，根据图像中的黑板区域进行背景建模，得到背景图像；将摄像机当前采集到的图像与背景图像进行逐像素比对，得到前景像素；利用线条提取算法，对前景像素进行处理，以从当前采集到的图像中提取出文字笔迹；将连续多帧图像笔迹内容进行叠加，得到黑板上的笔记。2.如权利要求1所述的黑板笔迹自动合成方法，其特征在于，所述通过摄像机实时采集包含黑板区域的图像，并在图像中检测黑板外框，对黑板进行定位，具体包括：利用Canny边缘检测算子，提取黑板区域图像的边缘；遍历所有边缘的像素，并利用Hough直线检测方法，得到直线以及直线对应的方程；对长度大于预设个数像素的直线进行分析，得到共线的两条直线；对于两条共线的直线，计算该两条直线对应的边缘像素的最短距离；在该最短距离小于预设个数像素时，将该两条直线融合为一条直线作为边界线；对得到的所有边界线进行分析，在边界线构成四边形时则确定黑板定位。3.如权利要求1所述的黑板笔迹自动合成方法，其特征在于，所述在检测出黑板位置后，根据图像中的黑板区域进行背景建模，得到背景图像，具体包括：在确定黑板位置后，从图像中提取出黑板区域；将黑板区域等间隔分割成6×6个子区域图像；检测每个子区域图像内部是否存在笔迹；对于不存在笔迹的子区域图像，直接更新到背景图像中该子区域对应的位置以得到背景图像。4.如权利要求1所述的黑板笔迹自动合成方法，其特征在于，所述将摄像机当前采集到的图像与背景图像进行逐像素比对，得到前景像素，具体包括：将摄像机当前采集的图像与所述背景图像进行逐像素对比；若在某个像素位置，当前采集的图像与背景图像之间的亮度差值大于设定的亮度值，则将该像素检测出来；对检测出的像素进行中值滤波处理，得到准确的前景像素。5.如权利要求1所述的黑板笔迹自动合成方法，其特征在于，所述利用线条提取算法，对前景像素进行处理，以从当前采集到的图像中提取出文字笔迹，具体包括：对所述前景像素进行逐行水平扫描，并记录线条的左右边界；在同一行中，若线条左、右边界的距离小于3个像素，则保留下这两个边界的位置；对所有行的线条的左、右边界进行分析，得到平滑的线条；将当前采集图像中所有连续的、平滑的边界线条提取出来；在所有连续...

【专利技术属性】
技术研发人员：邓宏平，汪俊锋，叶鸿，潘扬，
申请(专利权)人：安徽慧视金瞳科技有限公司，
类型：发明
国别省市：安徽,34