一种板书色彩识别方法、装置及终端制造方法及图纸

本发明专利技术适用于计算机视觉技术领域，提供了一种板书色彩识别方法，通过获取待识别的板书图像；对待识别的板书图像进行边缘检测，得到边缘像素点；根据所述边缘像素点确定笔迹区域，确定所述笔迹区域中的各个像素点；根据所述像素点在预设颜色通道下的通道值以及各个像素点在所述笔迹区域中的位置，确定所述各个像素点的颜色积分；基于所述颜色积分确定所述笔迹区域所对应的板书颜色；本发明专利技术还提供了一种板书色彩识别装置，所述装置包括图像获取模块、边缘检测模块、色彩分析模块和色彩输出模块；本发明专利技术还提供了一种终端；本发明专利技术能够解决目前的识别技术对板书识别时，识别结果无法全面反映板书内容的技术问题。面反映板书内容的技术问题。面反映板书内容的技术问题。

【技术实现步骤摘要】
一种板书色彩识别方法、装置及终端


[0001]本专利技术属于计算机视觉
，尤其涉及一种板书色彩识别方法、装置及终端。

技术介绍

[0002]作为学生听课学习工具的黑板，是每个课堂上必不可少的。
[0003]随着人工智能技术的发展，传统的采用人工方式记录黑板板书中的内容，往往既耗时又影响听课效率。因此，如何利用计算机技术，高速、有效、完整地录入板书内容，是当前智能化教育急需解决的问题。
[0004]现有技术主要是针对背景干净的手写文本识别，对于黑板这种特殊背景的下的文本识别，目前能识别粉笔笔迹，但是出来的所有笔迹都是白色，彩色的粉笔板书也只能识别出白色，使得识别结果无法全面反映板书内容。

技术实现思路

[0005]本专利技术实施例的目的在于提供一种板书色彩识别方法、装置及终端，旨在解决目前的识别技术能识别粉笔笔迹，但是出来的所有笔迹都是白色，彩色的粉笔板书也只能识别出白色，使得识别结果无法全面反映板书内容的技术问题。
[0006]为实现上述目的，本专利技术提供了如下的技术方案。
[0007]第一方面，在本专利技术提供的一个实施例中，一种板书色彩识别方法，所述的识别方法包括以下步骤：
[0008]获取待识别的板书图像；
[0009]对待识别的板书图像进行边缘检测，得到边缘像素点；
[0010]根据所述边缘像素点确定笔迹区域，确定所述笔迹区域中的各个像素点；
[0011]根据所述像素点在预设颜色通道下的通道值以及各个像素点在所述笔迹区域中的位置，确定所述各个像素点的颜色积分；
[0012]基于所述颜色积分确定所述笔迹区域所对应的板书颜色。
[0013]作为本专利技术技术方案的进一步限定，所述获取待识别的板书图像的步骤包括：
[0014]获取利用摄像设备拍摄得到的原始板书图像；
[0015]使用训练好的CTPN检测模型检测并过滤出待识别板书图像中的文本信息，确定文本区域；
[0016]基于文本区域对所述原始板书图像进行图像分割，得到待识别的板书图像。
[0017]作为本专利技术技术方案的进一步限定，所述的识别方法还包括对所述板书内容进行识别并输出的步骤。
[0018]作为本专利技术技术方案的进一步限定，所述对板书内容进行识别的步骤包括：
[0019]对分割出的待识别的板书图像进行预处理操作；
[0020]将预处理之后的图像集合依次输入训练好的CRNN识别模型中去，进行文本识别，进而得到图像中的文本信息；
[0021]将输出的各个文本信息进行整合，输出板书的内容识别结果。
[0022]作为本专利技术技术方案的进一步限定，所述预处理操作包括灰度化、归一化和尺度缩放的操作步骤。
[0023]作为本专利技术技术方案的进一步限定，所述将预处理之后的图像集合依次输入训练好的CRNN识别模型中去，进行文本识别，进而得到图像中的文本信息的步骤包括：
[0024]使用HIT
‑
MW手写文本数据集作为训练样本集，利用CRNN识别模型进行训练；
[0025]通过训练好的CRNN识别模型进行文本识别。
[0026]第二方面，在本专利技术提供的另一个实施例中，一种板书色彩识别装置，所述的识别装置包括：
[0027]图像获取模块，所述图像获取模块用于获取待识别的板书图像；
[0028]边缘检测模块，所述边缘检测模块用于对待识别的板书图像进行边缘检测，得到边缘像素点；
[0029]色彩分析模块，所述色彩分析模块用于根据所述边缘像素点确定笔迹区域，确定所述笔迹区域中的各个像素点；根据所述像素点在预设颜色通道下的通道值以及各个像素点在所述笔迹区域中的位置，确定所述各个像素点的颜色积分；
[0030]色彩输出模块，所述色彩输出模块用于基于所述颜色积分确定所述笔迹区域所对应的板书颜色。
[0031]作为本专利技术技术方案的进一步限定，所述的识别装置还包括：
[0032]内容识别模块，所述内容识别模块用于对所述板书内容进行识别。
[0033]作为本专利技术技术方案的进一步限定，所述的文本识别模块包括：
[0034]图像处理子模块，所述图像处理子模块用于对分割出的待识别的板书图像进行预处理操作；
[0035]文本识别子模块，所述文本识别子模块用于将预处理之后的图像集合依次输入训练好的CRNN识别模型中去，进行文本识别，进而得到图像中的文本信息；
[0036]内容整合子模块，所述内容整合子模块用于将输出的各个文本信息进行整合，输出板书的内容识别结果。
[0037]第三方面，在本专利技术提供的再一个实施例中，一种终端，所述终端包括处理器；以及
[0038]被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述第一方面所提供的板书色彩识别方法。
[0039]与现有技术相比，本专利技术提供的板书色彩识别方法，通过获取待识别的板书图像；对待识别的板书图像进行边缘检测，得到边缘像素点；根据所述边缘像素点确定笔迹区域，确定所述笔迹区域中的各个像素点；根据所述像素点在预设颜色通道下的通道值以及各个像素点在所述笔迹区域中的位置，确定所述各个像素点的颜色积分；基于所述颜色积分确定所述笔迹区域所对应的板书颜色；以及本专利技术提供的板书色彩识别方法还能对板书内容进行识别；能够解决目前的识别技术能识别粉笔笔迹，但是出来的所有笔迹都是白色，彩色的粉笔板书也只能识别出白色，使得识别结果无法全面反映板书内容的技术问题。
附图说明
[0040]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例。
[0041]图1为本专利技术实施例1提供的一种板书色彩识别方法的实现流程图；
[0042]图2为本专利技术实施例2提供的一种板书色彩识别方法的实现流程图；
[0043]图3为本专利技术实施例2提供的一种板书色彩识别方法的一个子流程图；
[0044]图4为本专利技术实施例3提供的一种板书色彩识别装置的结构框图；
[0045]图5为本专利技术实施例4提供的一种终端的结构框图。
具体实施方式
[0046]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。
[0047]在本专利技术的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。
[0048]另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种板书色彩识别方法，其特征在于，所述的识别方法包括以下步骤：获取待识别的板书图像；对待识别的板书图像进行边缘检测，得到边缘像素点；根据所述边缘像素点确定笔迹区域，确定所述笔迹区域中的各个像素点；根据所述像素点在预设颜色通道下的通道值以及各个像素点在所述笔迹区域中的位置，确定所述各个像素点的颜色积分；基于所述颜色积分确定所述笔迹区域所对应的板书颜色。2.根据权利要求1所述的板书色彩识别方法，其特征在于，所述获取待识别的板书图像的步骤包括：获取利用摄像设备拍摄得到的原始板书图像；使用训练好的CTPN检测模型检测并过滤出待识别板书图像中的文本信息，确定文本区域；基于文本区域对所述原始板书图像进行图像分割，得到待识别的板书图像。3.根据权利要求2所述的板书色彩识别方法，其特征在于，所述的识别方法还包括对所述板书内容进行识别并输出的步骤。4.根据权利要求3所述的板书色彩识别方法，其特征在于，所述对所述板书内容进行识别并输出的步骤包括：对分割出的待识别的板书图像进行预处理操作；将预处理之后的图像集合依次输入训练好的CRNN识别模型中去，进行文本识别，进而得到图像中的文本信息；将输出的各个文本信息进行整合，输出板书的内容识别结果。5.根据权利要求4所述的板书色彩识别方法，其特征在于，所述预处理操作包括灰度化、归一化和尺度缩放的操作步骤。6.根据权利要求4或5所述的板书色彩识别方法，其特征在于，所述将预处理之后的图像集合依次输入训练好的CRNN识别模型中去，进行文本识别，进而得到图像中的文本信息的步骤包括：使用HIT
‑

【专利技术属性】
技术研发人员：周雪松，
申请(专利权)人：江苏欧帝电子科技有限公司，
类型：发明
国别省市：