一种七巧板玩具识别的方法和装置制造方法及图纸

本公开涉及七巧板玩具的识别方法和装置。该方法包括：截取摄像头包含有效七巧板的图像区域；将所截取的图像作为七巧板识别模型的输入，所述七巧板识别模型是已训练的用于七巧板识别的深层卷积神经网路，所述七巧板识别模型的输出指示所述输入图像中包含的所有七巧板在图像中的像素、以及每一个像素对应七巧板的类型；基于所述七巧板识别模型的输出识别图像中包含的每一个七巧板像素级区域。应用本公开，能有效提高七巧板识别的准确率，于此同时在不同光照条件、不同背景环境下都能得到很好的识别结果。

A method and device for identifying jigsaw toys

【技术实现步骤摘要】
一种七巧板玩具识别的方法和装置
本公开涉及七巧板玩具的图像识别领域，尤其涉及基于卷积神经网络的七巧板识别方法和装置。
技术介绍
七巧板玩具对培养孩子的逻辑思维能力和空间想象能力等有很大的帮助，但是孩子需要专业的培训机构或者父母专业的指导，才能逐步深入地认识到七巧板玩具的技巧和乐趣，大部分孩子接触到七巧板，只是简单玩个入门，遇到困难无法解决后就将其束之高阁。为了解决上述问题，我们可以通过带摄像头和计算单元的装置，实时获取到孩子玩七巧板玩具的视频，通过视频识别和分析孩子操作七巧板玩具的过程，当孩子遇到问题无法解决的时候，可以通过屏幕或者是语音给孩子提供相应的提示和引导，帮忙孩子完成七巧板拼接成指定图案的任务，帮忙孩子逐步探索出七巧板玩具的技巧和培养相应的能力。上述解决方案的核心是对七巧板玩具的图像识别算法，传统的计算机视觉算法可以实现上述功能（比如通过将图像转换为HSV颜色图像，通过七巧板的七种颜色过滤来识别不同的七巧板模块），但是鲁棒性和兼容性很差，实际应用中效果和体验难以让人满意。比如说强光或者是阴影等光照条件下，识别效果急剧下降，又比如不同的桌面背景还有不同型号的摄像头，识别效果都会受到很大的影响。
技术实现思路
有鉴于此，本公开提出了一种鲁棒性高并且识别准确率很高的七巧板识别方法，本公开还提供了相应的装置。根据本公开的一方面，提供了一种基于卷积神经网络的七巧板识别方法，所述方法包括：截取实时视频中的图像中的中间区域；将所截取的图像作为七巧板模型的输入，所述七巧板识别模型是已训练的用于识别七巧板玩具的深层卷积神经网络，所述七巧板识别模型的输出指示所述输入图像中包含的所有七巧板在图像中的像素、以及每一个像素对应七巧板的类型。根据本公开的另一方面，提供了一种用卷积层和空洞卷积层代替分类网络中的全连接层方案，并在最后的特征提取层后面增加相对应的以反卷积层为主的解码器结构，使得网络模型可以输出像素级的识别结果。根据本公开的另一方面，提供了一种采用空洞卷积的结构来减小识别模型的计算量和参数量，在增大感受野的同时维持了特征映像的分辨率，使得识别模型可以准确地识别出不同尺度的七巧板；也就是说，无论七巧板玩具是在靠近摄像头的地方，还是远离摄像头的地方，本识别模型都可以准确地识别出来。根据本公开的另一方面，提供了一种采用多尺度特征映像上采样后融合的方案，增加对小目标七巧板识别的精度。根据本公开的另一方面，提供了一种在识别模型的初始化部分进行缩小输入图像分辨率的方案，以此来去除视觉的冗余，减小计算量，加快识别速度。根据本公开的另一方面，提供了一种减小解码器规模的方法，以此精简网络模型，达到减小计算量和加快识别速度的效果。根据本公开的另一方面，提供了一种通过对标准卷积操作进行因式分解的方法，以此减小网络模型的计算量和参数量，达到加快识别速度的效果。根据本公开的另一方面，提供了一种基于卷积神经网络的七巧板识别装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述方法。用于采集玩具视频的摄像头；根据本公开的各方面，基于专门用于七巧板识别的深层卷积网络，识别输入图像中包含的所有七巧板的图像像素和对应像素是那种颜色的七巧板类型，并采用条件随机场（CRF）作为模型的后处理，提高模型对七巧板图像边缘的识别精度。根据下面参考附图对示例性实施例的详细说明，本公开的其他特征及方面将变得清楚。附图说明包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。图1示出根据本公开的一个实施例的基于卷积神经网络的七巧板识别方法。图2～7示出根据本公开的一个具体应用实例的示意图。图8示出根据本公开的一个实施例的基于卷积神经网络的七巧板识别装置的结构框图。图9示出根据本公开的一个实施例的基于卷积神经网络的七巧板识别装置的结构框图。具体实施方式：以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。图1示出根据本公开的一个实施例的基于卷积神经网络的七巧板识别方法。该方法可以应用于诸如智能手机、平板、智能机器人、智能电视、投影仪、计算机等终端。如图1所示，该方法包括下列步骤102、步骤104和步骤106。步骤102，截取摄像头实时视频中位于第一区域的图像。该第一区域可以是根据实际情况设置的。例如，在平板或者手机前置摄像头上加装反射镜的情况，可以截取保留图像下面十分之九的图像，去掉反射到屏幕本身的图像。在一种可能的实现方式中，还可对所截取的图像进行处理，例如尺寸调整和像素值归一化等，以使得处理后的图像与下文中卷积神经网络对输入的要求相匹配，以进一步提高识别准确率。步骤104，将所截取的图像作为七巧板识别模型的输入，所述七巧板识别模型是已训练的用于七巧板识别的深层卷积神经网路，所述七巧板识别模型的输出指示所述输入图像中包含的所有七巧板在图像中的像素、以及每一个像素对应七巧板的类型。参照图2示出根据本公开的示例性实施例的七巧板玩具识别模型场景示意图。根据本公开的方法在服务器端训练七巧板识别模型，将训练好的识别模型发送到终端，使得终端能够直接运行该七巧板识别模型，实时地识别出图像中每一个七巧板图像像素和其对应的类型。参照图3，在服务器端侧，采集包含所有七种七巧板部件的图像(步骤302)，用多边形框框柱每一个七巧板部件的图像边缘，并标注相应的类型名称(步骤304)，并针对已采集的七巧板图像样本和标注进行数据增强(步骤306)，然后将各个样本缩放至相同大小(例如576*576*3)(步骤308)，以及进行像素值归一化(步骤310)，以得到训练样本库。然后，可基于训练样本库进行模型设计和模型训练(步骤312)，得到专门用于七巧板玩具识别的上述卷积神经网络，并生成相应的可以识别七巧板玩具的网络模型文件(步骤314)，其可包括该卷积神经网络的卷积核、层级结构等信息。所述七巧板识别模型文件可被发送至终端。参照图4，在终端侧，可自动获取摄像头实时观察七巧板的图像(步骤402)，并截取去掉不可能包含七巧板的图像部分区域(步骤404)，将其缩放至和训练样本相同的尺寸(例如576*576*3)(步骤406)，以及进行像素值归一化(步骤408)，以与七巧板识别模型对输入的要求相匹配，执本文档来自技高网...

【技术保护点】
1.一种基于七巧板网络模型的识别方法，其特征在于，所述方法包括：/n截取摄像头包含有效七巧板的图像区域；/n将所截取的图像作为七巧板识别模型的输入，所述七巧板识别模型是已训练的用于七巧板识别的深层卷积神经网路，所述七巧板识别模型的输出指示所述输入图像中包含的所有七巧板在图像中的像素、以及每一个像素对应七巧板的类型；/n基于所述七巧板识别模型的输出识别出所截取的图像包含的所有七巧板。/n

【技术特征摘要】
1.一种基于七巧板网络模型的识别方法，其特征在于，所述方法包括：
截取摄像头包含有效七巧板的图像区域；
将所截取的图像作为七巧板识别模型的输入，所述七巧板识别模型是已训练的用于七巧板识别的深层卷积神经网路，所述七巧板识别模型的输出指示所述输入图像中包含的所有七巧板在图像中的像素、以及每一个像素对应七巧板的类型；
基于所述七巧板识别模型的输出识别出所截取的图像包含的所有七巧板。


2.根据权利要求1所述的方法，其特征在于：
在所述七巧板识别模型中，提供了一种用卷积层和空洞卷积层代替分类网络中的全连接层方案，并在最后的特征提取层后面增加相对应的以反卷积层为主的解码器结构，使得网络模型可以输出像素级的识别结果。


3.根据权利要求1所述的方法，其特征在于：
在所述七巧板识别模型中，提供了一种采用空洞卷积的结构来减小识别模型的计算量和参数量，在增大感受野的同时维持了特征映像的分辨率，使得识别模型可以准确地识别出不同尺度的七巧板；也就是说，无论七巧板玩具是在靠近摄像头的地方，还是远离摄像头的地方，本识别模型都可以准确地识别出来。


4.根据权利要求1所述的方法，其特征在于：
提供了一种采用多尺度特征映像上采样后融合的方案，增加对小目标七巧板识别的精度。

【专利技术属性】
技术研发人员：卓迎，
申请(专利权)人：杭州小马智趣科技有限公司，
类型：发明
国别省市：浙江;33