一种复杂场景下的绘画物体识别与提取方法技术

本发明专利技术涉及图像识别与分割技术领域，具体公开了一种复杂场景下的绘画物体识别与提取方法，包括以下步骤：步骤1：构建检测与识别模型，并利用已有物体框和物体类别标注的图像集训练该模型；步骤2：采集包含用户绘画内容的场景图像；步骤3：利用训练完的检测与识别模型在图像中定位出绘画区域，并识别出绘画物体；步骤4：选出绘画区域，利用图像分割技术提取出绘画物体轮廓区域，该方法能应用在儿童绘画教学领域，增加绘画过程的智能互动性，提升绘画体验。

【技术实现步骤摘要】
一种复杂场景下的绘画物体识别与提取方法
本专利技术涉及图像识别与分割
，特别涉及一种复杂场景下的绘画物体识别与提取方法。
技术介绍
图像识别与分割是计算机视觉领域重要和基础性的问题，也是颇具挑战性的任务。近年来，深度学习技术的发展，在计算机视觉领域大放异彩，尤其在图像识别领域取得了超越人类的结果，在端到端的图像分割上也正发力。绘画识别在少儿绘画教育、少儿认知启蒙等领域都大有用处。然而，不同于自然图像的识别，绘画会表现得更加抽象，尤其是少儿的绘画，会更加简要、天马行空，这就意味着图像上拥有更少的特征信息以及同一类别内更大的变化性，这都让绘画识别变得更加困难。目前，针对绘画的识别主要着力于画板上图像的识别与分析，主要有两种方法，一种是针对绘画数据设计的基于手工特征表示的识别方法，另一种是基于深度卷积神经网络的端到端检测识别方法。JunGuo等提出利用Gabor特征构建低维表示，并进一步利用稀疏编码构建高层特征，进而使用支持向量机分类方法完成分类识别【1】；赵鹏等提出使用深度学习方法来完成绘画的识别，针对简笔绘画中信息更少的问题，提出增加卷积核大小的方法【2】；这些方法都应用在只包含了绘画图像的公开数据集上，虽然取得了接近于人的效果，但在实际应用中，并不能处理复杂的场景信息(非绘画内容)；中国专利技术专利“一种绘画辅导方法及装置”【3】，公开了一种绘画辅导方法，包括以下步骤：接收用户的绘画信息；根据图像识别技术提取出绘画信息中的线条轮廓，识别出不同前景背景物体；分析粗细、光滑和长短的变化规律；对物体进行直线检测，识别视平线和心点；进行图像处理光照分析，识别图像中的高光、阴影和投影；指定一种绘画风格作为限定条件，对用户的绘画信息图像进行辅导，给出修正意见；同样只能处理画纸上区域，然而，在摄像头拍摄绘画内容时，由于光照、角度、阴影、距离等原因，获取到的图像更加复杂时，在诸如室内客厅、教学课堂等场景，并不能准确地完成识别过程，因而需要一些技术方法从这些复杂场景下完成绘画图像的识别与分割。目前，并没有一种方法能够完成此任务。以下给出检索的相关文献：【1】GuoJ，WangC，ChaoH，etal.Buildingeffectiverepresentationsforsketchrecognition[C].nationalconferenceonartificialintelligence，2015：3776-3782.【2】赵鹏，王斐，刘慧婷，等.《基于深度学习的手绘草图识别[J]》.四川大学学报(工程科学版),2016,48(3)：94-99.【3】中国专利技术专利《一种绘画辅导方法及装置》，申请人：厦门优莱柏网络科技有限公司，专利号：201610964775.X。
技术实现思路
针对上述现有技术的缺陷及存在的技术问题，本专利技术提供了一种复杂场景下的绘画物体识别与提取方法，具有尺度和旋转不变性、识别准确率高、识别范围广、适应性好的特点。本专利技术解决其技术问题所采用的技术方案是：一种复杂场景下的绘画物体识别与提取方法，包括以下步骤：步骤1：构建检测与识别模型，选定深度学习领域中的神经网络检测模型，并利用已有物体框和物体类别准确标注的图像集作为该模型输入，以反向传播(BP)算法训练该模型，至模型收敛；步骤2：使用图像采集设备，如摄像头、相机，采集包含用户绘画内容的场景图像；步骤3：利用训练完的检测与识别模型，以采集得到的图像为输入进行模型计算，在图像中定位出绘画区域，并识别出绘画物体类别；步骤4：选出绘画区域，利用绘画物体与背景上的显著区别特性，使用图像边缘检测确定绘画物体轮廓，使用图像分割技术提取出绘画物体轮廓区域。本专利技术所述的一种复杂场景下的绘画物体识别与提取方法，其中，所述步骤1中构建的检测与识别模型为深度神经网络模型，需要利用大量已有物体框和物体类别标注的图像数据进行模型的训练，直至模型的参数收敛到预定的范围。本专利技术所述的一种复杂场景下的绘画物体识别与提取方法，其中，所述深度神经网络模型在训练时应指定固定数量类别，指定网络输入图像的尺寸，指定网络的结构类型。本专利技术所述的一种复杂场景下的绘画物体识别与提取方法，其中，所述步骤1中使用的标注图像集可以进行预先筛选，确定要识别的绘画物体类别以及增加训练样本的多样性，对训练数据的处理能够使得神经网络模型具有更好地泛化能力，避免模型的过拟合问题，对于新的数据的处理有更稳定和准确的效果。本专利技术所述的一种复杂场景下的绘画物体识别与提取方法，其中，所述步骤1中的深度神经网络模型，可以通过选取最优模型结构，提高模型的表征能力，进而提高模型的识别能力。本专利技术所述的一种复杂场景下的绘画物体识别与提取方法，其中，所述步骤2中的图像采集设备，可以通过提高分辨率来增加获取图像的信息，但提高的分辨率最高为神经网络模型的限定的分辨率。本专利技术所述的一种复杂场景下的绘画物体识别与提取方法，其中，所述步骤3中使用的采集的复杂场景图像应首先调整到网络输入图像的尺寸。本专利技术所述的一种复杂场景下的绘画物体识别与提取方法，其中，所述步骤3中的绘画区域与绘画物体识别，是在待检测图像经过网络计算之后，两个输出端输出的结果。本专利技术所述的一种复杂场景下的绘画物体识别与提取方法，其中，所述步骤3中所得到的绘画区域，是相对于调整图像之后的候选框图像坐标点，共包含4个数据。本专利技术所述的一种复杂场景下的绘画物体识别与提取方法，其中，所述步骤3中所得到的识别类别，是包含类型和概率的多组数据。本专利技术所述的一种复杂场景下的绘画物体识别与提取方法，其中，所述步骤3中定位出绘画区域，在神经网络模型输出的多个预测的长方形区域框中，往往会出现相似候选框覆盖同一物体的问题，为此，可以使用非极大值抑制算法，选出最优的候选框，提高准确性。本专利技术所述的一种复杂场景下的绘画物体识别与提取方法，其中，所述步骤3中识别出绘画物体，在神经网络的输出中会包含有多种概率的多个结果，通过设定筛选阈值，可以选出具有较大概率的结果。本专利技术所述的一种复杂场景下的绘画物体识别与提取方法，其中，所述步骤4中的图像轮廓，首先需要对框选图像进行边缘检测，确定绘画物体的外边缘，之后，在和框选图像同样尺寸的蒙版上填充候选区域内部。本专利技术所述的一种复杂场景下的绘画物体识别与提取方法，其中，所述步骤4中的框选图像由原图经网络检测得到的物体框选取局部得到。本专利技术所述的一种复杂场景下的绘画物体识别与提取方法，其中，所述步骤4中基于识别框区域的轮廓提取，可以对图像进行二值化处理。本专利技术的有益效果是：对比现有技术，本专利技术的一种复杂场景下的绘画物体识别与提取方法具有以下优点：1、本专利技术能够实现对多种绘画物体的识别，通过构建深度神经网络模型，识别过程，不依赖于具体物体图像和具体姿态，具有很好的泛化能力；2、本专利技术能够直接以复杂场景下的图像为输入，可以不限定拍摄的范围，快速准确地完成端到端的识别与检测；3、本专利技术能够完成绘画物体的轮廓提取。附图说明图1是本专利技术的流程图。其中：S1为步骤1，S2为步骤2，S3为步骤3，S4为步骤4。具体实施方式下面结合附图对本专利技术的具体实施方式作详细说明，进一步阐明本专利技术的优点及相对于现有技术的突出贡献，可以理解的，下述的实施例仅是对本专利技术较佳实施方案的详细本文档来自技高网...

【技术保护点】
一种复杂场景下的绘画物体识别与提取方法，其特征在于：包括以下步骤：步骤1：构建检测与识别模型，并利用已有物体框和物体类别标注的图像集训练该模型；步骤2：图像采集，采集包含用户绘画内容的场景图像；步骤3：利用训练完的检测与识别模型在场景图像中定位出绘画区域，并识别出绘画物体类别；步骤4：选出绘画区域，利用图像分割技术提取出绘画物体轮廓区域。

【技术特征摘要】
1.一种复杂场景下的绘画物体识别与提取方法，其特征在于：包括以下步骤：步骤1：构建检测与识别模型，并利用已有物体框和物体类别标注的图像集训练该模型；步骤2：图像采集，采集包含用户绘画内容的场景图像；步骤3：利用训练完的检测与识别模型在场景图像中定位出绘画区域，并识别出绘画物体类别；步骤4：选出绘画区域，利用图像分割技术提取出绘画物体轮廓区域。2.根据权利要求1所述的复杂场景下的绘画物体识别与提取方法，其特征在于：所述步骤（1）中构建的检测与识别模型为深度神经网络模型，需要利用大量已有物体框和物体类别标注的图像数据进行模型的训练，直至模型的参数收敛到预定的范围。3.根据权利要求2所述的复杂场景下的绘画物体识别与提取方法，其特征在于：所述深度神经网络模型在训练时应指定固定数量类别，指定网络输入图像的尺寸，指定网络的结构类型。4.根据权利要求1所述的复杂场景下的绘画物体识别与提取方法，其特征在于：所述步骤（3）中使用的场景图像...

【专利技术属性】
技术研发人员：苗长龙，李世东，
申请(专利权)人：浙江清华长三角研究院，
类型：发明
国别省市：浙江,33