一种基于深度学习的增量式物体识别方法技术

本发明专利技术公开了一种基于深度学习的增量式物体识别方法，用于对图像中的物体进行分类识别，包括如下步骤：首先将1张需要识别图像中物体的图片输入，经过旋转、平移和仿射变换后得到20张新图片；然后通过特征提取网络提取20张新图片的图像特征，得到多个特征向量V；接着根据特征值来判断图像中的物体是新类别还是模板库中已有的类别；最后当物体的类别确定后，用增量式学习方法创建和更新物体的特征模板并将其储存于模板库中。本发明专利技术解决了传统物体识别系统只能识别预先训练好的物体类别，学习速度不快，识别率不能在使用过程中提升等缺陷，提高了系统的适用性和鲁棒性。

An incremental object recognition method based on depth learning

【技术实现步骤摘要】
一种基于深度学习的增量式物体识别方法
本专利技术涉及涉及机器学习和机器视觉领域，具体涉及一种基于深度学习的增量式物体识别方法。
技术介绍
物体识别是计算机视觉领域中最活跃的研究课题之一，迅速和准确地识别出物体对机器人导航、医疗诊断、安防、工业检测等有着重要的意义。提取图像特征是物体识别中最重要也是最棘手的工作，图像特征的好坏很大程度上决定了识别的效果。相比传统的特征提取方法，深度神经网络能提取到表达能力更强的特征，更有利于分类，因此现在大多数物体识别框架都基于深度学习。现在的大多数物体识别系统都只能识别预先训练过的物体类别，不能在使用的过程中学习新的物体类别，识别率也不会在使用中逐步提升。目前，大多数分类方法都是类似SVM这样需要大量的有标签的样本去训练分类模型，这是导致物体识别系统学习速度很慢的一个重要原因。
技术实现思路
本专利技术是为了解决上述问题而进行的，目的在于提供一种基于深度学习的增量式物体识别方法。本专利技术提供了一种基于深度学习的增量式物体识别方法，用于对图像中的物体进行分类识别，具有这样的特征，，包括如下步骤：步骤1，将1张需要识别图像中物体的图片输入，经过数据预处理后得到20张新图片，所述预处理包括旋转、平移和仿射变换；步骤2，通过特征提取网络提取20张新图片的图像特征，得到多个特征向量V＝[x1,x2,...xk]，i＝1～k，其中xk表示特征向量中的一个特征值；步骤3，根据特征值来判断图像中的物体是新类别还是模板库中已有的类别；步骤4，当物体的类别确定后，用增量式学习方法创建和更新物体的特征模板并将其储存于模板库中。在本专利技术提供的基于深度学习的增量式物体识别方法中，还可以具有这样的特征：其中，物体特征提取网络包括第一分支、第二分支、globalaveragepool层、globalmaxpool层和concatenation层，所述第一分支具有五个卷积块，该卷积块是由卷积层和池化层组成，且所述卷积块之间的前一层的输出作为后一层的输入，所述第二分支具有四个块，每个所述块之前都接有一个所述卷积层和所述池化层，每个所述块内部都由4个小的卷积块组成，且前一个所述卷积块输出会作为后面所有所述卷积块的输入，步骤2具体包括以下子步骤：步骤2-1，物体特征经过第一分支处理后通过globalaveragepool层和globalmaxpool层得到两个特征向量；步骤2-2，物体特征经过第二分支处理后通过globalaveragepool层和globalmaxpool层得到两个特征向量；步骤2-3，通过concatenation层将步骤2-1和步骤2-2中得到的四个特征向量连接成一个i维的向量，该向量即为物体的特征向量V。在本专利技术提供的基于深度学习的增量式物体识别方法中，还可以具有这样的特征：其中，步骤3中，当物体为新的类别时，通过人机交互的方式询问用户该物体的新类别并根据用户提供的新类别名称创建物体的特征模板。在本专利技术提供的基于深度学习的增量式物体识别方法中，还可以具有这样的特征：其中，特征模板的创建包括如下子步骤：步骤3-1，创建三个新向量Vmax，Vmin，Vave，依次对20张图片的特征向量中的同一位置的特征值作比较；步骤3-2，依次取20张新图片的特征向量中每一个位置的最大值并记录为Vmax，并依次取20张新图片的特征向量中每一个位置的最小值并记录为Vmin；步骤3-3，依次取20张新图片的特征向量中每一个位置的特征值的均值并记录为Vave；步骤3-4，将Vnmax，Vnmin，Vnave作为第n类物体的特征模板进行记录。在本专利技术提供的基于深度学习的增量式物体识别方法中，还可以具有这样的特征：其中，步骤4中更新物体特征模板的方法的子步骤为为：步骤4-1-1，得到特征向量V后，与该类物体的特征模板中的Vmax的每一位特征值作比较，取二者的最大值作为新的Vmax的对应位置的值；步骤4-1-2，与该类物体的特征模板中的Vmin的每一位特征值作比较，取二者的最小值作为新的Vmin的对应位置的值；步骤4-1-3，计算V和对应的Vave中每一个位置的均值，作为新的Vave。在本专利技术提供的基于深度学习的增量式物体识别方法中，还可以具有这样的特征：其中，步骤3中，当物体不是新类别时，识别系统利用多特征融合的相似性度量方法进行识别，当识别不正确时，通过人机交互的方式告知用户，并根据用户给出的正确物体类别名更新模板库。在本专利技术提供的基于深度学习的增量式物体识别方法中，还可以具有这样的特征：其中，多特征融合的相似性度量方法具体包括以下子步骤：步骤4-1，根据下式(1)计算特征向量V和每一类物体特征模板中Vave的夹角余弦值d并记为dn：：步骤4-2，找出n个夹角余弦值中的最大值dmax，用dn除以dmax得到scoren1，scoren1表示该物体的特征向量V和第n类物体特征模板中Vnave的相似性；步骤4-3，设定一个初始值为0的变量countn，判断特征向量V的每位特征值是否处于Vnmax和Vnmin对应位置的特征值之间，当满足时加1，用countn除以i得到scoren2，i表示特征向量中特征值个数且为3072，用scoren1和scoren2相加得到scoren，根据下式(2)和式(3)计算物体属于类别类的得分：式(1)、式(2)及式(3)中，dn表示待识别物体的特征向量V和第n类物体特征模板中Vnave的夹角余弦值，x1k表示待识别物体特征向量V中的第k个特征值，x2k表示特征向量Vnave中的第k个特征值，dmax是这n个夹角余弦值中的最大值，scoren1表示通过Vmax计算的得分，countn表示V中特征值处于Vnmax和Vnmin对应位置的特征值之间的个数，i是特征向量总的特征值个数，scoren2表示通过Vmax和Vmin计算的得分，k为权值。在本专利技术提供的基于深度学习的增量式物体识别方法中，还可以具有这样的特征：其中，判定物体属于第n类的方法为：找出最大的score作为最高得分，并判断该最高得分是否小于预定的阈值，当大于时判定物体属于该类。在本专利技术提供的基于深度学习的增量式物体识别方法中，还可以具有这样的特征：其中，当最高得分小于阈值时，判定不能识别该物体的分类。在本专利技术提供的基于深度学习的增量式物体识别方法中，还可以具有这样的特征：其中，步骤4中的物体类别不能识别或者识别错误时用增量式学习方法，若能识别正确则不需要学习。专利技术的作用与效果根据本专利技术所涉及的基于深度学习的增量式物体识别方法，因为所使用的特征提取网络，所以更有效。因为所使用的多特征融合的相似性度量方法能使得系统从零开始学习，可以让用户自己定义想要识别的物体类别，所以使用过程中需要学习新物体类别时，即使样本数量很少也能学得对应的物体特征模板。因此，本专利技术的基于深度学习的增量式物体识别方法解决了传统物体识别系统只能识别预先训练好的物体类别，学习速度不快，识别率不能在使用过程中提升等缺陷，提高了系统的适用性和鲁棒性。附图说明图1是本专利技术的实施例中的特征提取网络结构图；图2是本专利技术的实施例中的物体特征模板图；图3是本专利技术的实施例中的系统工作流程图。具体实施方式为了使本专利技术实现的技术手段与功效易于明白了解，以下结合实施例及附图对本专利技术作本文档来自技高网...

【技术保护点】
一种基于深度学习的增量式物体识别方法，用于对图像中的物体进行分类识别，其特征在于，包括如下步骤：步骤1，将1张需要识别图像中物体的图片输入，经过数据预处理后得到20张新图片，所述预处理包括旋转、平移和仿射变换；步骤2，通过特征提取网络提取所述20张新图片的图像特征，得到多个特征向量V＝[x1,x2,...xk],k＝1～

【技术特征摘要】
1.一种基于深度学习的增量式物体识别方法，用于对图像中的物体进行分类识别，其特征在于，包括如下步骤：步骤1，将1张需要识别图像中物体的图片输入，经过数据预处理后得到20张新图片，所述预处理包括旋转、平移和仿射变换；步骤2，通过特征提取网络提取所述20张新图片的图像特征，得到多个特征向量V＝[x1,x2,...xk],k＝1～i，其中xk表示特征向量中的一个特征值；步骤3，根据所述特征值来判断所述图像中的物体是新类别还是模板库中已有的类别；步骤4，当所述物体的类别确定后，用增量式学习方法创建和更新所述物体的特征模板并将其储存于所述模板库中。2.根据权利要求1所述的基于深度学习的增量式物体识别方法，其特征在于：其中，所述物体特征提取网络包括第一分支、第二分支、globalaveragepool层、globalmaxpool层和concatenation层，所述第一分支具有五个卷积块，该卷积块是由卷积层和池化层组成，且所述卷积块之间的前一层的输出作为后一层的输入，所述第二分支具有四个块，每个所述块之前都接有一个所述卷积层和所述池化层，每个所述块内部都由4个小的卷积块组成，且前一个所述卷积块输出会作为后面所有所述卷积块的输入，所述步骤2具体包括以下子步骤：步骤2-1，所述物体特征经过所述第一分支处理后通过所述globalaveragepool层和所述globalmaxpool层得到两个特征向量；步骤2-2，所述物体特征经过所述第二分支处理后通过所述globalaveragepool层和所述globalmaxpool层得到两个特征向量；步骤2-3，通过所述concatenation层将所述步骤2-1和所述步骤2-2中得到的四个所述特征向量连接成一个i维的向量，该向量即为所述物体的所述特征向量V。3.根据权利要求1所述的基于深度学习的增量式物体识别方法，其特征在于：其中，所述步骤3中，当所述物体为新的类别时，通过人机交互的方式询问用户该物体所述的新类别并根据用户提供的新类别名称创建所述物体的特征模板。4.根据权利要求3所述的基于深度学习的增量式物体识别方法，其特征在于：其中，所述特征模板的创建包括如下子步骤：步骤3-1，创建三个新向量Vmax，Vmin，Vave，依次对所述20张图片的所述特征向量中的同一位置的特征值作比较；步骤3-2，依次取所述20张新图片的所述特征向量中每一个位置的最大值并记录为Vmax，并依次取所述20张新图片的所述特征向量中每一个位置的最小值并记录为Vmin；步骤3-3，依次取所述20张新图片的所述特征向量中每一个位置的特征值的均值并记录为Vave；步骤3-4，将Vnmax，Vnmin，Vnave作为第n类物体的特征模板进行记录。5.根据权利要求4所述的基于深度学习的增量式物体识别方法，其特征在于：其中，所述步骤4中更新所述物体特征模板的方法的子步骤为为：步骤4-1-...

【专利技术属性】
技术研发人员：王永雄，宋天中，严龙，
申请(专利权)人：上海理工大学，
类型：发明
国别省市：上海,31