基于卷积神经网络的复杂背景下柔性易变形物体识别方法技术

本发明专利技术公开了一种基于卷积神经网络的复杂背景下柔性易变形物体识别方法，涉及视觉图像的自动化处理和机器学习领域，解决了由于复杂背景干扰或待识别对象易变形而导致识别率低的问题，其技术方案要点是通过尺寸缩放、移动旋转、色彩变换、背景变更、噪声模拟、人为遮挡、预变形等图像处理技术对原有图像样本进行数据增强，然后将训练图像数据集输入卷积神经网络进行训练，使神经网络“自主学会”复杂背景下柔性物体的识别；与已有通过人为提取图像特征再进行机器学习或建立模型库进行比对识别等技术相比，本申请提出的方法极大减少了神经网络模型对训练数据集样本量的要求，且无需建立物理模型，自动化程度高，适用范围广，即使在处理复杂的柔性易变形物体时也能取得极高的识别精度。识别精度。识别精度。

【技术实现步骤摘要】
基于卷积神经网络的复杂背景下柔性易变形物体识别方法


[0001]本公开涉及视觉图像的自动化处理和机器学习领域，尤其涉及一种基于卷积神经网络的复杂背景下柔性易变形物体识别方法。

技术介绍

[0002]目前，机器视觉作为一种新型的传感技术，已被广泛地应用于质量检测、安全监控、人脸识别、机器人感知和家居服务等领域，因此诞生了一批物体识别及分类的图像处理算法。传统的图像处理技术主要针对背景简单、周围环境固定、光照条件理想等场景，且待识别物体多为刚性不易变形物体。而近年来，如何利用机器视觉识别复杂环境下的柔性、易变形物体，成为许多生产制造和科学研究领域的热点与难点问题。
[0003]现有技术中复杂环境更容易对待识别对象造成干扰，甚至背景光的明暗程度也直接影响图像中主体对象的识别质量；其次，柔性物体容易发生变形，即使同一类别物体，在相机的拍摄角度、拍摄距离发生变化，或者由于外力影响导致其变形的情况下(例如机器人叠衣服的过程)，其图像都会发生变化，严重降低其识别成功率。针对这种情况，目前主要有两种技术途径：1)采集待识别物体在不同场景下的大量数据集样本，提取该物体不同类别的多个属性特征，将该特征输入神经网络或机器学习模型进行训练，从而实现柔性物体的识别；2)建立不同类别物体的物理模型库，模型库中包含多种条件下物体变形后的几何形状。通过对比采集到的图像与模型库中的已有模型，获取待识别物体的类别。前一种方法需要大量的样本数据集，且模型质量容易受到所提取特征的影响，时间成本较高，识别精度不够；后者则需要建立待识别物体的物理模型，对于复杂受力条件下的柔性物体，其模型建立较为困难，应用局限性较大。
[0004]因此，亟需一种对训练样本数据集要求不高，且通用性强、识别精度高的方法，以解决复杂背景下柔性易变形物体的识别难题。

技术实现思路

[0005]本专利技术提供了一种基于卷积神经网络的复杂背景下柔性易变形物体识别方法，初始训练集为简单背景的图片，对于同样的测试集，同样的网络结构，进行过数据增强的训练集训练出的网络识别率更高。具体的实现方法如下：
[0006]首先依次读取数据集中的每一个图像，将这个图像依次：
[0007]缩放：(x',y')＝(x*m,y*m)，m是缩放的倍数，是随机的，m大于1时为放大图像，m小于1时为缩小图像。处理后按原路经存储(名称加
“‑
1”避免覆盖掉原图)。缩放处理可以减小实际分类时拍摄距离的影响；
[0008]移动一定距离：(x',y')＝(x+m,y+n)，m，n是水平竖直移动的距离，距离随机但取值较小避免损失过多信息。处理后按照原路径存储(名称加
“‑
2”，避免覆盖掉其他图像)。移动处理可以减小实际识别时待识别柔性物体没有处于图像中间位置的影响；
[0009]旋转一定角度：其中，θ代表逆时针旋转角度，角度随机。处理后按照原路径存储(名称加
“‑
3”，避免覆盖掉其他图像)；
[0010]色彩变换：(R
i
,G
i
,B
i
)＝(R
i
+r,G
i
+r,B
i
+r).其中，r是各分量的改变量，同时这个改变是以256为模的。处理后按照原路径存储(名称加
“‑
4”，避免覆盖掉其他图像)。色彩改变可以增加数据集数量，减少实际识别时光线不同色差的影响；
[0011]人为遮挡：在图像上随机选择矩形区域I
d
，计算区域面积，若所选面积大于或等于10％则重新选择区域，避免损失过多的信息。若所选的面积小于10％，则令10％则重新选择区域，避免损失过多的信息。若所选的面积小于10％，则令以实现遮挡的效果。处理后按照原路径存储(名称加
“‑
5”，避免覆盖掉其他图像)。遮挡处理后可以减少实际识别过程中柔性物体变形对识别结果的影响；
[0012]增加噪声：其中，RGB是每个像素点的RGB分量，m是高斯噪声值，μ是均值，σ是标准差。处理后按照原路径存储(名称加
“‑
6”，避免覆盖掉其他图像)。噪声模拟可以增加数据集的多样性；
[0013]背景变更：进行边缘检测得到轮廓点集I0，进而得到目标区域点集I
d
，将背景图片I
b
的尺寸更改为待处理图片I
p
的尺寸，然后对于每个像素点(x
i
,y
i
)都进行判断：如果(x
i
,y
i
)∈I
d
，则保持像素点不变；如果则有处理后按照原路径存储(名称加
“‑
7”，避免覆盖掉其他图像)。背景变更可以减小实际识别过程中背景的改变带来的影响；
[0014]预变形：在柔性物体的中部，上部，下部等位置施加力或力偶的作用，采集柔性物体在规定情境下变形后的图像，加入数据集。
[0015]与现有技术相比，本专利技术具有如下有益的技术效果：
[0016]在本专利技术中按照上述8个步骤操作处理后，{I1}与{I0}相比储存了更多信息，数据量至少变为原来的8倍并且涵盖了更多的信息量，实现了数据的增强。
[0017]使用增强后的数据训练神经网络，得到的网络与原网络相比，对柔性物体的识别准确率更高，效果更好。
[0018]本专利技术不仅能应用于复杂背景下柔性易变形物体的智能识别，对于简单背景、刚性物体等场景同样适用。
附图说明
[0019]图1为本专利技术的数据增强方法流程图；
[0020]图2为本专利技术的训练及应用整体流程图。
具体实施方式
[0021]下面将结合附图对本公开技术方案进行详细说明。
[0022]图1为本专利技术所述的特征提取方法的流程图，如图1所示，将原有数据集{I0}内所有图像数据依次进行旋转平移、尺寸缩放、色彩变换、背景变更、噪声模拟、人为遮挡处理，使得数据集中储存更多信息，对数据图片分类的能力更强。
[0023]作为具体实施例地，将用于实验的小样本数据{I0}内所有图像按照上述数据增强方法进行数据增强操作，具体操作如下：
[0024]尺寸缩放：(x',y')＝(x*m,y*m).其中，m代表缩放倍数，在0.6到1.3之间取值，避免过度失真。
[0025]移动旋转：(x',y')＝(x+m,y+b)、其中，m、n是水平，竖直方向平移量，移动量不超过原有尺寸的15％，避免损失过多信息；θ代表逆时针旋转角度，在0～360
°
之间任取。
[0026]色彩变换：(R
i
,G
i
,B
i
)＝(R
i
+r,G
i
+r,B
i
+r).其中，r是各分量的改变量，同时这个改变是以256为模的。
[0027]背景变更：进行边缘检测得到轮廓点集I0，进而得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于卷积神经网络的复杂背景下柔性易变形物体识别方法，其特征在于，包括以下具体步骤：S1、获取待识别物体的视觉图像小样本数据集{I0}；S2、提取数据集内每幅图像中的待识别物体部分，应用尺寸缩放、移动旋转、色彩变换、背景变更、噪声模拟、人为遮挡、预变形处理对图像进行数据增强，获得增强后的数据集{I1}；S3、使用{I1}训练卷积神经网络，获得识别模型；预测出所识别物体所属类别。2.如权利要求1所述的基于卷积神经网络的复杂背景下柔性易变形物体识别方法，其特征在于，视觉图像小样本数据集{I0}，通过平面相机直接获取；或通过深度相机采集的图片去掉深度信息后产生。3.如权利要求1所述的基于卷积神经网络的复杂背景下柔性易变形物体识别方法，其特征在于，{I0}中每张图像中只包含一个待识别主体目标，整个数据集须涵盖该主体目标的所有类别。4.如权利要求1所述的基于卷积神经网络的复杂背景下柔性易变形物体识别方法，其特征在于，S2包括以下具体步骤：S21、利用摩尔邻域追踪算法或Gabor滤波器方法提取待识别主体的图像部分；S22、尺寸缩放：(x',y')＝(x*m,y*m)其中，m代表缩放倍数；S23、移动旋转：(x',y')＝(x+m,y+n)、其中，m、n是水平，竖直方向平移量；θ代表逆时针旋转角度；S24、色彩变换：(R
i
,G
i
,B
i
)＝(R
...

【专利技术属性】
技术研发人员：秦龙辉，柴大洲，张嘉桐，包文辉，李瑞茹，
申请(专利权)人：东南大学，
类型：发明
国别省市：