一种基于视觉分析的零部件定位及抓取方法、系统技术方案

本发明专利技术属于工业自动化控制技术领域，公开了一种基于视觉分析的零部件定位及抓取方法、系统，所述基于视觉分析的零部件定位及抓取方法包括：图像采集模块获取待抓取零部件的数字图像数据；数据获取模块获取目标零部件图像数据；中央控制模块控制图像处理模块对图像数据进行处理，特征提取模块提取待抓取零部件特征及尺寸数据；目标匹配模块将待抓取零部件特征及尺寸数据与获取的目标零部件的相关图像、尺寸数据匹配，判断待抓取的零部件的坐标位置；抓取模块进行待抓取零部件的抓取。本发明专利技术能够对复杂环境下的杂乱零件进行识别提取，准确计算出零件空间位置信息，并完成抓取工作；本发明专利技术还能够针对不同零件实现实时、准确、可靠的抓取。

【技术实现步骤摘要】
一种基于视觉分析的零部件定位及抓取方法、系统
本专利技术属于工业自动化控制
，尤其涉及一种基于视觉分析的零部件定位及抓取方法、系统。
技术介绍
目前，随着科技不断地发展，机器人的应用范围变得越来越广泛，进入了家庭娱乐、工业生产等多个不同的领域。要适应环境变化、独立工作的同时，这也带来了一些新的挑战，比如要求机器人需力以及具备更高的性等。智能机器人应该不仅能能够感知环境，还需要能与环境互动。而在所有这些力中，目标的识别和抓取是最基本且重要的一个能力，因为它将为社会带来巨大的生产力。通过上述分析，现有技术存在的问题及缺陷为：现有零部件定位与抓取方法定位不准确，且检测时间长，检测识别精度不高，抓取错误率高。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种基于视觉分析的零部件定位及抓取方法、系统。本专利技术是这样实现的，一种基于视觉分析的零部件定位及抓取方法，所述基于视觉分析的零部件定位及抓取方法包括：步骤一，通过图像采集模块利用CCD传感器摄像设备获取待抓取零部件的数字图像数据；通过图像处本文档来自技高网...

【技术保护点】
1.一种基于视觉分析的零部件定位及抓取方法，其特征在于，所述基于视觉分析的零部件定位及抓取方法包括：/n步骤一，通过图像采集模块利用CCD传感器摄像设备获取待抓取零部件的数字图像数据；通过图像处理模块利用图像处理程序对获取的待抓取零部件的数字图像数据进行预处理，所述预处理包括灰度处理、图像增强处理；/n步骤二，对预处理后的图像做HSV空间下的缺项曲线图，根据所述缺项曲线图将图像分类，删除分类中难以识别的图像；同时计算各图像的相似度，去除相似度在相似度阈值以上的冗余图像；/n步骤三，通过中央控制模块利用单片机或中央控制器控制所述基于视觉分析的零部件定位及抓取系统各个模块的正常工作；/n步骤四，通...

【技术特征摘要】
1.一种基于视觉分析的零部件定位及抓取方法，其特征在于，所述基于视觉分析的零部件定位及抓取方法包括：
步骤一，通过图像采集模块利用CCD传感器摄像设备获取待抓取零部件的数字图像数据；通过图像处理模块利用图像处理程序对获取的待抓取零部件的数字图像数据进行预处理，所述预处理包括灰度处理、图像增强处理；
步骤二，对预处理后的图像做HSV空间下的缺项曲线图，根据所述缺项曲线图将图像分类，删除分类中难以识别的图像；同时计算各图像的相似度，去除相似度在相似度阈值以上的冗余图像；
步骤三，通过中央控制模块利用单片机或中央控制器控制所述基于视觉分析的零部件定位及抓取系统各个模块的正常工作；
步骤四，通过图像集数生成模块利用图像集数生成程序采集待抓取零部件的数字图像数据，并将所述数字图像数据像按照类别顺序建立训练样本集，根据所述训练样本集生成图像集数；
步骤五，通过训练器模型构建模块利用模型构建程序基于步骤四生成的所述图像集数，使用深度神经网络或HOG+SVM算法对所述训练样本集进行训练，得到训练器模型；
步骤六，通过视觉分析处理模块利用所述训练器模型处理所述待抓取零部件的数字图像后得到训练后的图像，通过视觉分析程序对采集的待抓取零部件的数字图像数据进行解码处理，获取目标零部件的相关图像及其他数据；
步骤七，通过特征提取模块对处理后的零部件图像数据进行处理，得到所有零部件的有向直线段集合；采用特征直线的筛选及二维特征点的确定方法对零部件图像的有向直线段集合进行处理获得特征直线；
步骤八，对于每条特征直线，将提取的相互邻接的各个有向直线段作为二叉树的一个节点，根据邻接关系在正、负方向上分别构建两棵以该特征直线作为根节点且最大深度为m的二叉树，正方向为沿着特征直线方向，负方向为沿着特征直线方向的反方向；
步骤九，分别遍历这两棵二叉树从根节点到叶节点的根通路，将一个正二叉树的根通路和一个负二叉树的根通路之间进行任意两两排列组合，每个组合构成特征直线的一条有向直线链，一条特征直线构造至少一条有向直线链；
步骤十，将不少于4节点的有向直线链作为一个链状特征F；利用特征提取程序基于处理后的零部件图像数据将提取的链状特征的特征向量作为零部件图像的特征数据；
步骤十一，通过目标匹配模块利用匹配程序将提取的待抓取零部件的特征以及尺寸数据与获取的目标零部件的相关图像、尺寸数据进行匹配，判断待抓取的零部件的坐标位置；
步骤十二，通过抓取模块基于确定的待抓取的零部件的坐标位置数据调整工业机器人或机械手的位置以及姿态数据进行待抓取零部件的抓取；
步骤十三，通过数据存储模块利用存储器存储获取的待抓取零部件的数字图像数据、图像集数、训练器模型、目标零部件的相关图像及其他数据、待抓取零部件的特征以及尺寸数据、坐标位置；
步骤十四，通过显示模块利用显示器显示获取的待抓取零部件的数字图像数据、图像集数、训练器模型、目标零部件的相关图像及其他数据、待抓取零部件的特征以及尺寸数据、坐标位置的实时数据。


2.如权利要求1所述的基于视觉分析的零部件定位及抓取方法，其特征在于，步骤一中，所述摄像设备为CCD传感器摄像设备或Kinect深度相机。


3.如权利要求1所述的基于视觉分析的零部件定位及抓取方法，其特征在于，步骤一中，所述通过图像处理模块利用图像处理程序对获取的待抓取零部件的数字图像数据进行预处理的方法，包括：
(1)对获取的待抓取零部件的数字图像数据进行灰度处理；
(2)对灰度处理后的图像数据以某个像素为中心像素取数个滤波区间，获取各滤波区间内像素灰度值集合；
(3)分别计算各滤波区间的像素灰度值方差，以像素灰度值方差最小的滤波区间为最佳滤波区间；
(4)以最佳滤波区间对中心像素进行中值滤波，然后以该中心像素遍历零部件图像中的每个像素，得到滤波处理后的图像；
(5)采用二值化处理滤波处理的图像数据，得到处理后的待抓取零部件的图像增强数据。


4.如权利要求1所述的基于视觉分析的零部件定位及抓取方法，其特征在于，步骤五中，所述基于所述图像集数，使用深度神经网络对所述训练样本集进行训练，得到训练器模型的方法，包括：
(i)设定预先建立的深度神经网络参数的初始值，所述深度神经网络包括输入层、中间变量层和输出层；
其中，所述参数包括用于调节长期权值和短期权值对输出神经元的影响比例的变量σ、变化步长δ、神经元非线性函数的变化曲率a、偏移量s和随训练次数变化的变量b；
(ii)根据所述图像集数对所述神经网络进行训练，直到各个神经元的可变权值的变动在预设允许范围内结束训练。


5.如权利要求1所述的基于视觉分析的零部件定位及抓取方法，其特征在于，步骤七中，所述...

【专利技术属性】
技术研发人员：郑于海，王长华，陶杰，何霖杰，姚琳，姜瑜，
申请(专利权)人：浙江省机电设计研究院有限公司，
类型：发明
国别省市：浙江;33