【技术实现步骤摘要】
一种基于三维立体视觉和点云深度学习的机器人上料系统
本专利技术涉及属于人工智能的一种机器人上料方法，尤其涉及一种基于三维立体视觉和点云深度学习的机器人上料系统。
技术介绍
目前在制造企业的加工生产中，常见的机器人上下料方法主要有两种：第一种是基于定制工件码垛盘的抓取方案。该方法是将工件严格有序地码垛在码垛盘上，再将码垛盘放置于工业机器人的工作区，经人工示教或者离线编程后，指导机器人到指定的位置上进行抓取。其优点是设备成本相对低廉，对安装场地等需求较小。但其缺点也比较明显：1)工件码垛盘定制的时间、经济成本颇高；2)人工需预先将工件放置在定制的码垛盘上，效率低；3)机器人的运动路径固定，智能化程度低，工件码垛不精确时容易抓取失败。第二种是基于机器视觉的抓取方案，它是目前机器人自动抓取的主要方法。其核心思想是在机器人工作区里设置视觉传感器提取工件位姿信息，从而计算获得机器人的运动路径。其中，比较成熟的技术是通过机器视觉采集工件二维图像进行位姿识别，从而计算获得机器人的运动路径。然而，由于信息缺失，物体的二维图像表...
【技术保护点】
1.一种基于三维立体视觉和点云深度学习的机器人上料系统，其特征在于，至少包括机械手、工件、设有工件上方的视觉传感器以及处理装置，其中，视觉传感器1实时采集视野内物体的三维点云数据，并传输该三维点云数据至处理装置，处理装置基于接收的三维点云数据计算获得的工件的位姿信息，并将该位姿信息传输至机械手，机械手根据接收的位姿信息抓取工件进行上料；/n其中，处理装置包括云前处理模块、点云分类模块、位姿估计模块，云前处理模块用于对接收的三维点云数据进行筛选处理，获得工件点云数据，并将该工件点云数据传输至点云分类模块；点云分类模块用于对基于输入的工件点云数据确定点云数据所属的物体类别，简称...
【技术特征摘要】
1.一种基于三维立体视觉和点云深度学习的机器人上料系统，其特征在于，至少包括机械手、工件、设有工件上方的视觉传感器以及处理装置，其中，视觉传感器1实时采集视野内物体的三维点云数据，并传输该三维点云数据至处理装置，处理装置基于接收的三维点云数据计算获得的工件的位姿信息，并将该位姿信息传输至机械手，机械手根据接收的位姿信息抓取工件进行上料；
其中，处理装置包括云前处理模块、点云分类模块、位姿估计模块，云前处理模块用于对接收的三维点云数据进行筛选处理，获得工件点云数据，并将该工件点云数据传输至点云分类模块；点云分类模块用于对基于输入的工件点云数据确定点云数据所属的物体类别，简称点云类别，该点类别与点云数据组合后形成类点云信息，该类点云信息输入至位姿估计模块；位姿估计模块用于根据类点云信息确定工件的位姿信息。
2.如权利要求1所述的基于三维立体视觉和点云深度学习的机器人上料系统，其特征在于，所述点云前处理模块包含点云高通滤波单元、点云下采样单元、点云平面分割单元以及点云超体聚类分割单元，能依次实现三维点云数据的滤波、下采样、平面分割以及超体聚类分割，最后获得工件点云数据。
3.如权利要求1所述的基于三维立体视觉和点云深度学习的机器人上料系统，其特征在于，所述点云分类模块采用训练好的PointNet深度学习网络来实现识别工件点云数据所归属的物体类别。
4.如权利要求1所述的基于三维立体视觉和点云深度学习的机器人上料系统，其特征在于，位姿估计模块主要包括位置估计单元和姿态估计单元，位置估计单元用以估计输入类点云信息的位置信息(x，y，z)，姿态估计单元用以估计输入类点云信息的姿态信息(Rx，Ry，Rz)；将位置信息(x，y，z)和姿态信息(Rx，Ry，Rz)相组合，即可获得工件位姿信息。
5.如权利要求4所述的基于三维立体视觉和点云深度学习的机器人上料系统，其特征在于，位置估计单元由依次连接的随机采样层、数据前处理层、由多个多层感知器并联组成感知层、池化层、多层感知器A和多层感知器B组成；其中，随机采样层对输入类点云信息进行随机采样获得固定维数的类点云向量；数据前处理层将采样后的类点云向量进行归一化，归一化后的类点云向量的每一维分别输入到具有相同结构且共享内部参数的多层感知器内，多层感知器用于特征映射并将输出的值输入到池化层；池...
【专利技术属性】
技术研发人员：傅建中，王郑拓，徐月同，俞炯炎，顾天翼，褚建农，
申请(专利权)人：浙江大学，红河创新技术研究院，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。