【技术实现步骤摘要】
一种基于深度学习的仿人机械手控制系统及其控制方法
本专利技术涉及深度学习图像处理及机械臂控制的
，尤其是指一种基于深度学习的仿人机械手控制系统及其控制方法。
技术介绍
自上世纪50年代末美国Unimation研发出世界上第一台工业机器人以来，工业机器人的应用就逐渐普及到生活、生产的方方面面，包括但不限于工业生产、组装、海洋探索开发、太空探索、医疗应用等领域，极大程度的改善了人们的生活与工作条件。随着机器人技术的不断发展，机器人已逐渐走向智能化，面向酒店服务、家庭服务的服务型机器人越来越多，相对应的人机交互技术、机器人智能化控制技术等急需研发、改进与完善。机器视觉检测与控制技术是采用机器视觉、机器手代替人眼、人脑、人手来进行检测、测量、分析、判断和决策控制的智能测控技术，是人类模仿自身视觉感知能力实现自动化测量和控制的重要手段，能够同时满足智慧工厂环境感知和自主控制的多项需求。机器视觉感知控制技术可用于智慧工厂中的精密制造自动化生产线、智能机器人、在线检测装备、细微操作、工程机械、虚拟现实产品设计等多个领域。人们一直在探索与开发机械自动化、智能化的理论与算法，...
【技术保护点】
1.一种基于深度学习的仿人机械手控制系统，其特征在于，包括：图像采集模块，用于实现工作场景的图像采集及图像预处理功能；物体检测与识别模块，用于实现对所采集图像中的目标物体进行检测，识别出相应的类别；仿人机械手控制决策模块，用于实现仿人机械手运动轨迹规划，根据上述两个模块的处理结果对目标物体所在位置进行运动决策并实现运动轨迹的自我学习。
【技术特征摘要】
1.一种基于深度学习的仿人机械手控制系统，其特征在于，包括：图像采集模块，用于实现工作场景的图像采集及图像预处理功能；物体检测与识别模块，用于实现对所采集图像中的目标物体进行检测，识别出相应的类别；仿人机械手控制决策模块，用于实现仿人机械手运动轨迹规划，根据上述两个模块的处理结果对目标物体所在位置进行运动决策并实现运动轨迹的自我学习。2.根据权利要求1所述的一种基于深度学习的仿人机械手控制系统，其特征在于：所述图像采集模块利用Kinectv2为主体的计算机视觉模块进行图像采集工作，获取RGB图像，并进行图像预处理工作，裁剪图片使得单张图片像素大小为1000*600。3.根据权利要求1所述的一种基于深度学习的仿人机械手控制系统，其特征在于：所述物体检测与识别模块包含物体检测与识别方法和物体检测与识别模型，其中：所述物体检测与识别方法使用深度学习方法，使用公开数据集COCO、VOC2007、CIFAR-100、ImageNet进行模型的训练，使用基于Faster-RCNN方法的网络进行模型构建，采用RPN+CNN+ROI结构对图像进行处理与训练，针对特定的类别进行识别效果提升实验；所述物体检测与识别模型采用卷积神经网络CNN进行构建，包含卷积层、池化层、全连接层和激活层；对于一张输入的图片，先由卷积层通过卷积核对图片进行卷积操作，得到图片中局部区域的特征信息，通过卷积核在图片中的滑动操作获得整张图片的特征信息，卷积核的移动方向是从左往右每次移动1个步长stride，当到达图片右边缘时则回到最左边并往下移动1个步长stride，实际使用时，能够根据需要更改卷积核、步长的大小；池化层紧接卷积层，通过对卷积层的特征信息进行小区域的特征提取以降低整张图片的数据维度，从而降低对图片进行训练的难度以及复杂度；全连接层处于卷积层的末端，将经过卷积层与池化层处理的图像的特征信息进行整合以便于进行分类与预测；区域建议网络RPN在卷积网络CNN之后，根据卷积结果用一个3*3的滑动窗口生成一个长为256维度的全连接特征后分为两个全连接层reg-layer和cls-layer，其中前者用于预测proposal的中心点坐标和高宽、后者用于判定proposal是前景还是背景；区域建立网络RPN处理结果与卷积神经网络CNN的结果一并输入到感兴趣区域池化层ROIpoolinglayer，该层实现从原图区...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。