面向3C装配场景基于计算机视觉及机器学习的机械臂系统技术方案

本发明专利技术提供了一种面向3C装配场景基于计算机视觉及机器学习的机械臂系统，包括：基于具有多自由度高精度工业机械臂，运动灵活，可完成多种复杂3C装配任务；具有安装于机械臂前端的单目相机，采用ORB跟踪算法，配合IMU单元，实时精准地测算机械臂前端运动轨迹与位姿；具有可观测全局的固定位置结构光式深度相机，采用基于MobileNet的YoloV4

【技术实现步骤摘要】
面向3C装配场景基于计算机视觉及机器学习的机械臂系统


[0001]本专利技术涉及机械臂智能控制领域，具体地，涉及一种面向3C装配场景基于计算机视觉及机器学习的机械臂系统，尤其涉及一种面向复杂3C装配场景的基于深度视觉及机器学习的多自由度机械臂系统。

技术介绍

[0002]3C装配场景具有环境复杂、任务复杂的特点，这要求3C自动化生产线上不仅机需要具有极高精度的机械臂，还要求机械臂完成多种复杂的动作。然而，目前工业场景中应用的机械臂系统，一般是按照内置程序以固定模式工作，因此不同工艺流程需要采购不同的机械臂；此外，当生产工艺发生改变时，需要重新编写内置程序或者采购新型机械臂。这些将耗费大量人力、物力，极大提高了3C自动化生产线建造与运维成本。
[0003]在复杂环境与任务条件下，机器人如何通过自主学习和推理获取知识，并进行精确、高效和快速的高级学习与决策，是当前机器人智能技术亟待解决的关键问题之一。这技术的突破将极大提高工业机器人自主运动与灵巧操作的快速性、高效性和准确性，对智能制造和国民生活产生重大而深远的影响。近年来，随着人工智能、机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向3C装配场景基于计算机视觉及机器学习的机械臂系统，其特征在于，包括：机械臂部件；所述机械臂部件包括：机械臂手腕、五指手部件；所述五指手部件包括：五指手外壳、五指指尖部件；所述机械臂部件采用3D打印ABS树脂材料；所述机械臂手腕、五指手部件采用1060铝合金；所述五指指尖部件采用3D软胶覆膜。2.根据权利要求1所述的面向3C装配场景基于计算机视觉及机器学习的机械臂系统，其特征在于，使用Maxon电机及驱动器；机械臂手腕具备屈伸及外旋/内翻两个主动自由度；五指手部件具备4个主动自由度；所述手部件包括：中大拇指具、食指指具及三指指具；中大拇指具有外展/内收与屈伸两个主动自由度，食指指具及三指指具有屈伸两个自由度。3.根据权利要求1所述的面向3C装配场景基于计算机视觉及机器学习的机械臂系统，其特征在于，还包括：单目摄像机、深度摄像机；所述单目摄像机位于机械臂的前端并随之运动，用于机械臂轨迹追踪；所述深度摄像机能够采集人体示教数据与目标RGB
‑
D信息。4.根据权利要求1所述的面向3C装配场景基于计算机视觉及机器学习的机械臂系统，其特征在于，还包括：动作学习模块；所述动作学习模块采用基于监督学习的视觉示教迁移学习算法；所述动作学习模块学习具有目标类型和操作成败标签的人体手臂装配目标物体的视频，对于训练视频中出现的各类物体，确定操作成功率最高位置作为最佳位点，获取运动轨迹策略信息。5.根据权利要求1所述的面向3C装配场景基于计算机视觉及机器学习的机械臂系统，其特征...

【专利技术属性】
技术研发人员：李智军，徐梁睿，李琴剑，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：