基于3D视觉的体感交互系统技术方案

本发明专利技术公开一种基于3D视觉的体感交互系统，包括：主机、从机以及被打磨物体；所述主机包括手持打磨设备、3D体感设备、控制柜、示教器，手持打磨设备以及3D体感设备与控制柜连接，控制柜控制示教器；手持打磨设备用于打磨被打磨物体，3D体感设备收集人体动作信息，控制柜内设有机器视觉系统和深度学习系统，并对手持打磨设备以及3D体感设备的信息进行优化处理；从机包括机械臂，包括控制系统和机械结构，控制系统接收以及处理所述控制柜的信息，并驱动所述机械机构进行工作。本发明专利技术的一种基于3D视觉的体感交互系统通过手持打磨设备和3D体感设备对模型进行3D重建，并在模型上直接生成运动轨迹，让示教更简单，保障工人的安全问题和健康问题。

Body sense interaction system based on 3D vision

【技术实现步骤摘要】
基于3D视觉的体感交互系统
本专利技术涉及工业机器人领域，尤其是涉及一种打磨机器人基于3D视觉的体感交互系统。
技术介绍
近年来国内开始逐渐重视并发展工业自动化，打磨机器人目前在汽车零部件、陶瓷卫浴行业、家电行业、工业零部件、医疗器械等行业已经有较为成熟的应用，但相对焊接、抛光打磨、搬运码垛等机器人应用来说，国内抛光打磨应用规模还比较小。目前常用的打磨机器人，重心放置于机器与机器之间的交互效率的提高，关注机器与人之间的交互效率的提高的较少。对于打磨的示教过程的优化主要集中在离线编程、拖动示教和对现有的示教器的优化，而离线编程解决方案能够解决轨迹编程复杂的问题，但是它要求工件一致性好，工作站标定精确，这使得工业机器人在打磨过程中安装、调试和使用难度依然很大；而拖动示教的精度和力度难以把握，造成容易造成打偏打糊的效果。目前部分厂商在研究打磨机器的智能化和自动化，但是局限于传统打磨机器人，比如前期利用拖动示教来操作大型机器以获取数据，工人的安全问题和健康问题无法得到完全的保障，且操作不便捷。
技术实现思路
本专利技术的目的是为了解决现有技术中的问题，提出一种工人的安全问题和健康问题得到保障且操作便捷的应用基于3D视觉的体感交互系统的打磨机器人。本专利技术采用的技术方案如下：一种基于3D视觉的体感交互系统，包括：主机、从机以及被打磨物体；所述主机包括手持打磨设备、3D体感设备、控制柜、示教器，所述手持打磨设备以及所述3D体感设备与所述控制柜连接，所述控制柜控制所述示教器；所述手持打磨设备用于打磨被打磨物体，并记录打磨的力度和轨迹，并将信息传输至所述控制柜中；所述3D体感设备收集人体动作信息，并进行图像处理，识别出人体动作，并将信息传输至所述控制柜中；所述控制柜内设有机器视觉系统和深度学习系统，并对所述手持打磨设备以及所述3D体感设备的信息进行优化处理；所述示教器接收所述控制柜处理后的信息；所述从机包括机械臂，所述机械臂与所述控制柜连接，所述控制柜将信息传输至所述机械臂，并控制所述机械臂进行工作；所述机械臂包括控制系统和机械结构，所述控制系统接收以及处理所述控制柜的信息，并驱动所述机械机构进行工作。进一步地，所述机械结构包括多自由度的手臂、连接所述手臂的根部以及连接所述根部的底盘，所述根部以及所述底盘可以全方位旋转。进一步地，所述多自由度的手臂设有不同自由度的关节，所述关节对应设有电机。进一步地，所述机械臂对所述手持打磨设备的打磨轨迹以及力度信息和所述3D体感设备的人体动作信息进行实时处理，并完成相应的动作。进一步地，所述手持打磨设备内设有六维力传感位移传感器。另外，一种基于3D视觉的体感交互系统，包括：被打磨物体；控制柜，所述控制柜连接手持打磨设备、3D体感设备、示教器、机械臂，所述控制柜内设有机器视觉系统和深度学习系统；所述基于3D视觉的体感交互系统的操作步骤如下：步骤一，所述手持打磨设备打磨被打磨物体，并记录相应的位移轨迹和力度数据，同时所述3D体感设备识别人体动作信息；步骤二，所述机器视觉系统和所述深度学习系统对所述被打磨物体和所述机械臂进行三维重建；步骤三，利用三维重建生成的模型和步骤一中记录的数据优化出最佳轨迹和力度，并存储到控制柜中；步骤四，通过所述示教器选择刚才生成的轨迹；步骤五，所述机械臂进行调节校正，同时结合所述机器视觉系统和轨迹数据进行初始定位。步骤六，所述机械臂按照生成的轨迹打磨被打磨物体，形成共件。进一步地，所述机械臂设有六维力传感器。本专利技术的有益效果是：本专利技术的基于3D视觉的体感交互系统通过所述手持打磨设备和所述3D体感设备对模型进行3D重建，并在模型上直接生成运动轨迹，让示教更简单，保障工人的安全问题和健康问题。另外一种基于3D视觉的体感交互系统简化了示教过程，只需要工人示教一次，就可以在加工同种物体，不需要在对每个机器示教，操作便捷。另外通过深度学习系统，结合机器视觉系统和3D体感设备，对路径进行优化，节省打磨时间，更智能化。本专利技术的优选实施方案及其有益效果，将结合具体实施方式进一步详细说明。附图说明附图是用来提供对本专利技术的进一步理解，并构成说明书的一部分，与下面的具体实施方式一起用于解释本专利技术，但不应构成对本专利技术的限制。在附图中，图1：本专利技术的基于3D视觉的体感交互系统连接示意图；图2：本专利技术的基于3D视觉的体感交互系统的示教器上的3D模型和轨迹力度显示图。具体实施方式以下结合附图对本专利技术的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本专利技术，并不用于限制本专利技术。请参照图1-2所示，本专利技术的实施例公开的基于3D视觉的体感交互系统，包括：主机、从机以及被打磨物体。所述主机包括手持打磨设备、3D体感设备、控制柜、示教器，所述手持打磨设备以及所述3D体感设备与所述控制柜连接，所述控制柜控制所述示教器。所述手持打磨设备在示教时用于打磨被打磨物体，并记录打磨的力度和轨迹，并将信息传输至所述控制柜中。所述3D体感设备收集示教时人体动作信息，并进行图像处理，识别出人体动作，并将信息传输至所述控制柜中。应用了所述手持打磨设备和所述3D体感设备收集信息，不需要再进行离线编程，简化了程序以及过程。所述控制柜内设有机器视觉系统和深度学习系统，并对所述手持打磨设备以及所述3D体感设备的信息进行优化处理。所述示教器接收所述控制柜处理后的信息。所述机器视觉系统和所述深度学习系统，基于每次提取的工人手持打磨设备运动时系统记录的轨迹、力度等数据特征，通过所述机器视觉系统评估打磨学习结果，根据评估结果对所述机械臂自身的位置不断进行调整修正，最终优化打磨路径。所述从机包括机械臂，所述机械臂与所述控制柜连接，所述控制柜将信息传输至所述机械臂，并控制所述机械臂进行工作。所述机械臂包括控制系统和机械结构，所述控制系统接收以及处理所述控制柜的信息，并驱动所述机械机构进行工作。进一步地，所述机械结构包括多自由度的手臂、连接所述手臂的根部以及连接所述根部的底盘，所述根部以及所述底盘可以全方位旋转。进一步地，所述多自由度的手臂设有不同自由度的关节，所述关节对应设有电机。进一步地，所述机械臂对所述手持打磨设备的打磨轨迹以及力度信息和所述3D体感设备的人体动作信息进行实时处理，并完成相应的动作。进一步地，所述手持打磨设备内设有六维力传感位移传感器，利于获取运动的轨迹以及力度数据等信息。另外，一种基于3D视觉的体感交互系统，包括：被打磨物体；控制柜，所述控制柜连接手持打磨设备、3D体感设备、示教器、机械臂，所述控制柜内设有机器视觉系统和深度学习系统；所述基于3D视觉的体感交互系统的操作步骤如下：步骤一，所述手持打磨设备打磨被打磨物体，并记录相应的位移轨迹和力度数据，同时所述3D体感设备识别人体动作信息；步骤二，所述机器视觉系统和所述深度学习系统对所述被打磨物体和所述机械臂进行三维重建；步骤三，利用三维重本文档来自技高网...

【技术保护点】
1.一种基于3D视觉的体感交互系统，其特征在于，包括：/n主机、从机以及被打磨物体；/n所述主机包括手持打磨设备、3D体感设备、控制柜、示教器，所述手持打磨设备以及所述3D体感设备与所述控制柜连接，所述控制柜控制所述示教器；所述手持打磨设备用于打磨被打磨物体，并记录打磨的力度和轨迹，并将信息传输至所述控制柜中；所述3D体感设备收集人体动作信息，并进行图像处理，识别出人体动作，并将信息传输至所述控制柜中；所述控制柜内设有机器视觉系统和深度学习系统，并对所述手持打磨设备以及所述3D体感设备的信息进行优化处理；所述示教器接收所述控制柜处理后的信息；/n所述从机包括机械臂，所述机械臂与所述控制柜连接，所述控制柜将信息传输至所述机械臂，并控制所述机械臂进行工作；所述机械臂包括控制系统和机械结构，所述控制系统接收以及处理所述控制柜的信息，并驱动所述机械机构进行工作。/n

【技术特征摘要】
1.一种基于3D视觉的体感交互系统，其特征在于，包括：
主机、从机以及被打磨物体；
所述主机包括手持打磨设备、3D体感设备、控制柜、示教器，所述手持打磨设备以及所述3D体感设备与所述控制柜连接，所述控制柜控制所述示教器；所述手持打磨设备用于打磨被打磨物体，并记录打磨的力度和轨迹，并将信息传输至所述控制柜中；所述3D体感设备收集人体动作信息，并进行图像处理，识别出人体动作，并将信息传输至所述控制柜中；所述控制柜内设有机器视觉系统和深度学习系统，并对所述手持打磨设备以及所述3D体感设备的信息进行优化处理；所述示教器接收所述控制柜处理后的信息；
所述从机包括机械臂，所述机械臂与所述控制柜连接，所述控制柜将信息传输至所述机械臂，并控制所述机械臂进行工作；所述机械臂包括控制系统和机械结构，所述控制系统接收以及处理所述控制柜的信息，并驱动所述机械机构进行工作。


2.如权利要求1所述的基于3D视觉的体感交互系统，其特征在于：所述机械结构包括多自由度的手臂、连接所述手臂的根部以及连接所述根部的底盘，所述根部以及所述底盘可以全方位旋转。


3.如权利要求2所述的基于3D视觉的体感交互系统，其特征在于：所述多自由度的手臂设有不同自由度的关节，所述关节对应设有电机。


4.如权利要求3所述的基于3...

【专利技术属性】
技术研发人员：曾泳，刘淑君，莫彩鑫，李嘉龙，张雯雯，徐坤林，高萌，黄键，
申请(专利权)人：佛山智能装备技术研究院，广东轻工职业技术学院，
类型：发明
国别省市：广东;44