基于虚拟视觉的机器人示教控制方法技术

本发明专利技术公开了基于虚拟视觉的机器人示教控制方法，包括示教端搭建虚拟示教环境，控制端获取其中的机器人和工件的信息，建模端根据上述信息重建工件三维模型，获取模型的图像并标定工件在相机坐标系下的坐标；控制端响应于其操控子界面的选定和触发指令，获取标定数据和模型的图像，并构建标定数据与机器人坐标的映射，根据模型的图像及映射关系，将工件的位姿从工件坐标系转变到机器人坐标系下；示教端根据转变后的工件的位姿，控制机器人对工件进行夹取，以完成示教。本申请通过交互显示技术来控制和展示机器人的示教过程，降低了示教难度和学习难度，保证了数据的统一性，且使得工件的位姿准确地配准到实际被夹取的位置，提高示教效果。示教效果。示教效果。

【技术实现步骤摘要】
基于虚拟视觉的机器人示教控制方法


[0001]本专利技术涉及机器人仿真控制
，特别涉及基于虚拟视觉的机器人示教控制方法。

技术介绍

[0002]ABB机器人具有效率高、柔性好、智能化等特点，因此在工业和服务领域都得到广泛应用。根据任务要求，机器人应用通常需要集成一个或多个末端执行器和工作对象进行交互，并驱使末端执行器按照指定的空间运动轨迹进行运动。末端执行器运动轨迹的生成，是通过机器人示教过程来实现。目前，机器人示教主要包括直接示教、拖动示教以及离线编程三种方法。直接示教、拖动示教的方法较为传统，而离线编程的方法为新兴的方法，能够克服直接示教、拖动示教的方法的缺陷。现有的离线编程的机器人示教方法仍存在如下缺陷：
[0003]①
离线编程的示教方法通常以源代码的方法呈现机器人动作，示教动作不够直观，不利于学习者进行学习；
[0004]②
目前的示教教学通常通过视觉识别软件识别处于工件坐标系下的工件，并将识别到的工件坐标直接提供给机器人来实现工件夹取。首先，现有的视觉识别过程存在透视的缺陷，这导致识别到的坐标值与实际值存在偏差的问题；其次，机器人的操作基准坐标系为关节坐标系或工具坐标系，视觉识别软件的坐标系为相机坐标系，两者的基准坐标系不同，这导致机器人所得到的工件的坐标数据也存在偏差，所得到的工件坐标数据与其实际夹取的坐标位置不同。由于工件的三维模型以及其与机器人的相对位姿的准确与否将影响示教效果，若无法将工件处于工件坐标系下的位置配准到实际需要夹取的位置，将会使得机器人的工件夹取操作出现操作误差，机器人无法根据预设的编程来完成工件的夹取，进而无法达到预期的示教效果。
[0005]③
进行示教时，通常需要用户在终端同时打开机器人仿真软件、编程软件等多个软件，这容易加重终端的负载，导致终端的运行效率较低，严重则会导致终端宕机。另外，参与示教的多个软件间并不进行数据交互和映射，在用户操作多个软件时，容易出现数据错误或错乱的情况，进而影响示教效果。
[0006]④
对于初学者而言，机器人仿真软件、三维建模软件、编程软件等多个软件的操作难度较大，容易出现初学者有操作不熟练或者不会操作等问题。这无疑会加重示教者的示教难度和示教负担，同时也会增加学习者学习机器人的操控的难度，不利于学习者快速上手进行机器人的操作和控制。
[0007]以上技术问题亟待解决。

技术实现思路

[0008]本专利技术的目的是提供基于虚拟视觉的机器人示教控制方法，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
[0009]本专利技术解决其技术问题的解决方案是：第一方面，本申请提供基于虚拟视觉的机器人示教控制方法，包括如下步骤：
[0010]搭建虚拟示教环境，所述虚拟示教环境中布置有虚拟平台和虚拟机器人，随机生成多个虚拟工件并将所述虚拟工件放置于所述虚拟平台上；
[0011]获取由控制端发送的第二坐标信息，根据所述第二坐标信息控制所述虚拟机器人抓取放置在所述虚拟平台上的虚拟工件，进行仿真示教。
[0012]第二方面，本申请提供基于虚拟视觉的机器人示教控制方法，包括如下步骤：
[0013]获取由控制端发送的所述虚拟工件的位姿信息，构建与虚拟工件匹配的三维透视模型，并根据所述位姿信息调整所述三维透视模型的位姿；
[0014]通过虚拟相机采集所述三维透视模型的俯视图像，生成工件透视图像，同时标定所述三维透视模型在相机坐标系下的坐标信息。
[0015]第三方面，本申请提供基于虚拟视觉的机器人示教控制方法，包括如下步骤：
[0016]显示主界面，所述主界面包括示教通讯区域、建模通讯区域和操控区域；
[0017]响应于对所述示教通讯区域的选定指令，构建与示教端的连接，并获取所述虚拟机器人的第一坐标信息和所述虚拟工件的位姿信息；
[0018]其中，所述第一坐标信息包括虚拟机器人在机器人坐标系下的轴坐标信息，所述虚拟工件的位姿信息包括虚拟工件在工件坐标系下的轴坐标信息；
[0019]响应于对所述建模通讯区域的选定指令，构建与建模端的连接，并将所述虚拟工件及其位姿信息传输给所述建模端；
[0020]响应于对所述操控区域的选定指令，显示操控子界面，所述操控子界面包括标定设置区域、绑定区域、配置区域和运行控件，所述绑定区域包括绑定界面控件，所述配置区域包括标定选择子区域和执行设置控件；
[0021]响应于对所述标定设置区域的选定指令，获取与所述执行设置区域的选定指令对应的标定数据和工件透视图像，所述标定数据包括多个坐标标定模板，每个所述坐标标定模板对应于一个所述虚拟工件，所述工件透视图像为所述虚拟工件的三维透视模型的俯视图像；
[0022]响应于对所述绑定界面控件的触发指令，显示数据绑定窗口，通过所述数据绑定窗口将所述坐标标定模板映射至所述第一坐标信息中，响应于对所述数据绑定窗口中的退出控件的触发指令，显示所述操控子界面；
[0023]响应于在所述标定选择子区域的选择指令，在所述标定选择子区域中显示与所述标定选择子区域的选择指令对应的坐标标定模板，响应于对所述执行设置控件的触发指令，确定与所述执行设置控件的触发指令对应的执行方式；
[0024]响应于对所述运行控件的触发指令，根据所述执行方式，利用与所述标定选择子区域的选择指令对应的坐标标定模板，将所述虚拟工件在相机坐标系下的坐标信息转换为在机器人坐标系下的坐标信息，并将所述虚拟工件在机器人坐标系下的坐标信息作为第二坐标信息输出至所述示教端。
[0025]本专利技术的有益效果是：提供基于虚拟视觉的机器人示教控制方法，结合了交互显示技术，通过交互显示技术来控制和直观地展示机器人的示教过程，有效地降低了示教者的示教难度和学习者的学习难度，同时实现了多个软件之间的数据交互和映射，保证数据
的统一性，避免数据错乱或者错误的问题出现，降低数据问题对示教效果的不良影响；另外，本申请通过数据映射的方式来实现虚拟工件从工件坐标系转换到机器人坐标系下，使得工件的位姿准确地配准到实际被夹取的位置，提高机器人夹取工件的精准度，在提高示教效果的同时提供了视觉效果，有利于学习者观察示教过程。
[0026]本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
[0027]图1为本申请提供的应用于控制端的示教控制方法的流程图；
[0028]图2为本申请提供的示教端所搭建的虚拟示教环境的示意图；
[0029]图3为本申请提供的示教端仿真示教的示意图；
[0030]图4为本申请提供的建模端的建模界面的示意图；
[0031]图5为本申请提供的建模端的通讯界面的示意图；
[0032]图6为本申请提供的操控子界面的示意图；
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于虚拟视觉的机器人示教控制方法，其特征在于，包括如下步骤：搭建虚拟示教环境，所述虚拟示教环境中布置有虚拟平台和虚拟机器人，随机生成多个虚拟工件并将所述虚拟工件放置于所述虚拟平台上；获取由控制端发送的第二坐标信息，根据所述第二坐标信息控制所述虚拟机器人抓取放置在所述虚拟平台上的虚拟工件，进行仿真示教。2.基于虚拟视觉的机器人示教控制方法，其特征在于，包括如下步骤：获取由控制端发送的所述虚拟工件的位姿信息，构建与虚拟工件匹配的三维透视模型，并根据所述位姿信息调整所述三维透视模型的位姿；通过虚拟相机采集所述三维透视模型的俯视图像，生成工件透视图像，同时标定所述三维透视模型在相机坐标系下的坐标信息。3.基于虚拟视觉的机器人示教控制方法，其特征在于，包括如下步骤：显示主界面，所述主界面包括示教通讯区域、建模通讯区域和操控区域；响应于对所述示教通讯区域的选定指令，构建与示教端的连接，并获取所述虚拟机器人的第一坐标信息和所述虚拟工件的位姿信息；其中，所述第一坐标信息包括虚拟机器人在机器人坐标系下的轴坐标信息，所述虚拟工件的位姿信息包括虚拟工件在工件坐标系下的轴坐标信息；响应于对所述建模通讯区域的选定指令，构建与建模端的连接，并将所述虚拟工件及其位姿信息传输给所述建模端；响应于对所述操控区域的选定指令，显示操控子界面，所述操控子界面包括标定设置区域、绑定区域、配置区域和运行控件，所述绑定区域包括绑定界面控件，所述配置区域包括标定选择子区域和执行设置控件；响应于对所述标定设置区域的选定指令，获取与所述执行设置区域的选定指令对应的标定数据和工件透视图像，所述标定数据包括多个坐标标定模板，每个所述坐标标定模板对应于一个所述虚拟工件，所述工件透视图像为所述虚拟工件的三维透视模型的俯视图像；响应于对所述绑定界面控件的触发指令，显示数据绑定窗口，通过所述数据绑定窗口将所述坐标标定模板映射至所述第一坐标信息中，响应于对所述数据绑定窗口中的退出控件的触发指令，显示所述操控子界面；响应于在所述标定选择子区域的选择指令，在所述标定选择子区域中显示与所述标定选择子区域的选择指令对应的坐标标定模板，响应于对所述执行设置控件的触发指令，确定与所述执行设置控件的触发指令对应的执行方式；响应于对所述运行控件的触发指令，根据所述执行方式，利用与所述标定选择子区域的选择指令对应的坐标标定模板，将所述虚拟工件在相机坐标系下的坐标信息转换为在机器人坐标系下的坐标信息，并将所述虚拟工件在机器人坐标系下的坐标信息作为第二坐标信息输出至所述示教端。4.根据权利要求3所述的基于虚拟视觉的机器人示教控制方法，其特征在于，所述执行设置控件包括第一设置控件和第二设置控件，所述响应于对所述执行设置控件的触发指令，确定与所述执行设置控件的触发指令对应的执行方式包括：响应于对所述第一设置控件的触发指令，确定与所述第一设置控件的触发指令对应的
执行方式为第一执行方式；或者，响应于对所述第二设置控件的触发指令，确定与所述第二设置控件的触发指令对应的执行方式为第二执行方式。5.根据权利要求4所述的基于虚拟视觉的机器人示教控制方法，其特征在于，所述根据所述执行方式，利用与所述标定选择子区域的选择指令对应的坐标标定模板，将所述虚拟工件在相机坐标系下的坐标信息转换为在机器人坐标系下的坐标信息，包括：当所述执行方式为第一执行方式时，根据所述第一执行方式，利用与所述标定选择子区域的选择指令对应的坐标标定模板，将所述坐标标定模板对应的虚拟工件在相机坐标系下的坐标信息转换为在机器人坐标系下的坐标信息；或者，当所述执行方式为第二执行方式时，获取多个所述坐标标定模板的排序，以与所述标定选择子区域的选择指令对应的坐标标定模板为首个坐标标定模板，按照多个所述坐标标定模板的排序，依次将所述坐标标定模板对应的虚拟工件在相机坐标系下的坐标信息转换为在机器人坐标系下的坐标信息。6.根据权利要求3所述的基于虚拟视觉的机器人示教控制方法，其特征在于，所述数据绑定窗口包括映射源显示子区域、映射目标显示子区域、刷新数据控件、绑定信号控件和绑定结果子区域；所述通过所述数据绑定窗口...

【专利技术属性】
技术研发人员：简志雄，武交峰，张晓鹏，李梓满，张维威，罗瑜清，欧俊杰，车海波，卢冬雪，
申请(专利权)人：广东环境保护工程职业学院，
类型：发明
国别省市：