一种基于模拟器的机械手抓取和操纵方法技术

本发明专利技术中提出的一种基于模拟器的机械手抓取和操纵方法，其主要内容包括：模拟初始化、执行仿真任务和数据采集、后期处理，其过程为，先通过初始对象、手的配置、属性和抓取候选数据库进行模拟初始化，接着通过不同图像的抓取映射和通过某种形式的并行化在可行的时间量内创建数据集，执行仿真任务和数据采集，最后基于对象的聚合数据和预处理，形成对象抓取数据库，并进行后期处理。本发明专利技术基于模拟器的机械手抓取和操纵方法，减少了噪声，受到传感器的限制也大大减小；提高了机械手的灵活性、稳定性，也提高了测量的精确度。

【技术实现步骤摘要】
一种基于模拟器的机械手抓取和操纵方法
本专利技术涉及智能机器人领域，尤其是涉及了一种基于模拟器的机械手抓取和操纵方法。
技术介绍
机器人灵巧手作为人类活动肢体的有效延伸，能够完成灵活、精细的抓取操作，越来越成为机器人领域的热门研究方向之一。相对于简单的末端操作器，机器人灵巧手具有通用性强、感知能力丰富、能够实现满足几何封闭和力封闭的精确、稳固抓取等优点。它是一个高度集成的、具有多种感知功能和智能化的机电系统，涉及机构学、仿生学、自动控制、传感器技术、计算机技术、人工智能、通讯技术、微电子学、材料学等多个研究领域和交叉学科。机械手可广泛应用于危险环境作业、海洋资源探测以及空间探测中，将来也将逐渐普及到我们的日常生活中。但是目前的机械手由于受到传感器限制(包括噪声)，通常，测量结果都不够精确。本专利技术提出了一种基于模拟器的机械手抓取和操纵方法，先通过初始对象、手的配置、属性和抓取候选数据库进行模拟初始化，接着通过不同图像的抓取映射和通过某种形式的并行化在可行的时间量内创建数据集，执行仿真任务和数据采集，最后基于对象的聚合数据和预处理，形成对象抓取数据库，并进行后期处理。本专利技术减少了噪声，受到传感器的限制也大大减小；提高了机械手的灵活性、稳定性，也提高了测量的精确度。
技术实现思路
针对测量结果不精确的问题，本专利技术的目的在于提供一种基于模拟器的机械手抓取和操纵方法，先通过初始对象、手的配置、属性和抓取候选数据库进行模拟初始化，接着通过不同图像的抓取映射和并行化，执行仿真任务和数据采集，最后基于对象的聚合数据和预处理，形成对象抓取数据库。为解决上述问题，本专利技术提供一种基于模拟器的机械手抓取和操纵方法，其主要内容包括：(一)模拟初始化；(二)执行仿真任务和数据采集；(三)后期处理。其中，所述的模拟初始化，每个模拟需要一个初始对象和手的配置；对象属性需要被定义，并且需要生成可能的抓取候选列表；包括初始对象、手的配置、属性和抓取候选数据库。进一步地，所述的初始对象和手的配置和属性，从预处理所有对象网格开始；每个对象网格被加载到Python脚本中，并获得对象质量和惯性中心的估计；使用这些预处理值，将每个网格加载到机器人仿真模拟软件(V-REP)中，确定对象的初始静止姿态和抓手的初始姿态；首先为对象分配一个边界框，该边界框通过相对{W}重新定向对象的姿势，将帧中心分配为对象的几何中心来估计对象的姿势；然后沿着{T}的正Z方向放置对象0.3m；相对于{T}，使用纯平移分量使对象居中在(x,y)＝(0.0)，保持静止姿态；给定该静止姿态，然后将抓取沿着正Z方向放置在{O}中的初始位置；选择距离对象的中心米，从局部框架到沿着x,y,z的边界框边缘方向；记录所有对象属性(包括对象姿势，对象边界框和材料)和抓取姿态，并对数据集中的每个对象重复此过程。进一步地，所述的抓取候选数据库，在模拟中用于覆盖可能的抓取候选空间的方法，基于对象配置的前后乘法，其被表示为变换矩阵；给定对象的边界框和夹具姿态，通过围绕对象全局地旋转抓取(预乘)和局部(后乘)来计算离线抓取候选；分别在X，Y和Z轴上乘以3×3旋转矩阵RX(α)RY(β)RZ(γ)；省略α,β,γ，根据下式计算变换矩阵：其中，Q表示抓取坐标系的最终变换；计算抓取候选项在Python脚本中离线执行，并使用对象的估计边界框，变换矩阵和选择约束使围绕Z轴(即每45°)发生8次旋转，并且局部旋转将以比全局旋转稍微更细的尺度发生。进一步地，所述的抓取候选，在计算公式(1)之后，检查新夹具位置是否合适(如果是，取消夹紧候选)，求解线性方程组，检查来自夹具手掌的向量法线是否与对象的边界框相交；如果相交，将抓取候选添加到抓取候选数据库中，并重复该过程，直到旋转列表用尽；在数据库中的所有可能的候选项中，在模拟器中选择最多10000个验证。其中，所述的执行仿真任务和数据采集，包括不同图像的抓取映射和并行化；通过将对象加载到模拟中，并且在初始化阶段记录的值初始化其质量，惯性和姿态而开始；对象最初被放置在静态步骤中，使得当指尖与对象接触时，对象不移动；加载对象后，模拟器在初始化阶段对潜在候选项子集进行采样以进行测试；由于抓取配置和与工作台或物体的潜在碰撞，若抓取不可行，则停止当前尝试并移动到下一个候选处。进一步地，所述的测试，使用接近传感器检查每个可行的抓取候选验证手掌面向物体；如果在该位置，连接抓取的接近传感器检测物体，则其记录所检测的表面点，并在距离检测到的表面点的距离为：0.06，0.09，0.12m处尝试三个抓取(使用相同的抓取取向)，并沿着原来的手掌法线；这些距离被选择为在手掌和BarrettHand(巴雷特机械手)的指尖(0.145m)之间的距离内，并允许以略微不同的尺度探查物体的几何形状；在每一次尝试期间，照相机沿着局部负Z方向定位在距离手掌0.25m的距离处，并且在尝试抓取之前记录对象的图像；一旦抓取被放置并且记录了图像，操纵器在物体周围闭合；如果所有指尖与物体接触，则物体变为动态模拟，并且从升高过程开始；选择相对于{T}(0.0，0.0，0.60m)的目标提升位置，并且迫使机械手在行进期间保持当前的抓握姿势；一旦抓取已经到达目标位置，如果所有指尖仍然与物体接触，则认为握持是稳定的并且成功；重复该过程，直到抓取候选列表用尽；在V-REP中，使用运动库包装器来计算轨迹，并沿着生成的路径执行增量步骤。进一步地，所述的不同的图像和抓取映射，由于抓取编程总是以类似的方式围绕物体闭合，所以在夹紧过程中收集物体的两个不同视图分别是：(1)相机的方向总是向上(一对多映射)；(2)相机的方向总是匹配抓取的方向(一对一映射)；通过唤起图像和抓握之间的一对多映射来将不明确性引入到抓握空间中；在这种情况下，夹具取向不直接与照相机取向相关，这意味着单个图像可以对应于可能许多不同的夹具；然而，引入了图像和抓握之间更直接的关系；在图像中捕获的对象的相似定向反映了抓握内的相似定向。进一步地，所述的并行化，因为这样大量的抓取候选被采样，并且要评估的对象的数量相对高，为了在可行的时间量内创建数据集，需要某种形式的并行化；由于来自需要来自图形卡的少量存储器的视觉传感器的要求，在服务器下，以没有任何图形界面的模式运行操作每个场景。其中，所述的后期处理，在仿真中，通过深度缓冲器捕获的信息被编码到[0,1]之间的范围，并且可以通过以下操作解码为真实值：I＝Xnear+I*(Xfar-Xnear)(2)其中,I是收集的图像，Xnear，Xfar分别是近和远剪裁平面；删除所有对象抓取实例对，其中图像方差小于1e-3；当相机高度与桌子高度相匹配时，删除所收集图像的所有抓取。附图说明图1是本专利技术一种基于模拟器的机械手抓取和操纵方法的系统流程图。图2是本专利技术一种基于模拟器的机械手抓取和操纵方法的抓取候选数据库。图3是本专利技术一种基于模拟器的机械手抓取和操纵方法的执行仿真任务的流程图。图4是本专利技术一种基于模拟器的机械手抓取和操纵方法的数据采集过程。具体实施方式需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本专利技术作进一步详细说明。图1是本专利技术一种基于模拟器的机械手抓取和操纵方法的系统流程本文档来自技高网...

【技术保护点】
一种基于模拟器的机械手抓取和操纵方法，其特征在于，主要包括模拟初始化(一)；执行仿真任务和数据采集(二)；后期处理(三)。

【技术特征摘要】
1.一种基于模拟器的机械手抓取和操纵方法，其特征在于，主要包括模拟初始化(一)；执行仿真任务和数据采集(二)；后期处理(三)。2.基于权利要求书1所述的模拟初始化(一)，其特征在于，每个模拟需要一个初始对象和手的配置；对象属性需要被定义，并且需要生成可能的抓取候选列表；包括初始对象、手的配置、属性和抓取候选数据库。3.基于权利要求书2所述的初始对象和手的配置和属性，其特征在于，从预处理所有对象网格开始；每个对象网格被加载到Python脚本中，并获得对象质量和惯性中心的估计；使用这些预处理值，将每个网格加载到机器人仿真模拟软件(V-REP)中，确定对象的初始静止姿态和抓手的初始姿态；首先为对象分配一个边界框，该边界框通过相对{W}重新定向对象的姿势，将帧中心分配为对象的几何中心来估计对象的姿势；然后沿着{T}的正Z方向放置对象0.3m；相对于{T}，使用纯平移分量使对象居中在(x,y)＝(0.0)，保持静止姿态；给定该静止姿态，然后将抓取沿着正Z方向放置在{O}中的初始位置；选择距离对象的中心米，从局部框架到沿着x,y,z的边界框边缘方向；记录所有对象属性(包括对象姿势，对象边界框和材料)和抓取姿态，并对数据集中的每个对象重复此过程。4.基于权利要求书2所述的抓取候选数据库，其特征在于，在模拟中用于覆盖可能的抓取候选空间的方法，基于对象配置的前后乘法，其被表示为变换矩阵；给定对象的边界框和夹具姿态，通过围绕对象全局地旋转抓取(预乘)和局部(后乘)来计算离线抓取候选；分别在X，Y和Z轴上乘以3×3旋转矩阵RX(α)RY(β)RZ(γ)；省略α,β,γ，根据下式计算变换矩阵：其中，Q表示抓取坐标系的最终变换；计算抓取候选项在Python脚本中离线执行，并使用对象的估计边界框，变换矩阵和选择约束使围绕Z轴(即每45°)发生8次旋转，并且局部旋转将以比全局旋转稍微更细的尺度发生。5.基于权利要求书4所述的抓取候选，其特征在于，在计算公式(1)之后，检查新夹具位置是否合适(如果是，取消夹紧候选)，求解线性方程组，检查来自夹具手掌的向量法线是否与对象的边界框相交；如果相交，将抓取候选添加到抓取候选数据库中，并重复该过程，直到旋转列表用尽；在数据库中的所有可能的候选项中，在模拟器中选择最多10000个验证。6.基于权利要求书1所述的执行仿真任务和数据采集(二)，其特征在于，包括不同图像的抓取映射和并行化；通过将对象加载到模拟中，并且在初始化阶段记录的值初始化其质量，惯性和姿态而开始；对象最初被放置在静态步骤中，使得当指尖与对象接触时，对象不移...

【专利技术属性】
技术研发人员：夏春秋，
申请(专利权)人：深圳市唯特视科技有限公司，
类型：发明
国别省市：广东,44