基于视觉和触觉的物体边缘识别方法、装置、系统及介质制造方法及图纸

本发明专利技术实施例公开了一种基于视觉和触觉的物体边缘识别方法、装置、系统及介质，方法包括：利用主动触觉探索算法获取物体全局触觉信息，并根据所述物体全局触觉信息提取物体边缘轮廓1；利用视觉算法处理三维点云信息，并提取物体边缘轮廓信息2；所述三维点云信息由视觉传感器得到；利用贝叶斯模型将所述物体边缘轮廓1和物体边缘轮廓2进行融合，得到物体最终边缘特征。实施本发明专利技术实施例，将视觉和触觉相融合来实现物体边缘特征的识别，所识别的物体边缘特征可用到机械臂抓取中，从而提高机械臂抓取的准确性、鲁棒性和可靠性。

【技术实现步骤摘要】
基于视觉和触觉的物体边缘识别方法、装置、系统及介质
本专利技术涉及机器人认知
，具体涉及一种基于视觉和触觉的物体边缘识别方法、装置、系统及介质。
技术介绍
机器人技术快速发展的今天，机器人的应用领域越来越广，市场对机器人的要求也越来越高，特别是机械臂抓取领域。目前机械臂抓取主要依赖视觉去识别抓取物体，因为缺乏触觉反馈就只能抓形状简单、硬度大的物体，而无法抓取几何形状复杂和柔软脆弱的物体，严重限制了机械臂与机械手的应用范围。视觉和触觉的融合可以取长补短。视觉擅长在远距离提供几何和位置信息，而触摸则可以在近距离接触提供小范围的几何、纹理和力信息。触摸具有更好的分辨率，并且不受遮挡的影响。而且，视觉对于自由空间运动是有效的，因为它能够定位和识别遥不可及的物体。在与操作物体接触期间，触觉将能够提供精确信息，以进行细微但至关重要的调整。如果应用得当，视觉和触觉的传感融合能够提高机械臂抓取的准确性、鲁棒性和可靠性。
技术实现思路
针对上述技术缺陷，本专利技术实施例的目的在于提供一种基于视觉和触觉的物体边缘识别方法、装置、系统及介质。为实现上述目的，第一方面，本专利技术实施例提供了一种基于视觉和触觉的物体边缘识别方法，包括：利用主动触觉探索算法获取物体全局触觉信息，并根据所述物体全局触觉信息提取物体边缘轮廓1；利用视觉算法处理三维点云信息，并提取物体边缘轮廓信息2；所述三维点云信息由视觉传感器得到；利用贝叶斯模型将所述物体边缘轮廓1和物体边缘轮廓2进行融合，得到物体最终边缘特征。作为本申请的一种具体实施方式，所述主动触觉探索算法包括：数据处理步骤：获取触觉传感器采样过程中第t-1次的后验概率，根据所述后验概率计算物体边缘角度的边际概率和物体边缘位置的边际概率，根据所述物体边缘角度的边际概率和物体边缘位置的边际概率确定最终认知的目标角度和目标位置；其中，t为自然数；主动探索步骤：根据预设的控制策略、最终认知的目标角度和目标位置计算当前触觉探索动作，所述触觉传感器执行所述当前触觉探索动作；信息编码步骤：获取所述触觉传感器执行当前触觉探索动作所得到的当前触觉信息，对所述当前触觉信息进行编码以得到目标数据，采用贝叶斯算法对所述目标数据进行处理以得到所述物体边缘轮廓1。作为本申请的一种具体实施方式，提取物体边缘轮廓2的具体过程包括：物体表面曲率与法向量计算步骤：获取视觉传感器采集的物体信息，采用主成分分析算法对所述物体信息进行提取处理，以得到物体表面曲率和法向量；目标曲面提取步骤：根据所述物体表面曲率、法向量和三维点云信息生成结构点云，采用区域增长算法对所述结构点云进行曲面分割并提取目标曲面信息；目标平面的边缘轮廓提取步骤：采用二维的图像处理算法提取目标曲面的边缘轮廓。进一步地，采用主成分分析算法对所述物体信息进行提取处理，以得到物体表面曲率和法向量，具体包括：选取一个目标计算的点选取点云中与的k近邻的点对所述三维点云信息使用主成分分析算法进行处理，公式如下：其中，为近邻的中心点，为协方差矩阵C的特征值和特征向量；根据所述特征值估算所述物体表面曲率，根据所述特征向量估算所述法向量。进一步地，采用二维的图像处理算法提取目标曲面的边缘轮廓，具体包括：对所述目标曲面对应的原始图像进行膨胀添加像素点处理，以得到曲面面积扩大后的第一图像；对所述目标曲面对应的原始图像进行腐蚀去除边缘像素点处理，以得到曲面面积缩小后的第二图像；将所述第一图像和第二图像进行异或处理，得到的剩余点即为曲面边缘点。作为本申请的一种具体实施方式，所述物体边缘轮廓信息2包括边缘角度和边缘位置，得到物体最终边缘特征具体包括：采用高斯分布模型将所述边缘角度和边缘位置转化成多个角度区间和多个位置区间的概率分布；将所述概率分布与所述物体边缘轮廓1融合，以得到所述物体最终边缘特征。第二方面，本专利技术实施例提供了一种基于视觉和触觉的物体边缘识别装置，包括提取模块和融合模块；所述提取模块用于：利用主动触觉探索算法获取物体全局触觉信息，并根据所述物体全局触觉信息提取物体边缘轮廓1；利用视觉算法处理三维点云信息，并提取物体边缘轮廓信息2；所述三维点云信息由视觉传感器得到；所述融合模块用于：利用贝叶斯模型将所述物体边缘轮廓1和物体边缘轮廓2进行融合，得到物体最终边缘特征；其中，所述主动触觉探索算法包括：数据处理步骤：获取触觉传感器采样过程中第t-1次的后验概率，根据所述后验概率计算物体边缘角度的边际概率和物体边缘位置的边际概率，根据所述物体边缘角度的边际概率和物体边缘位置的边际概率确定最终认知的目标角度和目标位置；主动探索步骤：根据预设的控制策略、最终认知的目标角度和目标位置计算当前触觉探索动作，所述触觉传感器执行所述当前触觉探索动作；信息编码步骤：获取所述触觉传感器执行当前触觉探索动作所得到的当前触觉信息，对所述当前触觉信息进行编码以得到目标数据，采用贝叶斯算法对所述目标数据进行处理以得到所述物体边缘轮廓1。第三方面，本专利技术实施例提供了一种基于视觉和触觉的物体边缘识别装置，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。第四方面，本专利技术实施例提供了一种可读存储介质，存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现上述第一方面的方法。第五方面，本专利技术实施例提供了一种基于视觉和触觉的物体边缘识别系统，包括相互通信的触觉传感器、视觉传感器和物体边缘识别装置，所述触觉传感器和时间传感器用于对被检测物体进行边缘识别。其中，所述物体边缘识别装置如上述第三方面所述。实施本专利技术实施例，将视觉和触觉相融合来实现物体边缘特征的识别，所识别的物体边缘特征可用到机械臂抓取中，从而提高机械臂抓取的准确性、鲁棒性和可靠性。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。图1是机械臂与传感器配置环境示意图；图2是本专利技术实施例提供的基于视觉和触觉的物体边缘识别方法的示意流程图；图3a和图3b是角度与位置离散化示意图；图4是概率分布示意图；图5是纯触觉检测算法流程图；图6a及6b是触觉传感器移动探索过程示意图；图7是边缘提取示意图；图8是边缘切线示意图；图9是高斯分布示意图；图10为融合视觉与触觉检测的算法流程图，其中，图中多了视觉先验概率初始化过程；图11是本专利技术第一实施例提供的基于视觉和触觉的物体边缘识别装置结构示意图；图12是本专利技术第二实施本文档来自技高网...

【技术保护点】
1.一种基于视觉和触觉的物体边缘识别方法，其特征在于，包括：/n利用主动触觉探索算法获取物体全局触觉信息，并根据所述物体全局触觉信息提取物体边缘轮廓1；/n利用视觉算法处理三维点云信息，并提取物体边缘轮廓信息2；所述三维点云信息由视觉传感器得到；/n利用贝叶斯模型将所述物体边缘轮廓1和物体边缘轮廓2进行融合，得到物体最终边缘特征。/n

【技术特征摘要】
1.一种基于视觉和触觉的物体边缘识别方法，其特征在于，包括：
利用主动触觉探索算法获取物体全局触觉信息，并根据所述物体全局触觉信息提取物体边缘轮廓1；
利用视觉算法处理三维点云信息，并提取物体边缘轮廓信息2；所述三维点云信息由视觉传感器得到；
利用贝叶斯模型将所述物体边缘轮廓1和物体边缘轮廓2进行融合，得到物体最终边缘特征。


2.如权利要求1所述的物体边缘识别方法，其特征在于，所述主动触觉探索算法包括：
数据处理步骤：获取触觉传感器采样过程中第t-1次的后验概率，根据所述后验概率计算物体边缘角度的边际概率和物体边缘位置的边际概率，根据所述物体边缘角度的边际概率和物体边缘位置的边际概率确定最终认知的目标角度和目标位置；其中，t为大于1的正整数；
主动探索步骤：根据预设的控制策略、最终认知的目标角度和目标位置计算当前触觉探索动作，所述触觉传感器执行所述当前触觉探索动作；
信息编码步骤：获取所述触觉传感器执行当前触觉探索动作所得到的当前触觉信息，对所述当前触觉信息进行编码以得到目标数据，采用贝叶斯算法对所述目标数据进行处理以得到所述物体边缘轮廓1。


3.如权利要求1所述的物体边缘识别方法，其特征在于，提取物体边缘轮廓2的具体过程包括：
物体表面曲率与法向量计算步骤：获取视觉传感器采集的物体信息，采用主成分分析算法对所述物体信息进行提取处理，以得到物体表面曲率和法向量；
目标曲面提取步骤：根据所述物体表面曲率、法向量和三维点云信息生成结构点云，采用区域增长算法对所述结构点云进行曲面分割并提取目标曲面信息；
目标平面的边缘轮廓提取步骤：采用二维的图像处理算法提取目标曲面的边缘轮廓。


4.如权利要求3所述的物体边缘识别方法，其特征在于，采用主成分分析算法对所述物体信息进行提取处理，以得到物体表面曲率和法向量，具体包括：
选取一个目标计算的点选取点云中与的k近邻的点
对所述三维点云信息使用主成分分析算法进行处理，公式如下：



其中，为近邻的中心点，为协方差矩阵C的特征值和特征向量；
根据所述特征值估算所述物体表面曲率，根据所述特征向量估算所述法向量。


5.如权利要求3所述的物体边缘识别方法，其特征在于，采用二维的图像处理算法提取目标曲面的边缘轮廓，具体包括：
对所述目标曲面对应的原始图像进行膨胀添加像素点处理，以得到曲面面积扩大后的第一图像；
对所述目标曲面对应的...

【专利技术属性】
技术研发人员：杨传宇，蒲灿，
申请(专利权)人：深圳阿米嘎嘎科技有限公司，
类型：发明
国别省市：广东;44