一种基于机器视觉与触觉融合感知的装置制造方法及图纸

本发明专利技术属于机器融合感知技术领域，具体为一种基于机器视觉与触觉融合感知的装置，包括视觉处理模块、触觉处理模块、物体识别模块和机器人动作模块；其中，所述视觉处理模块包括RGBD相机、图像预处理模块和深度学习模型，RGBD相机采集目标物体信息，经过图像预处理模块后将信息输入到深度学习模型，对物体进行初步识别；识别精度达到阈值要求，输出识别结果，未能达到阈值要求，将初步识别结果输入到机器学习器贝叶斯模型作为先验概率，利用视觉的初始信息对物体进行初步判断，并通过视觉定位物体的位置，然后控制机器人自动接触物体，完成进一步的触觉探索，提取更多物体特征，最后利用深度学习或者机器学习方法融合多源异构信息进行物体的识别。息进行物体的识别。息进行物体的识别。

【技术实现步骤摘要】
一种基于机器视觉与触觉融合感知的装置


[0001]本专利技术涉及机器融合感知
，具体为一种基于机器视觉与触觉融合感知的装置。

技术介绍

[0002]人类本能地使用视觉、触觉、听觉等多感官来感知周围的环境。一些感知模式是非接触性的，如视觉和听觉；还有一些感知模式是接触性的，如触摸。更狭义地说，视觉反馈可以获得全局信息，如语义和几何物体属性的信息；而触觉反馈只能获得局部信息，如物体的表面粗糙度，不平整度甚至是轮廓曲率。通过局部的触觉反馈可用于准确的定位和操纵控制。对于物体感知和灵巧的操纵任务，这两种类型的感知方式是必不可少的，也是互补的。
[0003]随着传感器技术和人工智能技术的发展，机器人感知、决策能力不断提高，机器人的发展正在从机器属性向人的属性转化。然而，机器人对物体的认知辨别能力仍然远不如人类。
[0004]人类综合利用多种感知信息来完成物体认知过程，其中触觉和视觉是最关键的两种信息。功能磁共振成像数据表明在识别物体的过程中，人类触觉和视觉信号是以多感官协同方式处理。受人脑跨模态协同处理的启发，国外有研究人员使用触觉和视觉信号为触觉属性分类设计了深度学习架构，并证明了触觉和视觉信号是互补的，结合两种形式的数据可以提高性能。
[0005]目前机器人采用单一的传感有很大的局限性，无法获取全面的数据(物体的特征)，所以需要多种感知手段融合，以提高机器人识别精度。但是如何合理的融合多种传感手段，提高物体感知精度，促进机器人操作的灵巧程度是需要解决的技术难题。目前还鲜有融合视觉感知和触觉探索来提取物体特征并识别物体的装置，尤其是针对可变形物体，为此，本专利技术提出的基于机器视觉与触觉融合感知的装置可填补此类技术的空白。

技术实现思路

[0006]本部分的目的在于概述本专利技术的实施方式的一些方面以及简要介绍一些较佳实施方式。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0007]鉴于现有技术中存在的问题，提出了本专利技术。
[0008]因此，本专利技术的目的是提供一种基于机器视觉与触觉融合感知的装置，能够实现能够利用视觉的初始信息对物体进行初步判断，并通过视觉定位物体的位置，然后控制机器人自动接触物体，完成进一步的触觉探索，提取更多物体特征，最后利用深度学习或者机器学习方法融合多源异构信息进行物体的识别。
[0009]为解决上述技术问题，根据本专利技术的一个方面，本专利技术提供了如下技术方案：
[0010]一种基于机器视觉与触觉融合感知的装置，包括视觉处理模块、触觉处理模块、物
体识别模块和机器人动作模块；
[0011]其中，
[0012]所述视觉处理模块包括RGBD相机、图像预处理模块和深度学习模型，RGBD相机采集目标物体信息，经过图像预处理模块后将信息输入到深度学习模型，对物体进行初步识别；识别精度达到阈值要求，输出识别结果，未能达到阈值要求，将初步识别结果输入到机器学习器贝叶斯模型作为先验概率；
[0013]触觉处理模块包括机械臂和触觉传感器，利用视觉处理模块定位物体相对机械臂的位置，基于视觉获取的位置，控制机械臂到达物体表面，利用触觉传感器和机械臂探索动作提取物体的特征信息，利用触觉表面探索获取物体的表面粗糙度，不平整度甚至是轮廓曲率，利用按压获取物体硬度分度，将获取的特征信息，输入到事先训练好的机器学习器，利用视觉剔除掉可以确信的非相关物体，对物体实现进一步感知，直到输出满足阈值要求的结果。
[0014]作为本专利技术所述的一种基于机器视觉与触觉融合感知的装置的一种优选方案，其中：具体感知步骤如下：
[0015]步骤S1：利用摄像头获取目标物体图像信息(RGB)并预处理图像原始数据；
[0016]步骤S2：采用深度学习算法，实现对目标物体初步检测判别；
[0017]步骤S3：将抽取的视觉特征传入机器学习器进行判断；判断成功进行步骤S7，判断失败进行步骤S4；
[0018]步骤S4：根据视觉感知获取的位置信息，控制机械臂到达目标位置，
[0019]步骤S5：控制机械臂进行触觉探索动作，并调用触觉传感器采集目标物体的信息，然后提取其特征；
[0020]步骤S6：将通过触觉获取的物体特征导入步骤S3，将多种物体特征融合传入机器学习器进行进一步的物体识别；
[0021]步骤S7：判断成功，输出目标物体的识别结果。
[0022]作为本专利技术所述的一种基于机器视觉与触觉融合感知的装置的一种优选方案，其中：RGBD相机为RealSenceD435i相机，图像处理具体执行方法如下：首先，将RGB图像转换为HSV图像，然后将HSV图像吐入它的色调(h)、饱和度(s)和值(v)分量，并在v上应用自适应直方图均衡化，降低亮度变化，得到v1；在合并了三个组件(h、s、v1)后，再进行转换将合并后的图像返回到RGB中，得到了一个新的对象图像；对于暗光条件下，根据试错试验，需要补充照明以更好地识别。
[0023]作为本专利技术所述的一种基于机器视觉与触觉融合感知的装置的一种优选方案，其中：利用视觉反馈检测对象，根据YOLOv5网络的实时性能选择，且不依赖样本量；通过YOLOv5网络的检测试验完成后，识别结果不正确或置信度太低，则进行具有额外特征的新检测试验，需要进行触觉探索。
[0024]作为本专利技术所述的一种基于机器视觉与触觉融合感知的装置的一种优选方案，其中：采用PID或者模糊PID等方法实现控制机器人进行触觉探索。
[0025]与现有技术相比，本专利技术的有益效果是：对物体的识别精度提高，尤其针对一些具有欺骗性的物体，如物体外形类似，但是具备不同的硬度、表面粗糙度和平整度等，对于这些物体，仅靠视觉感知，识别精度很低，在融合触觉提取的特征后大大提高了识别精度。
[0026]通过视觉和触觉感知融合的推进，能使机器人在认知复杂度上面逐渐接近人类的能力，使机器人在面对照明和遮挡、噪声和混响、运动和相似等复杂交互场景时，更加游刃有余，从而产生各种收益明显的现实应用。
附图说明
[0027]为了更清楚地说明本专利技术实施方式的技术方案，下面将结合附图和详细实施方式对本专利技术进行详细说明，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0028]图1为本专利技术步骤流程示意图。
具体实施方式
[0029]为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图对本专利技术的具体实施方式做详细的说明。
[0030]在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是本专利技术还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本专利技术内涵的情况下做类似推广，因此本专利技术不受下面公开的具体实施方式的限制。
[0031]其次，本专利技术结本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器视觉与触觉融合感知的装置，其特征在于：包括视觉处理模块、触觉处理模块、物体识别模块和机器人动作模块；其中，所述视觉处理模块包括RGBD相机、图像预处理模块和深度学习模型，RGBD相机采集目标物体信息，经过图像预处理模块后将信息输入到深度学习模型，对物体进行初步识别；识别精度达到阈值要求，输出识别结果，未能达到阈值要求，将初步识别结果输入到机器学习器贝叶斯模型作为先验概率；触觉处理模块包括机械臂和触觉传感器，利用视觉处理模块定位物体相对机械臂的位置，基于视觉获取的位置，控制机械臂到达物体表面，利用触觉传感器和机械臂探索动作提取物体的特征信息，利用触觉表面探索获取物体的表面粗糙度，不平整度甚至是轮廓曲率，利用按压获取物体硬度分度，将获取的特征信息，输入到事先训练好的机器学习器，利用视觉剔除掉可以确信的非相关物体，对物体实现进一步感知，直到输出满足阈值要求的结果。2.根据权利要求1所述的一种基于机器视觉与触觉融合感知的装置，其特征在于：具体感知步骤如下：步骤S1：利用摄像头获取目标物体图像信息(RGB)并预处理图像原始数据；步骤S2：采用深度学习算法，实现对目标物体初步检测判别；步骤S3：将抽取的视觉特征传入机器学习器进行判断；判断成功进行步骤S7，判断失败进行步骤S4；步骤S4：根据视觉感知获取的位置信...

【专利技术属性】
技术研发人员：孙腾，张喆，李楠，苗中华，
申请(专利权)人：上海大学，
类型：发明
国别省市：