基于多模传感器的信息自动获取方法及装置制造方法及图纸

本发明专利技术公开了一种基于多模传感器的信息自动获取方法及装置，所述多模传感器设置有光学柔性膜以及发射预设红外波长段光照射所述光学柔性膜的红外光源，所述红外光源处于开启状态；该方法包括：基于所述多模传感器采集目标物体对应的图像，并对所述目标物体对应的图像进行分割，得到所述目标物体的第一图像以及所述光学柔性膜的第一红外图像；根据所述第一图像，分析所述目标物体的信息；根据所述第一红外图像，分析所述目标物体作用于所述光学柔性膜的接触力的信息。可见，本发明专利技术通过不受电磁干扰且分辨率高的视觉

【技术实现步骤摘要】
基于多模传感器的信息自动获取方法及装置


[0001]本专利技术涉及传感器
，尤其涉及一种基于多模传感器的信息自动获取方法及装置。

技术介绍

[0002]在机器人进行无序抓取、分拣和组装等需要完成精细操作的过程中，常常需要配合使用视觉和触觉，即需要通过视觉识别和定位物体所在位置以及通过触觉确定施加在物体上的力的大小和角度，以完成相应任务。
[0003]实际应用中，通常是在机器人上安装多个独立传感器，通过对多个独立传感器采集到的数据进行分析，以控制机器人完成相应的任务。然而，实践发现，现有的传感器，如触觉传感器，是基于电容和电阻变化来计算力，容易受到电磁干扰，而无法准确采集到准确的数据，进而无法实现机器人的精准控制。因此，提出一种如何准确采集到相关数据，以实现精准控制机器人的技术方案显得非常重要。

技术实现思路

[0004]本专利技术所要解决的技术问题在于，提供一种基于多模传感器的信息自动获取方法及装置，通过不受电磁干扰且分辨率高的视觉
‑
触觉多模传感器采集物体的图像和光学柔性膜红外图像，并同时进行分析，能够提高物体的视觉信息和触觉信息的分析精准性及效率，从而有利于提高物体的位置、尺寸、物体与多模传感器之间接触力等信息的确定准确性及可靠性，进而有助于提高机器人的控制精度及效率。
[0005]为了解决上述技术问题，本专利技术第一方面公开了一种基于多模传感器的信息自动获取方法，所述多模传感器设置有光学柔性膜以及发射预设红外波长段光照射所述光学柔性膜的红外光源，所述红外光源处于开启状态；
[0006]所述方法包括：
[0007]基于所述多模传感器采集目标物体对应的图像，并对所述目标物体对应的图像进行分割，得到所述目标物体的第一图像以及所述光学柔性膜的第一红外图像，所述第一红外图像为当所述目标物体作用于所述光学柔性膜时采集到的图像；
[0008]根据所述第一图像，分析所述目标物体的信息；
[0009]根据所述第一红外图像，分析所述目标物体作用于所述光学柔性膜的接触力的信息；
[0010]其中，所述目标物体的信息以及所述接触力的信息用于控制机器设备执行与所述目标物体的信息以及所述接触力的信息相匹配的操作。
[0011]作为一种可选的实施方式，在本专利技术第一方面中，在所述基于所述多模传感器采集目标物体对应的图像之前，所述方法还包括：
[0012]对所述多模传感器执行标定操作，得到所述多模传感器的标定模型；所述标定模型包括视觉标定模型和触觉标定模型；
[0013]以及，所述光学柔性膜中设置有光学标签；所述根据所述第一红外图像，分析所述多模传感器受到的接触力的信息，包括：
[0014]将所述第一红外图像中每个像素位置转换为预设世界坐标系下对应的第一重建像素位置，并基于预先确定出的像素值公式计算该第一重建像素位置的值；
[0015]基于所有所述第一重建像素位置以及所有所述第一重建像素位置的值，确定所述第一红外图像的第一重建图像；
[0016]根据所述第一重建图像获取所述光学标签的目标光学标签位置信息，将所述目标光学标签位置信息输入所述触觉标定模型；所述目标光学标签位置信息至少包括所述光学标签的光学标签位置变化信息；
[0017]获取所述触觉标定模型输出的目标接触力组，所述目标接触力组包括接触力强度和接触力角度；
[0018]将所述目标接触力组包括的力强度和力角度确定为所述多模传感器受到的接触力的信息；
[0019]以及，所述根据所述第一图像，分析所述目标物体的信息，包括：
[0020]将所述第一图像中每个像素位置转换为预设世界坐标系下对应的第二重建像素位置，并基于预先确定出的像素值公式计算该第二重建像素位置的值，基于所有所述第二重建像素位置以及所有所述第二重建像素位置的值，确定所述第一图像的第二重建图像；
[0021]根据所述目标物体的纹理在所述第二重建图像中的像素位置，确定所述目标物体的形状和位置信息，所述目标物体的纹理包括彩色纹理或灰度纹理；
[0022]其中，当所述第二重建图像的数量为1时，所述第二重建图像中所述目标物体的纹理对应的所有像素位置中每个该像素位置在所述目标物体上对应的实际位置与所述多模传感器之间的距离相等；
[0023]当所述第二重建图像的数量大于等于2时，所述第二重建图像包括多个第一子重建图像，所有所述第一子重建图像中每个所述第一子重建图像中所述目标物体的纹理对应的所有像素位置中每个该像素位置在所述目标物体上对应的实际位置与所述多模传感器之间的距离相等，所有所述第一子重建图像中每个所述第一子重建图像中所述目标物体的纹理对应的所有像素位置中每个该像素位置在所述目标物体上对应的实际位置与所述多模传感器之间的距离均不相等。
[0024]作为一种可选的实施方式，在本专利技术第一方面中，所述对所述多模传感器执行标定操作，得到所述多模传感器的标定模型，包括：
[0025]确定所述多模传感器的触觉检测集合，所述触觉检测集合包括力强度检测集合和力角度检测集合，所述力强度检测集合包括多个力强度，所述力角度检测集合包括多个力角度；
[0026]对所述力强度检测集合中所有所述力强度与力强度检测集合中所有所述力角度进行随机组合，得到多个接触力组；每个所述接触力组均分别包含一个力强度和一个力角度，且在所有所述接触力组中不存在力强度和力角度均相同的两个接触力组；
[0027]控制机器人根据每个所述接触力组对应的力强度和力角度依次触碰所述光学柔性膜，并控制所述多模传感器采集所述光学柔性膜每次受触碰时所述光学柔性膜的第二红外图像；
[0028]根据每个所述接触力组对应的第二红外图像确定所述光学柔性膜受到该接触力组时所述光学标签的位置信息，得到多个第一光学标签位置信息；
[0029]根据第二光学标签位置信息和每个所述接触力组对应的第一光学标签位置信息，确定每个所述接触力组对应的光学标签位置变化信息；其中，所述第二光学标签位置信息为在所述光学柔性膜处于非受力状态时所述光学标签的位置信息；
[0030]建立每个所述接触力组和与该接触力组对应的光学标签位置信息之间的关联关系，并基于所有所述接触力组中每个所述接触力组与该接触力组对应的光学标签位置信息之间的关联关系，构建所述多模传感器的触觉标定模型，作为所述多模传感器的标定模型；
[0031]其中，当所述光学标签的数量为1时，所述接触力组对应的光学标签位置信息为该接触力组对应的光学标签位置变化信息，或者，所述接触力组对应的光学标签位置信息为该接触力组对应的光学标签位置变化信息和所述第二光学标签位置信息；
[0032]当所述光学标签的数量大于等于2时，所述接触力组对应的光学标签位置信息为该接触力组对应的所有所述光学标签的光学标签位置变化信息，或者，所述接触力组对应的光学标签位置信息为该接触力组对应的所有所述光学标签的光学标签位置变化信息和所述第二光学标签位置信息。
[0033]作为一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模传感器的信息自动获取方法，其特征在于，所述多模传感器设置有光学柔性膜以及发射预设红外波长段光照射所述光学柔性膜的红外光源，所述红外光源处于开启状态；所述方法包括：基于所述多模传感器采集目标物体对应的图像，并对所述目标物体对应的图像进行分割，得到所述目标物体的第一图像以及所述光学柔性膜的第一红外图像，所述第一红外图像为当所述目标物体作用于所述光学柔性膜时采集到的图像；根据所述第一图像，分析所述目标物体的信息；根据所述第一红外图像，分析所述目标物体作用于所述光学柔性膜的接触力的信息；其中，所述目标物体的信息以及所述接触力的信息用于控制机器设备执行与所述目标物体的信息以及所述接触力的信息相匹配的操作。2.根据权利要求1所述的基于多模传感器的信息自动获取方法，其特征在于，在所述基于所述多模传感器采集目标物体对应的图像之前，所述方法还包括：对所述多模传感器执行标定操作，得到所述多模传感器的标定模型；所述标定模型包括视觉标定模型和触觉标定模型；以及，所述光学柔性膜中设置有光学标签；所述根据所述第一红外图像，分析所述多模传感器受到的接触力的信息，包括：将所述第一红外图像中每个像素位置转换为预设世界坐标系下对应的第一重建像素位置，并基于预先确定出的像素值公式计算该第一重建像素位置的值；基于所有所述第一重建像素位置以及所有所述第一重建像素位置的值，确定所述第一红外图像的第一重建图像；根据所述第一重建图像获取所述光学标签的目标光学标签位置信息，将所述目标光学标签位置信息输入所述触觉标定模型；所述目标光学标签位置信息至少包括所述光学标签的光学标签位置变化信息；获取所述触觉标定模型输出的目标接触力组，所述目标接触力组包括接触力强度和接触力角度；将所述目标接触力组包括的力强度和力角度确定为所述多模传感器受到的接触力的信息；以及，所述根据所述第一图像，分析所述目标物体的信息，包括：将所述第一图像中每个像素位置转换为预设世界坐标系下对应的第二重建像素位置，并基于预先确定出的像素值公式计算该第二重建像素位置的值，基于所有所述第二重建像素位置以及所有所述第二重建像素位置的值，确定所述第一图像的第二重建图像；根据所述目标物体的纹理在所述第二重建图像中的像素位置，确定所述目标物体的形状和位置信息，所述目标物体的纹理包括彩色纹理或灰度纹理；其中，当所述第二重建图像的数量为1时，所述第二重建图像中所述目标物体的纹理对应的所有像素位置中每个该像素位置在所述目标物体上对应的实际位置与所述多模传感器之间的距离相等；当所述第二重建图像的数量大于等于2时，所述第二重建图像包括多个第一子重建图像，所有所述第一子重建图像中每个所述第一子重建图像中所述目标物体的纹理对应的所有像素位置中每个该像素位置在所述目标物体上对应的实际位置与所述多模传感器之间
的距离相等，所有所述第一子重建图像中每个所述第一子重建图像中所述目标物体的纹理对应的所有像素位置中每个该像素位置在所述目标物体上对应的实际位置与所述多模传感器之间的距离均不相等。3.根据权利要求2所述的基于多模传感器的信息自动获取方法，其特征在于，所述对所述多模传感器执行标定操作，得到所述多模传感器的标定模型，包括：确定所述多模传感器的触觉检测集合，所述触觉检测集合包括力强度检测集合和力角度检测集合，所述力强度检测集合包括多个力强度，所述力角度检测集合包括多个力角度；对所述力强度检测集合中所有所述力强度与力强度检测集合中所有所述力角度进行随机组合，得到多个接触力组；每个所述接触力组均分别包含一个力强度和一个力角度，且在所有所述接触力组中不存在力强度和力角度均相同的两个接触力组；控制机器人根据每个所述接触力组对应的力强度和力角度依次触碰所述光学柔性膜，并控制所述多模传感器采集所述光学柔性膜每次受触碰时所述光学柔性膜的第二红外图像；根据每个所述接触力组对应的第二红外图像确定所述光学柔性膜受到该接触力组时所述光学标签的位置信息，得到多个第一光学标签位置信息；根据第二光学标签位置信息和每个所述接触力组对应的第一光学标签位置信息，确定每个所述接触力组对应的光学标签位置变化信息；其中，所述第二光学标签位置信息为在所述光学柔性膜处于非受力状态时所述光学标签的位置信息；建立每个所述接触力组和与该接触力组对应的光学标签位置信息之间的关联关系，并基于所有所述接触力组中每个所述接触力组与该接触力组对应的光学标签位置信息之间的关联关系，构建所述多模传感器的触觉标定模型，作为所述多模传感器的标定模型；其中，当所述光学标签的数量为1时，所述接触力组对应的光学标签位置信息为该接触力组对应的光学标签位置变化信息，或者，所述接触力组对应的光学标签位置信息为该接触力组对应的光学标签位置变化信息和所述第二光学标签位置信息；当所述光学标签的数量大于等于2时，所述接触力组对应的光学标签位置信息为该接触力组对应的所有所述光学标签的光学标签位置变化信息，或者，所述接触力组对应的光学标签位置信息为该接触力组对应的所有所述光学标签的光学标签位置变化信息和所述第二光学标签位置信息。4.根据权利要求3所述的基于多模传感器的信息自动获取方法，其特征在于，所述光学标签吸收所述预设红外波长段光且不吸收可见光；其中，所述根据每个所述接触力组对应的第二红外图像确定所述光学柔性膜受到该接触力组时所述光学标签的位置信息，包括：根据每个所述接触力组对应的第二红外图像生成该接触力组对应的第三重建图像；每个所述接触力组对应的第三重建图像中所述光学标签所在像素位置的像素值小于该第三重建图像中除所述光学标签所在像素位置之外的其他像素位置的像素值；根据所有所述接触力组中每个所述接触力组对应的第三重建图像中所述光学标签所在像素位置的像素值，从该第三重建图像中分割出该接触力组对应的光学标签区域；确定每个所述接触力组对应的光学标签区域在该接触力组对应的第三重建图像中的位置信息，作为所述光学柔性膜受到该接触力组时该接触力组对应的所述光学标签的位置
信息；以及，所述确定每个所述接触力组对应的光学标签区域在该接触力组对应的第三重建图像中的位置信息，作为所述光学柔性膜受到该接触力组时该接触力组对应的所述光学标签的位置信息，包括：根据每个所...

【专利技术属性】
技术研发人员：田宜彬，王凌，陈伟，陈刚，刘诚，
申请(专利权)人：光沦科技深圳有限公司，
类型：发明
国别省市：