视触觉传感器及其三维重建方法、系统、设备及存储介质技术方案

本申请提供了一种视触觉传感器及其三维重建方法、系统、设备及存储介质，涉及传感器技术领域，这里视触觉传感器使用双目相机拍摄图像，能够对图像分区域实现立体匹配过程，进而更好地完成多曲率物体的三维重建。该方法包括：对视触觉传感器中双目相机进行标定处理，将双目相机拍摄得到的两个图像处理为参考图像和匹配图像，将参考图像和匹配图像划分为参考图像对应的边缘点区域和非边缘点区域、匹配图像对应的边缘点区域和非边缘点区域，结合边缘点区域内匹配点对应的视差和非边缘点区域内匹配点对应的视差，计算参考图像和匹配图像中所有匹配点的深度值，使用参考图像和匹配图像中所有匹配点的深度值对双目图像的表面进行三维重构。行三维重构。行三维重构。

【技术实现步骤摘要】
视触觉传感器及其三维重建方法、系统、设备及存储介质


[0001]本申请涉及传感器
，尤其涉及一种视触觉传感器及其三维重建方法、系统、设备及存储介质。

技术介绍

[0002]近年来，相关研究者已经研发出基于不同原理的触觉传感器，并用于各类机器人感知与任务操作，例如，压阻式、磁场式、光电式等，但是它们受力之后所产生的信号十分微弱，在经过信号放大处理电路之后，数据往往包含了很多干扰，对于研究形成了巨大阻碍。相较于传统的压力阵列触觉传感器，视触觉传感器通过相机系统捕捉由接触产生的胶体形变信息，然后采用计算机视觉算法将其建模为不同的触觉特征，具有空间分辨率高、成本低以及传感器信息丰富等优势，已逐渐成为目标触觉传感器研究领域的热点方向。
[0003]目前主要使用的是GelSight类视触觉传感器、深度相机触觉传感器和双目视触觉传感器。其中，GelSight类视触觉传感器采用单目与RGB彩色光源相结合的结构设计，并通过光度立体算法对接触三维几何形状进行高精度感知，但目前仍存在光源结构设计及标定复杂、难以拓展到多曲率接触表面场景等问题。深度相机触本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视触觉传感器的三维重建方法，其特征在于，所述视触觉传感器使用双目相机拍摄图像，所述方法包括：对视触觉传感器中双目相机进行标定处理，将双目相机拍摄得到的两个图像处理为参考图像和匹配图像；针对所述参考图像和匹配图像分别进行边缘检测，划分为参考图像对应的边缘点区域和非边缘点区域、匹配图像对应的边缘点区域和非边缘点区域；利用预先在视触觉传感器上设置的标记点对所述参考图像和匹配图像对应的边缘点区域进行逐点匹配，使用匹配得到的像素点坐标计算边缘点区域内匹配点对应的视差；利用匹配算法对所述参考图像和匹配图像对应的非边缘点区域进行逐点匹配，使用匹配得到的像素点坐标计算非边缘点区域内匹配点对应的视差；结合所述边缘点区域内匹配点对应的视差和所述非边缘点区域内匹配点对应的视差，计算参考图像和匹配图像中所有匹配点的深度值，使用所述参考图像和匹配图像中所有匹配点的深度值对双目图像的表面进行三维重构。2.根据权利要求1所述的方法，其特征在于，所述对视触觉传感器中双目相机进行标定处理，将双目相机拍摄得到的两个图像处理为参考图像和匹配图像，包括：对视触觉传感器中双目相机进行摄像机的标定处理，得到双目相机在成像过程中涉及到的第一参数，使用所述第一参数将双目相机拍摄得到的两个图像处理为世界坐标系中的参考图像和匹配图像；对视触觉传感器中双目相机进行极线校正的标定处理，得到双目相机在成像过程中涉及到的第二参数，使用所述第二参数将双目相机拍摄得到的两个图像处理为同一观察平面上的参考图像和匹配图像。3.根据权利要求2所述的方法，其特征在于，所述对视触觉传感器中双目相机进行摄像机的标定处理，得到双目相机在成像过程中涉及到的第一参数，使用所述第一参数将双目相机拍摄得到的两个图像处理为世界坐标系中的参考图像和匹配图像，包括：对视触觉传感器中双目相机进行摄像机的标定处理，获取双目相机在成像过程涉及的内参矩阵和外参矩阵；使用标定工具确定图像特征点之间对应的关系估计参数，利用所述关系估计参数对所述内参矩阵进行优化处理；利用优化处理后的内参矩阵和所述外参矩阵将双目相机拍摄得到的两个图像对应的图像坐标系转换至世界坐标系，得到世界坐标系中的参考图像和匹配图像。4.根据权利要求2所述的方法，其特征在于，所述对视触觉传感器中双目相机进行极线校正的标定处理，得到双目相机在成像过程中涉及到的第二参数，使用所述第二参数将双目相机拍摄得到的两个图像处理为同一观察平面上的参考图像和匹配图像，包括：对视触觉传感器中双目相机进行极线校正的标定处理，获取双目相机经过旋转矩阵后得到的两个成像平面，其中双目相机中一个摄像机对应成像平面的极点到无限远处；针对所述两个成像平面内像素点所处的坐标系进行尺度调整，以使得调整后两个成像平面平行且对齐；使用调整尺度对双目相机拍摄得到的两个图像进行处理，得到同一观察平面上的参考图像和匹配图像。
5.根据权利要求1所述的方法，其特征在于，在所述对视触觉传感器中双目相机进行标定处理，将双目相机拍摄得到的两个图像处理为参考图像和匹配图像之后，所述方法还包括：对所述参考图像和匹配图像进行图像预处理，针对图像预处理后的参考图像和匹配图像分别进行边缘检测。6.根据权利要求1所述的方法，其特征在于，在所述针对所述参考图像和匹配图像分别进行边缘检测，划分为参考图像对应的边缘点区域和非边缘点区域、匹配图像对应的边缘点区域和非边缘点区域之前，所述方法还包括：在所述视触觉传感器上选定预设数量网格点，使用所述预设数量的网格点作为在视触觉传感器上设置的标记点，以所述参考图像和匹配图像对应的光心为原点，结合视触觉传感器给定的设计参数计算在多层软体硅胶未发生形变时所述标记点对应的初始深度。7.根据权利要求1所述的方法，其特征在于，所述利用预先在视触觉传感器上设置的标记点对所述参考图像和匹配图像对应的边缘点区域进行逐点匹配，使用匹配得到的像素点坐标计算边缘点区域内匹配点对应的视差，包括：利用预先在视触觉传感器上设置的标记点，获取分布在边缘...

【专利技术属性】
技术研发人员：叶姗姗，张勇，陈宇，
申请(专利权)人：珠海视熙科技有限公司，
类型：发明
国别省市：