一种基于压缩感知模型的手指运动跟踪方法及系统技术方案

本发明专利技术公开了一种基于压缩感知模型的手指运动跟踪方法及系统，涉及手指运动跟踪技术领域；使用压缩感知求解柔性传感器和红外相机采集的手指运动信息的耦合关系，得到测量矩阵，再将柔性传感器采集手指弯曲时产生的电信号转换为数字信号，通过压缩感知对数字信号和测量矩阵求解，重构出所有手指关节的弯曲角度。所使用的柔性传感器数量可以远小于手部自由度的数量，简化了柔性传感器在手套上的布置难度，系统结构简单，不需要精确固定柔性传感器的位置。将手指运动跟踪视觉方案和柔性传感器手套融合，通过柔性传感器将视觉方案计算的角度通过压缩感知算法映射出来，解决了视觉方案的场地限制和遮挡问题。案的场地限制和遮挡问题。案的场地限制和遮挡问题。

【技术实现步骤摘要】
一种基于压缩感知模型的手指运动跟踪方法及系统


[0001]本专利技术涉及手指运动跟踪
，尤其涉及一种基于压缩感知模型的手指运动跟踪方法及系统。

技术介绍

[0002]手指运动是人体最复杂、最灵活的运动系统之一，对人手进行运动跟踪的手部动作捕捉技术广泛应用于娱乐，体育，医疗应用以及机器人技术等诸多领域。使用手指运动跟踪技术进行人与机器人或者虚拟环境进行交互控制，能够更加全面和直观的表达用户的意图，显著提高了应用的效率，尤其对于复杂的控制无法由传统的控制方式实现，例如VR虚拟环境中控制虚拟手模型与虚拟环境进行交互、控制仿人机械手，依赖于鼠标、键盘或者平板操作很难完成上述任务，而使用手指运动跟踪技术则可以直接将手指运动信息传递到虚拟手模型和仿人机械手上，能够更轻松、更流畅的进行控制，极大地提高了用户的体验。
[0003]现有的手指运动跟踪的方案，分别是使用惯性传感器(IMU)的手指运动跟踪方法、使用柔性传感器的手指运动跟踪方法和使用相机的手指运动跟踪方法，目前这几种手部动作捕捉的方案都存在各自基本的局限性：
[0004]使用惯性传感器(IMU)的手指运动跟踪方法通常使用六轴或九轴传感器，每个传感器放置在手指关节处，通过每个附着在手指上的惯性传感器(IMU)，得到所有手指关节弯曲角度和方向，从而重构出手指运动信息，然而所使用的惯性传感器(IMU)存在“漂移”问题，容易受到电磁干扰，会因为音箱、电脑机箱和手机的磁场影响，导致精度下降，在实际使用过程中需要远离这些电子设备或者频繁的进行校准。
[0005]使用柔性传感器的手指运动跟踪方法是在每个需要估计出角度的关节放置一个柔性传感器，通过获得传感器的原始数据映射出关节的弯曲角度，以生物解剖学的理论为基准，不考虑手腕的3个自由度(DoF)，手指关节有21个自由度(DoF)，所以这需要至少21个柔性传感器放置在手上才能够通过传感器的原始数据映射出一只手所有手指的弯曲角度，这样连接至少21路传感器来传输信号的电路非常复杂，消耗了大量的电路和计算资源。
[0006]使用相机的手指运动跟踪方法，使用红外相机、RGB相机或者RGB
‑
D相机(深度相机) 采集手指运动的图像，通过图像处理的方式计算出手指弯曲角度，或者使用深度学习的方法训练出模型，通过训练好的模型推理计算出手指弯曲角度，这种方法需要大量的计算资源，由于基于视觉的手指运动跟踪方法需要和外置相机配合使用，它的局限性包括：(1)识别效果受相机分辨率和帧率影响，(2)受拍摄场地的限制，(3)手指受到遮挡会导致识别效果不佳。

技术实现思路

[0007]为解决现有技术的不足，本专利技术提供一种基于压缩感知模型的手指运动跟踪方法及系统。使用压缩感知求解柔性传感器和红外相机采集的手指运动信息的耦合关系，得到测量矩阵，再将柔性传感器采集手指弯曲时产生的电信号转换为数字信号，通过压缩感知
对数字信号和测量矩阵求解，重构出所有手指关节的弯曲角度。
[0008]为实现上述目的，本专利技术采用的技术方案为：
[0009]第一方面，本专利技术提出了一种基于压缩感知模型的手指运动跟踪系统，所述系统包括柔性传感器、信号处理模块、信号发送模块、信号接收模块、红外相机、红外光源、图像处理模块和微控制器，其中，柔性传感器、信号处理模块及信号发送模块布置在手套载体上预设处，红外相机、红外光源布置在手部运动区域一侧，信号接收模块、图像处理模块与微控制器布置在armUltra开发板上。
[0010]柔性传感器，布置在手套上对应手指关节的预设位置，当手指活动时，产生电信号。
[0011]信号处理模块，对柔性传感器的电信号进行放大滤波处理、再将放大滤波后的电信号经 A/D转换为数字信号。
[0012]信号发送模块，将信号处理模块输出的数字信号传输到信号接收模块。
[0013]信号接收模块，将信号发送模块发送的数字信号输出到微控制器。
[0014]所述信号发送模块及信号接收模块采用有线传输和/或蓝牙和/或wifi和/或1.2g/2.4G/5.8g 无线传输。
[0015]红外相机，放置在手部运动区域一侧，用于采集完整的佩戴柔性传感器手套的手部红外图像。
[0016]红外光源，与红外相机放置一处，用于照亮佩戴柔性传感器手套的手部。
[0017]图像处理模块，通过红外相机采集的手部红外图像通过深度学习算法计算出手部所有关节的角度数据，再将角度数据输出到微控制器处理。
[0018]微控制器，对信号接收模块接收到的数字信号和图像处理模块输出的角度数据进行压缩感知求解得到测量矩阵，对测量矩阵和信号接收模块输出的数字信号进行压缩感知求解，重构得到角度数据。
[0019]所述深度学习算法包括手掌检测模型、手部关键点检测模型及角度计算模型。
[0020]手掌检测模型，对手部红外图像进行检索匹配，通过yolo网络，得到手部边界框；
[0021]手部关键点检测模型，在手部边界框区域内操作，得到3D手部关键点的三维坐标；
[0022]角度计算模型，将3D手部关键点的三维坐标通过线性代数或空间解析几何转换为手指关节弯曲角度x1。
[0023]第二方面，本专利技术提出了一种基于压缩感知模型的手指运动跟踪方法，采用所述基于压缩感知模型的手指运动跟踪系统实现，包括以下步骤：
[0024]S1：用户穿戴布置有柔性传感器、信号处理模块和信号发送模块的手套载体，在用户手部运动区域一侧布置红外相机和红外光源；
[0025]S2：当手指运动时，柔性传感器产生电信号，红外相机在红外光源照射下同步采集手指红外运动图像；
[0026]S3：将S2中柔性传感器采集的电信号经A/D转换为数字信号，使用深度学习算法将手指红外运动图像转换为手指关节弯曲角度数据，并将数字信号及手指关节弯曲角度数据通过信号发送到微控制器，使用压缩感知算法的ISTA迭代求解公式进行求解得到测量矩阵，用于后续实际检测；
[0027]S4：根据S3获得的测量矩阵采集柔性传感器产生的电信号，红外相机在红外光源
照射下同步采集手指红外运动图像；
[0028]S5：当手指运动时，信号处理模块将柔性传感器产生的电信号经A/D转换转换为数字信号y，经过信号发送模块和信号接收模块将转换的数字信号y2传递给微控制器；
[0029]微控制器使用压缩感知算法的ISTA迭代求解公式对信号处理模块转换的数字信号y2和 S3中计算得到的测量矩阵Φ通过进行求解，得到实时手指关节弯曲的角度数据。
[0030]所述S3的具体过程为：
[0031]信号处理模块将柔性传感器产生的电信号经A/D转换为数字信号y1，经信号发送模块和信号接收模块将转换的数字信号y1发送到微控制器；
[0032]图像处理模块使用深度学习算法将红外相机拍摄的手指红外运动图像转换为手指关节弯曲角度数据x后，输出到微控制器；
[0033]微控制器使用压缩感知对信号处理模块转换的数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于压缩感知模型的手指运动跟踪系统，其特征在于：所述系统包括柔性传感器、信号处理模块、信号发送模块、信号接收模块、红外相机、红外光源、图像处理模块和微控制器，其中，柔性传感器、信号处理模块及信号发送模块布置在手套载体上预设处，红外相机、红外光源布置在手部运动区域一侧，信号接收模块、图像处理模块与微控制器布置在arm Ultra开发板上。2.根据权利要求1所述的基于压缩感知模型的手指运动跟踪系统，其特征在于：柔性传感器，布置在手套上对应手指关节的预设位置，当手指活动时，产生电信号；信号处理模块，对柔性传感器的电信号进行放大滤波处理、再将放大滤波后的电信号经A/D转换为数字信号；信号发送模块，将信号处理模块输出的数字信号传输到信号接收模块；信号接收模块，将信号发送模块发送的数字信号输出到微控制器；所述信号发送模块及信号接收模块采用有线传输和/或蓝牙和/或wifi和/或1.2g/2.4G/5.8g无线传输；红外相机，放置在手部运动区域一侧，用于采集完整的佩戴柔性传感器手套的手部红外图像；红外光源，与红外相机放置一处，用于照亮佩戴柔性传感器手套的手部；图像处理模块，通过红外相机采集的手部红外图像通过深度学习算法计算出手部所有关节的角度数据，再将角度数据输出到微控制器处理；微控制器，对信号接收模块接收到的数字信号和图像处理模块输出的角度数据进行压缩感知求解得到测量矩阵，对测量矩阵和信号接收模块输出的数字信号进行压缩感知求解，重构得到角度数据。3.根据权利要求2所述的基于压缩感知模型的手指运动跟踪系统，其特征在于：所述深度学习算法包括手掌检测模型、手部关键点检测模型及角度计算模型。4.根据权利要求3所述的基于压缩感知模型的手指运动跟踪系统，其特征在于：手掌检测模型，对手部红外图像进行检索匹配，通过yolo网络，得到手部边界框；手部关键点检测模型，在手部边界框区域内操作，得到3D手部关键点的三维坐标；角度计算模型，将3D手部关键点的三维坐标通过线性代数或空间解析几何转换为手指关节弯曲角度x1。5.一种基于压缩感知模型的手指运动跟踪方法，采用权利要求1所述基于压缩感知模型的手指运动跟踪系统实现，其特征在于：包括以下步骤：S1：用户穿戴布置有柔性传感器、信号处理模块和信号发送模块的手套载体，在用户手部运动区域一侧布置红外相机和红外光源；S2：当手指运动时，柔性传感器产生电信号，红外相机在红外光源照射下同步采集手指红外运动图像；S3：将S2中柔性传...

【专利技术属性】
技术研发人员：崔笑宇，丁勇，赵越，章云天，
申请(专利权)人：上海宇叠智能科技有限公司，
类型：发明
国别省市：