【技术实现步骤摘要】
手势动作识别方法、装置、设备及可读存储介质
本专利技术涉及图像处理
，尤其涉及一种手势动作识别方法、装置、设备及可读存储介质。
技术介绍
随着科学技术的迅速发展，手势检测及手势追踪技术是目前图像识别、智能化教育等领域中的一个热门研究课题。目前的依赖于机器学习的手势动作识别算法，其计算量大且复杂度高，且高度依赖于高速网络与高性能摄像头的配合。若采用此类方法时网速不佳或是出于离线状态，将会严重影响对当前手势动作的识别性能；且针对分辨难度较高的快速手势动作与弯曲手势动作，也需依赖多个多角度多深度的摄像头，从而导致了现有的指读系统对硬件与网速要求过高的技术问题。上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
本专利技术的主要目的在于提供一种手势动作识别方法，旨在解决现有的指读系统对硬件与网速要求过高的技术问题。为实现上述目的，本专利技术提供一种手势动作识别方法，所述手势动作识别方法应用于手势动作识别设备，所述手势动作识别方法包括以下步骤：当...
【技术保护点】
1.一种手势动作识别方法，其特征在于，所述手势动作识别方法包括：/n当检测到目标手指指向预设摄像设备检测范围内书本的特定区域时，基于预设多模态特征抽取算法对目标手指进行边缘检测；/n将所述目标手指的边缘检测结果与预设手指模型进行匹配，构建所述目标手指对应的实时手指几何模型；/n获取所述实时手指几何模型中所述目标手指的初始指向数据，将所述初始指向数据与所述特定区域的特定坐标数据进行匹配，生成初始位移误差；/n基于所述实时手指几何模型、预设多模态特征抽取算法与初始位移误差，识别所述目标手指的指向变化，以供预设指读设备基于指向识别结果对目标手指的指向做出响应。/n
【技术特征摘要】
1.一种手势动作识别方法，其特征在于，所述手势动作识别方法包括：
当检测到目标手指指向预设摄像设备检测范围内书本的特定区域时，基于预设多模态特征抽取算法对目标手指进行边缘检测；
将所述目标手指的边缘检测结果与预设手指模型进行匹配，构建所述目标手指对应的实时手指几何模型；
获取所述实时手指几何模型中所述目标手指的初始指向数据，将所述初始指向数据与所述特定区域的特定坐标数据进行匹配，生成初始位移误差；
基于所述实时手指几何模型、预设多模态特征抽取算法与初始位移误差，识别所述目标手指的指向变化，以供预设指读设备基于指向识别结果对目标手指的指向做出响应。
2.如权利要求1所述的手势动作识别方法，其特征在于，所述当检测到目标手指指向预设摄像设备检测范围内书本的特定区域时，基于预设多模态特征抽取算法对目标手指进行边缘检测的步骤包括：
当检测到所述目标手指指向当前所使用教材的页码时，基于所述预设指读设备中的摄像头获取初始指向图像；
使用所述预设多模态特征抽取算法对所述初始指向图像中的目标手指进行边缘检测。
3.如权利要求2所述的手势动作识别方法，其特征在于，所述获取所述实时手指几何模型中所述目标手指的初始指向数据的步骤之前，还包括：
将所述实时手指几何模型与预设二维平面坐标系相匹配，以确定所述实时手指几何模型中所述目标手指对应在所述预设二维平面坐标系上的初始指向坐标数据。
4.如权利要求2所述的手势动作识别方法，其特征在于，所述将所述初始指向数据与所述特定区域的特定坐标数据进行匹配，生成初始位移误差的步骤包括：
获取所述页码在所述预设二维平面坐标系上的特定坐标数据；
将所述初始指向数据与特定坐标数据进行匹配，生成所述初始位移误差。
5.如权利要求1所述的手势动作识别方法，其特征在于，所述基于所述实时手指几何模型、预设多模态特征抽取算法与初始位移误差，识别所述目标手指的指向变化，以供预设指读设备基于指向识别结果对目标手指的指向做出响应的步骤包括：
在用户将手指指向当前所使用教材中的目标文字区域时，基于指读设备中的摄像头获取当前的目标手指图像；
基于所述预设多模态特征抽取算法，对所述目标手指图像进行特征抽取，生成目标指向图像；
基于所述目标指向图像与初始位移误差，确定实际指向坐标；
根据所述实际指向坐标确定所述目标文字区域，以供所述指读设备语音朗读以及翻译所...
【专利技术属性】
技术研发人员：杨思洋，
申请(专利权)人：深圳泺息科技有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。