【技术实现步骤摘要】
基于手指关节定位的点读方法、装置、系统及介质
[0001]本专利技术涉及智能点读
，尤其涉及基于手指关节定位的点读方法、装置、系统及介质。
技术介绍
[0002]当前的在线教学场景中，通常会有学生指读的功能场景，例如学生使用手指指向课本中的某一目标，对手指的位置进行定位，根据手指位置对相应的目标作出识别、翻译等操作，当前已有一些技术可以借助深度模型定位手指尖等位置进行点读，但是对于一些复杂场景，例如手指尖处目标较为密集或者用户手指尖正好处于多个目标的正中间等情况，手指尖点读可能出现目标匹配不准确的问题。
[0003]因此，现有技术还有待于改进和发展。
技术实现思路
[0004]鉴于上述现有技术的不足，本专利技术的目的在于提供基于手指关节定位的点读方法、装置、系统及介质，旨在解决现有技术中的点读匹配准确率不高的问题。
[0005]本专利技术的技术方案如下：
[0006]一种基于手指关节定位的点读方法，其包括如下步骤：
[0007]当开启点读功能后获取点读图像和手势图像；
【技术保护点】
【技术特征摘要】
1.一种基于手指关节定位的点读方法，其特征在于，包括如下步骤：当开启点读功能后获取点读图像和手势图像；将所述手势图像输入至预设的手指关节点检测模型，检测当前手势图像中的指尖位置和若干个指定关节点的位置；根据所述指尖位置和若干个指定关节点的位置计算当前手势图像中的手指指向；将所述指尖位置和手指指向与所述点读图像进行匹配后输出点读目标，对所述点读目标进行识别点读。2.根据权利要求1所述的基于手指关节定位的点读方法，其特征在于，所述将所述手势图像输入至预设的手指关节点检测模型，检测当前手势图像中的指尖位置和若干个指定关节点的位置之前，还包括：构建深度学习模型，根据预先采集且已标注指尖位置和若干个指定关节点位置的手指训练样本对所述深度学习模型进行训练，使所述深度学习模型收敛后生成手指关节点检测模型。3.根据权利要求1所述的基于手指关节定位的点读方法，其特征在于，所述检测当前手势图像中的指尖位置和若干个指定关节点的位置，具体包括：检测当前手势图像中食指指尖、食指第一关节点、食指第二关节点、中指第一关节点和中指第二关节点的位置。4.根据权利要求3所述的基于手指关节定位的点读方法，其特征在于，所述根据所述指尖位置和若干个指定关节点的位置计算当前手势图像中的手指指向，包括：计算所述食指指尖、食指第一关节点和食指第二关节点中任意两点的连线方向；取所有连线方向的均值作为当前手势图像中的手指指向。5.根据权利要求4所述的基于手指关节定位的点读方法，其特征在于，所述根据所述指尖位置和若干个指定关节点的位置计算当前手势图像中的手指指向之后，还包括：根据所述食指指尖的位置与所述中指第一关节点或中指第二关节点的位置的连线计算约束指向；计算所述手指指向与约束指向之间的夹角，若所述夹角小于预设角度则判断当前手...
【专利技术属性】
技术研发人员：李天驰，孙悦，乔伟，
申请(专利权)人：深圳点猫科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。