一种互动式视力检测方法、装置、系统、设备及存储介质制造方法及图纸

本发明专利技术公开了一种互动式视力检测方法、装置、系统、设备及存储介质，涉及人机交互技术领域。所述方法是在视力测试过程中，先通过人前显示屏展示开口方向随机的视力检测用字符，以及通过人前摄像头获取对待测人员实时采集的现场视频数据，然后据此数据依次通过手部追踪、图像截取和手部关键点检测处理，得到食指的指向，并判断该指向是否与当前展示字符的开口方向一致，若一致则记录测试正确，否则记录测试失败，最后根据多次记录的测试结果统计得到未遮眼睛的视力检测结果，如此既可不受使用距离限制，实现远距进行视力测试的目的，还可因直观便捷的交互方式提升用户体验，以及还可规避因嘈杂环境所带来的不利影响，最终确保视力检测结果准确性。力检测结果准确性。力检测结果准确性。

【技术实现步骤摘要】
一种互动式视力检测方法、装置、系统、设备及存储介质


[0001]本专利技术属于人机交互
，具体涉及一种互动式视力检测方法、装置、系统、设备及存储介质。

技术介绍

[0002]随着科技越来越发达，电子产品层出不穷，人们每天都会长时间的面对电脑、手机或平板电脑(例如iPad)等，久而久之，视力难免会受到影响。由于平时也没有时间去检查视力，因此人们希望能有一款可在电脑、手机或平板电脑等上运行的智能视力检测软件，可以方便随时随地的对自己的视力情况进行检测，如果发现视力下降还能及时为人们推送护眼资讯或眼部护理方法。
[0003]目前，在以鼠标、键盘、语音识别和触摸等为基础的人机交互方式的大背景下，主要的智能视力检测方案有如下两种：(1)手动模式，即先设置手机与人之间的距离(这个距离不能太大，一般为50cm左右，如果距离太大，手就无法触碰到手机上的方向按键)，然后由用户根据在手机屏幕上看到的字母“E”的开口方向，点击在所述手机屏幕上的且与该开口方向对应的方向按钮，重复此过程，直到在检测结束后，统计得到视力检测结果；(2)语音识别模式，即在手机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种互动式视力检测方法，其特征在于，由分别通信连接扬声器、显示屏和摄像头的处理设备执行，包括：通过所述扬声器发声提醒待测人员用手或手持物遮住自己的左眼或右眼，其中，所述扬声器位于所述待测人员的前方；通过所述显示屏展示开口方向随机的视力检测用字符，其中，所述显示屏位于所述待测人员的前方；通过所述摄像头获取对所述待测人员实时采集的第一现场视频数据，其中，所述摄像头位于所述待测人员的前方；根据所述第一现场视频数据，采用多目标跟踪算法跟踪所述待测人员的各个手部，得到第一手部跟踪结果；针对所述各个手部，根据所述第一手部跟踪结果判断对应手部是否处于运动状态，若是，则将对应手部作为第一目标手部；根据所述第一手部跟踪结果，从所述第一现场视频数据中截取得到所述第一目标手部的外接矩形框的第一框内图像；将所述第一框内图像输入基于神经网络的且已完成预训练的手部关键点检测模型，输出得到所述第一目标手部的多个关键点分别在所述摄像头的相机坐标系中的位置，其中，所述第一目标手部的多个关键点包括有所述第一目标手部的食指根关键点和食指尖关键点；根据所述第一目标手部的食指根关键点和食指尖关键点分别在所述相机坐标系中的位置，判断所述第一目标手部的食指的指向是否与当前展示字符的开口方向一致，若一致，则将针对当前展示字符的测试结果记录为测试正确，否则记录为测试失败；根据多次记录的测试结果，统计得到所述待测人员的未遮眼睛的视力检测结果。2.根据权利要求1所述的互动式视力检测方法，其特征在于，所述多目标跟踪算法采用deepsort目标跟踪算法，其中，所述deepsort目标跟踪算法中的目标检测器采用基于神经网络的且已完成预训练的手掌检测模型。3.根据权利要求1所述的互动式视力检测方法，其特征在于，当所述视力检测用字符采用“E”字母时，根据所述第一目标手部的食指根关键点和食指尖关键点分别在所述相机坐标系中的位置，判断所述第一目标手部的食指的指向是否与当前展示字符的开口方向一致，包括：根据所述第一目标手部的食指根关键点和食指尖关键点分别在所述相机坐标系中的位置，判断从食指根关键点到食指尖关键点的方向是在朝上方向、朝下方向、朝左方向和朝右方向中的哪一种方向，并将判定结果作为所述第一目标手部的食指的指向；判断所述第一目标手部的食指的指向是否与当前展示字符的开口方向一致。4.根据权利要求1所述的互动式视力检测方法，其特征在于，在通过所述扬声器发声提醒待测人员用手或手持物遮住自己的左眼或右眼之前，所述方法还包括：通过所述摄像头获取对所述待测人员实时采集的第二现场视频数据，其中，所述摄像头位于所述待测人员的前方；根据所述第二现场视频数据，采用多目标跟踪算法跟踪所述待测人员的各个手部，得到第二手部跟踪结果；
针对所述各个手部，根据所述第二手部跟踪结果判断对应手部是否处于运动状态，若是，则将对应手部作为第二目标手部；根据所述第二手部跟踪结果，从所述第二现场视频数据中截取得到所述第二目标手部的外接矩形框的第二框内图像；将所述第二框内图像输入基于神经网络的且已完成预训练的手部关键点检测模型，输出得到所述第二目标手部的多个关键点分别在所述摄像头的相机坐标系中的位置，其中，所述第二目标手部的多个关键点包括有所述第二目标手部的拇指尖关键点和食指尖关键点；根据所述第二目标手部的拇指尖关键点和食指尖关键点分别在所述相机坐标系中的位置，确定两指尖关键点的直接距离；根据因所述第二目标手部的手指动作而对所述两指尖关键点的直接距离产生的距离增减情况，同步增减测试距离参数，直到因所述待测人员感知到所述测试距离参数达到真实测试距离而停止所述手指动作，其中，所述真实测试距离是指所述待测人员至所述显示屏的真实距离；根据多次记录的测试结果，统计得到所述待测人员的未遮眼睛的视力检测结果，包括：根据所述测试距离参数和多次记录的测试结果，统计得到所述待测人员的未遮眼睛的视力检测结果。5.根据权利要求4所述的互动式视力检测方法，其特征在于，当所述摄像头和所述显示屏集成在所述处理设备的所属电子产品上且位于所述待测人员的正前方时，在根据因所述第二目标手部的手指动作而对所述两指尖关键点的直接距离产生的距离增减情况，同步增减测试距离参数之前，所述方法还包括：根据所述第二现场视频数据，基于目标检测算法得到所述待测人员的头部外接矩形框；从所述第二现场视频数据中...

【专利技术属性】
技术研发人员：刘希东，行薇，
申请(专利权)人：北京云柿信息技术有限公司，
类型：发明
国别省市：