一种基于视频流的眼检测方法及斜视筛查系统技术方案

本发明专利技术实施例公开了一种基于视频流的眼球检测方法和斜视筛查系统，所述检测方法包括以下步骤：a.准备用于眼球图像识别的深度学习检测模型；b.获取受检者的眼球注视视频；c.利用所述深度学习检测模型对所述眼球注视视频进行检测分析，获得受检者两眼的角膜、瞳孔和映光点的位置数据。所述斜视筛查系统包括：接收单元，用于接收受检者的眼球注视视频；处理单元，用于利用深度学习检测模型对所述眼球注视视频进行检测分析，获得包括受检者两眼的角膜、瞳孔和映光点的位置数据的模型检测结果；分析单元，用于根据所述模型检测结果判断两眼是否存在斜视、斜视类型以及计算两眼的斜视度；输出单元，用于输出受检者的斜视筛查报告。用于输出受检者的斜视筛查报告。用于输出受检者的斜视筛查报告。

【技术实现步骤摘要】
一种基于视频流的眼检测方法及斜视筛查系统


[0001]本专利技术涉及人工智能深度学习领域，尤其涉及一种利用深度学习的基于视频流的眼检测方法及斜视筛查系统。

技术介绍

[0002]斜视(strabismus)是指眼外肌协调运动失常导致双眼不能同时注视同一物体的疾病，可由先天或后天的因素导致。除了影响美观外，斜视还会导致弱视、双眼单视功能异常等，是眼科多发病、常见病，患病率约为3％～5％。正常情况下双眼运动协调一致，双眼可同时注视同一目标，并使目标在双眼黄斑部成像，传导到大脑视觉中枢，重叠成一个完整且有立体感觉的单一物像。当因各种神经肌肉疾病导致双眼运动不协调时，就会发生斜视，可能出现将一个物体看成2个影像的情况。
[0003]现有斜视筛查手段多为人工筛查，例如遮盖法与角膜映光法是目前眼科门诊常用的初步斜视判定方法，需要去医院由专业人员进行筛查，效率低下。也有借助于某些特定专用设备进行筛查的方法，但成本高昂。
[0004]角膜映光法(Hirschberg)是检查临床检查患者他觉斜视角最常用最简便的方法，也是临床其他绝大部分他觉斜视角本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频流的眼检测方法，其特征在于，包括以下步骤：a.准备用于眼球图像识别的深度学习检测模型；b.获取受检者的眼球注视视频；c.利用所述深度学习检测模型对所述眼球注视视频进行检测分析，获得受检者两眼的角膜、瞳孔和映光点的位置数据。2.根据权利要求1所述的方法，其特征在于，所述深度学习模型是利用深度神经网络训练得到的关键点检测模型，用于获得角膜、瞳孔和映光点的关键点。3.根据权利要求2所述的方法，其特征在于，所述深度学习检测模型通过以下方法训练得到，包括：1)制作包括训练集和测试集的数据集，包括准备具有清晰眼部轮廓的多张人脸图像，在所述人脸图像上对眼部的角膜、瞳孔和映光点的特征区域的轮廓进行关键点标注，再将所有标注好的图像根据一定比例随机分成训练集与测试集；2)搭建深度神经网络模型结构；3)将所述训练集传入所述深度神经网络进行训练，得到深度学习检测模型；4)利用所述测试集对所述深度学习检测模型进行评价，直至模型精度达到98％以上。4.根据权利要求3所述的方法，其特征在于，所述数据集的关键点标注包括对单只眼选用36关键点的标注方式，其中角膜包含16个关键点，瞳孔包含12个关键点，映光点包含8个关键点。5.根据权利要求3所述的方法，其特征在于，所述深度神经网络模型结构采用HigherHRNet模型结构。6.根据权利要求1所述的方法，其特征在于，还包括通过受检者的年龄和性别估计受检者角膜的实际横径和垂直径或者通过所述视频中设置的已知尺寸的参照物估计受检者角膜的实际横径和垂直径。7.根据权利要求1所述的斜视筛查方法，其特征在于，所述眼球注视视频包括遮盖
‑
去遮盖的第一眼球注视视频，其中步骤b还包括利用具有光源的摄像装置拍摄受检者的第一眼球注视视频，其中受检者距离摄像镜头一定距离处，保持光源常亮，使受检者眼睛与光源保持在同一水平线，双眼注视光源约1～2秒后，遮盖右眼，保持左眼注视光源1～2秒，然后迅速去掉右眼遮盖；保持双眼注视光源1～2秒后遮盖左眼，右眼注视光源1～2秒，然后迅速去掉左眼遮盖，由此获得第一眼球注视视频。8.根据权利要求1所述的方法，其特征在于，所述眼球注视视频还包括交替遮盖的第二眼球注视视频，其中步骤b还包括利用具有光源的摄像装置拍摄受检者的第二眼球注视视频，包括以下步骤：1)受检者距离摄像镜头一定距离处，保持光源常亮，使受检者眼睛与光源保持在同一水平线，双眼注视光源约1～2秒；2)遮盖右眼2～3秒，然后迅速遮盖左眼并去遮盖右眼；3)遮盖左眼2～3秒，然后迅速遮盖右眼并去遮盖左眼；4)重复步骤(2)和步骤(3)至少3次。9.根据权利要求7所述的方法，其特征在于，步骤c还包括：对受检者的第一眼部注视视频进行逐帧检测，其中右眼去遮盖的瞬间为左眼注视视频
帧，左眼去遮盖的瞬间为右眼注视视频帧，利用所述深度学习检测模型检测所述左眼注视视频帧和所述右眼注视视频帧，获得左眼注视与右眼注视时的角膜、瞳孔和映光点的多个关键点；根据检测到的关键点分别对角膜、瞳孔、映光点的轮廓进行圆拟合，圆心即为中心，获得包括角膜中心、瞳孔中心和映光点中心的位置坐标的模型检测结果。10.根据权利要求9所述的方法，其特征在于，步骤c还包括：利用所述模型检测结果计算受检者的左右眼的kappa角和映光点中心到瞳孔中心的偏移量，计算得到排除kappa角影响的受检者两眼的斜视度。11.根据权利要求7或8所述的方法，其特征在于，步骤c还包括：c1)利用所述深度学习检测模型对受检者的第一眼球视频进行逐帧检测，记录双眼注视时，两眼的角膜、瞳孔与映光点的中心坐标；c2)当检测状态从同时检测到左右眼变为仅检测到左眼时，代表右眼已进行遮盖，此时记录左眼的角膜、瞳孔和映光点的中心坐标，将当前记录的左眼的瞳孔中心坐标与步骤c1中记录的双眼注视时左眼瞳孔中心坐标进行比较，若差值在所设阈值范围内，则认为右眼遮盖瞬间，左眼无眼动；若差值超出所设阈值，则认为右眼遮盖瞬间，左眼存在眼动；当检测状态从同时检测到左右眼变为仅检测到右眼时，代表左眼已进行遮盖，此时记录右眼的角膜、瞳孔和映光点的中心坐标，将当前记录的右眼的瞳孔中心坐标与步骤c1中记录的双眼注视时右眼瞳孔中心坐标进行比较，若差值在所设阈值范围内，则认为左眼遮盖瞬间，右眼无眼动；若差值超出所设阈值，则认为左眼遮盖瞬间，右眼存在眼动。12.根据权利要求11所述的方法，其特征在于，步骤c还包括：c3)利用所述深度学习检测模型对受检者的第一眼球注视视频进行逐帧检测，当检测状态从仅检测到左眼变为同时检测到左右眼时，代表右眼已进行去遮盖，记录此时左眼的角膜、瞳孔和映光点的中心坐标，将此时左眼的...

【专利技术属性】
技术研发人员：吴栩平，刘玉萍，
申请(专利权)人：广州视景医疗软件有限公司，
类型：发明
国别省市：