基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备制造方法及图纸

本发明专利技术提供一种基于瞳孔跟踪的阅读控制方法，包括如下步骤：步骤A、当用户阅读显示设备的显示屏上的显示内容时，获取用户的当前眼部图像；步骤B、将所述当前眼部图像与瞳孔动作样本图像集进行匹配，得到所述当前眼部图像所属的瞳孔动作样本图像；步骤C、获取所述瞳孔动作样本图像所映射的阅读指令；步骤D、执行所述阅读指令，对显示设备的显示屏上显示内容进行相应的阅读操作。本发明专利技术基于瞳孔跟踪的阅读控制方法，通过跟踪用户双眼的瞳孔动作来控制所述显示屏上显示内容执行对应的阅读操作，能够实现对显示内容的实时操作，能够使我们的生活更加智能化、更加便捷化及更具有人性化。本发明专利技术还提供一种基于瞳孔跟踪的阅读控制装置及显示设备。

【技术实现步骤摘要】
基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备
本专利技术涉及人机交互
，尤其涉及一种基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备。
技术介绍
传统在便携设备上进行阅读的操控方法一般有两种，按键/按钮式的操控和可触屏上手势的操控。当然，随着现在语音技术的成熟，语音操控或许也是一种不错的方式，在这些操控方式，按键和手势操控是需要同设备直接接触的，操作繁琐；而语音操控，一方面容易受环境干扰，另一方面也容易干扰到环境，也不是很适合用户的阅读。随着科技的发展，特别是人脸检测和定位技术的成熟为这种人机交互式阅读提供了更多的可能。便携设备上的阅读内容是通过眼睛输入给人的，眼睛是阅读的直接行为者，能否直接通过眼睛对阅读进行操控，使眼睛既为输入者又为输出者（阅读的同时进行操控），这样的操控肯定是最便捷的。
技术实现思路
本专利技术的主要目的在于提供一种基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备，旨在通过跟踪用户双眼的瞳孔动作来控制所述显示屏上显示内容执行对应的阅读操作，以实现对显示内容的实时操作。为了实现上述目的，本专利技术提供一种基于瞳孔跟踪的阅读控制方法，包括如下步骤：步骤A、当用户阅读显示设备的显示屏上的显示内容时，获取用户的当前眼部图像；步骤B、将所述当前眼部图像与瞳孔动作样本图像集进行匹配，得到所述当前眼部图像所属的瞳孔动作样本图像；步骤C、获取所述瞳孔动作样本图像所映射的阅读指令；步骤D、执行所述阅读指令，对显示设备的显示屏上显示内容进行相应的阅读操作。优选地，在所述步骤A之前还包括：步骤A0、采集多个瞳孔动作样本形成所述瞳孔动作样本图像集，并在所述瞳孔动作样本图像集的瞳孔动作样本图像和阅读指令集的阅读指令之间建立一对一映射关系。优选地，所述步骤A0中，所述瞳孔动作样本图像集包括双眼正常直视样本图像、双眼向右样本图像、双眼向左样本图像、双眼向上样本图像、双眼向下样本图像、双眼闭眼样本图像、左眼闭右眼睁样本图像及右眼闭左眼睁样本图像中的至少一种，所述阅读指令集包括正常阅读指令、向右翻页指令、向左翻页指令、向上移动页面指令、向下移动页面指令、确认指令、返回指令及调用菜单指令中的至少一种；所述步骤B中，将所述当前眼部图像与瞳孔动作样本图像集进行匹配时，定义当前眼部图像fn与瞳孔动作样本图像集中瞳孔动作样本图像Fi（i≥1）的距离函数值为：dni=|fn(x1)-Fi(x1)|+|fn(y1)-Fi(y1)|+|fn(x2)-Fi(x2)|+|fn(y2)-Fi(y2)|上式中：fn(x1)、fn(y1)分别代表当前眼部图像fn中左眼瞳孔中心的x坐标和y坐标；Fi(x1)、Fi(y1)分别代表瞳孔动作样本图像Fi中左眼瞳孔中心的x坐标和y坐标；fn(x2)、fn(y2)分别代表当前眼部图像fn中右眼瞳孔中心的x坐标和y坐标；Fi(x2)、Fi(y2)分别代表瞳孔动作样本图像Fi中右眼瞳孔中心的x坐标和y坐标；或者fn(x1)、fn(y1)分别代表当前眼部图像fn中左眼瞳孔所有点的x坐标集合和y坐标集合；Fi(x1)、Fi(y1)分别代表瞳孔动作样本图像Fi中左眼瞳孔所有点的x坐标集合和y坐标集合；fn(x2)、fn(y2)分别代表当前眼部图像fn中右眼瞳孔所有点的x坐标集合和y坐标集合；Fi(x2)、Fi(y2)分别代表瞳孔动作样本图像Fi中右眼瞳孔所有点的x坐标集合和y坐标集合；又或者fn(x1)、fn(y1)分别代表当前眼部图像fn中左眼瞳孔所有点的x坐标平均值和y坐标平均值；Fi(x1)、Fi(y1)分别代表瞳孔动作样本图像Fi中左眼瞳孔所有点的x坐标平均值和y坐标平均值；fn(x2)、fn(y2)分别代表当前眼部图像fn中右眼瞳孔所有点的x坐标平均值和y坐标平均值；Fi(x2)、Fi(y2)分别代表瞳孔动作样本图像Fi中右眼瞳孔所有点的x坐标平均值和y坐标平均值；定义dni中的最小值为阀值T，T=min(dn1,......,dni)，阀值T所对应的i代表的瞳孔动作样本图像即为所述当前眼部图像所属的瞳孔动作样本图像。优选地，所述步骤A0中，每一个瞳孔动作样本图像的采集步骤包括：当用户双眼处于所述瞳孔动作样本图像对应的状态时，获取用户在所述状态下的脸部图像样本；对获取的脸部图像样本进行预处理；对预处理后的脸部图像样本进行检测和定位，以获取脸部图像样本中用户的眼部图像样本，得到所述瞳孔动作样本图像。优选地，所述步骤A具体包括：A1、当用户阅读显示设备的显示屏上的显示内容时，获取显示屏前方的图像；A2、对获取的图像进行预处理；A3、对预处理后的图像进行人脸检测，如果检测到预处理后的图像中包含人脸图像，则对人脸图像进行定位并获取人脸图像中用户的当前眼部图像；否则，执行步骤A1。本专利技术还提供一种基于瞳孔跟踪的阅读控制装置，包括：图像采集和处理模块，用于当用户阅读显示设备的显示屏上的显示内容时，获取用户的当前眼部图像；瞳孔动作匹配模块，用于将所述当前眼部图像与瞳孔动作样本图像集进行匹配，得到所述当前眼部图像所属的瞳孔动作样本图像；瞳孔动作映射模块，用于获取所述瞳孔动作样本图像所映射的阅读指令；瞳孔动作执行模块，用于执行所述阅读指令，对显示设备的显示屏上显示内容进行相应的阅读操作。优选地，所述图像采集和处理模块包括：图像采集单元，包括摄像头，用于当用户阅读显示设备的显示屏上的显示内容时，获取显示屏前方的图像；图像预处理单元，用于对获取后的图像进行预处理；人脸检测与定位单元，用于对预处理后的图像进行人脸检测与定位，以获取人脸图像中用户的当前眼部图像。优选地，所述图像采集和处理模块还用于采集多个瞳孔动作样本形成所述瞳孔动作样本图像集，所述瞳孔动作映射模块还用于在所述瞳孔动作样本图像集的瞳孔动作样本图像和阅读指令集的阅读指令之间建立一对一映射关系；所述瞳孔动作匹配模块具体用于：定义当前眼部图像fn与瞳孔动作样本图像集中瞳孔动作样本图像Fi（i≥1）的距离函数值为：dni=|fn(x1)-Fi(x1)|+|fn(y1)-Fi(y1)|+|fn(x2)-Fi(x2)|+|fn(y2)-Fi(y2)|上式中：fn(x1)、fn(y1)分别代表当前眼部图像fn中左眼瞳孔中心的x坐标和y坐标；Fi(x1)、Fi(y1)分别代表瞳孔动作样本图像Fi中左眼瞳孔中心的x坐标和y坐标；fn(x2)、fn(y2)分别代表当前眼部图像fn中右眼瞳孔中心的x坐标和y坐标；Fi(x2)、Fi(y2)分别代表瞳孔动作样本图像Fi中右眼瞳孔中心的x坐标和y坐标；或者fn(x1)、fn(y1)分别代表当前眼部图像fn中左眼瞳孔所有点的x坐标集合和y坐标集合；Fi(x1)、Fi(y1)分别代表瞳孔动作样本图像Fi中左眼瞳孔所有点的x坐标集合和y坐标集合；fn(x2)、fn(y2)分别代表当前眼部图像fn中右眼瞳孔所有点的x坐标集合和y坐标集合；Fi(x2)、Fi(y2)分别代表瞳孔动作样本图像Fi中右眼瞳孔所有点的x坐标集合和y坐标集合；又或者fn(x1)、fn(y1)分别代表当前眼部图像fn中左眼瞳孔所有点的x坐标平均值和y坐标平均值；Fi(x1)、Fi(y1)分别代表瞳孔动作样本图像Fi中左眼瞳孔所有点的x坐标平均值和y坐标平均值；本文档来自技高网...

【技术保护点】
一种基于瞳孔跟踪的阅读控制方法，其特征在于，包括如下步骤：步骤A、当用户阅读显示设备的显示屏上的显示内容时，获取用户的当前眼部图像；步骤B、将所述当前眼部图像与瞳孔动作样本图像集进行匹配，得到所述当前眼部图像所属的瞳孔动作样本图像；步骤C、获取所述瞳孔动作样本图像所映射的阅读指令；步骤D、执行所述阅读指令，对显示设备的显示屏上显示内容进行相应的阅读操作。

【技术特征摘要】
1.一种基于瞳孔跟踪的阅读控制方法，其特征在于，包括如下步骤：步骤A、当用户阅读显示设备的显示屏上的显示内容时，获取用户的当前眼部图像；步骤B、将所述当前眼部图像与瞳孔动作样本图像集进行匹配，得到所述当前眼部图像所属的瞳孔动作样本图像；步骤C、获取所述瞳孔动作样本图像所映射的阅读指令；步骤D、执行所述阅读指令，对显示设备的显示屏上显示内容进行相应的阅读操作；在所述步骤A之前还包括：步骤A0、采集多个瞳孔动作样本形成所述瞳孔动作样本图像集，并在所述瞳孔动作样本图像集的瞳孔动作样本图像和阅读指令集的阅读指令之间建立一对一映射关系；所述步骤A0中，所述瞳孔动作样本图像集包括双眼正常直视样本图像、双眼向右样本图像、双眼向左样本图像、双眼向上样本图像、双眼向下样本图像、双眼闭眼样本图像、左眼闭右眼睁样本图像及右眼闭左眼睁样本图像中的至少一种，所述阅读指令集包括正常阅读指令、向右翻页指令、向左翻页指令、向上移动页面指令、向下移动页面指令、确认指令、返回指令及调用菜单指令中的至少一种；所述步骤B中，将所述当前眼部图像与瞳孔动作样本图像集进行匹配时，定义当前眼部图像fn与瞳孔动作样本图像集中瞳孔动作样本图像Fi(i>1)的距离函数值为：dni＝|fn(x1)-Fi(x1)|+|fn(y1)-Fi(y1)|+|fn(x2)-Fi(x2)|+|fn(y2)-Fi(y2)|上式中：fn(x1)、fn(y1)分别代表当前眼部图像fn中左眼瞳孔中心的x坐标和y坐标；Fi(x1)、Fi(y1)分别代表瞳孔动作样本图像Fi中左眼瞳孔中心的x坐标和y坐标；fn(x2)、fn(y2)分别代表当前眼部图像fn中右眼瞳孔中心的x坐标和y坐标；Fi(x2)、Fi(y2)分别代表瞳孔动作样本图像Fi中右眼瞳孔中心的x坐标和y坐标；或者fn(x1)、fn(y1)分别代表当前眼部图像fn中左眼瞳孔所有点的x坐标集合和y坐标集合；Fi(x1)、Fi(y1)分别代表瞳孔动作样本图像Fi中左眼瞳孔所有点的x坐标集合和y坐标集合；fn(x2)、fn(y2)分别代表当前眼部图像fn中右眼瞳孔所有点的x坐标集合和y坐标集合；Fi(x2)、Fi(y2)分别代表瞳孔动作样本图像Fi中右眼瞳孔所有点的x坐标集合和y坐标集合；又或者fn(x1)、fn(y1)分别代表当前眼部图像fn中左眼瞳孔所有点的x坐标平均值和y坐标平均值；Fi(x1)、Fi(y1)分别代表瞳孔动作样本图像Fi中左眼瞳孔所有点的x坐标平均值和y坐标平均值；fn(x2)、fn(y2)分别代表当前眼部图像fn中右眼瞳孔所有点的x坐标平均值和y坐标平均值；Fi(x2)、Fi(y2)分别代表瞳孔动作样本图像Fi中右眼瞳孔所有点的x坐标平均值和y坐标平均值；定义dni中的最小值为阀值T，T＝min(dn1,......,dni)，阀值T所对应的i代表的瞳孔动作样本图像即为所述当前眼部图像所属的瞳孔动作样本图像。2.如权利要求1所述的基于瞳孔跟踪的阅读控制方法，其特征在于，所述步骤A0中，每一个瞳孔动作样本图像的采集步骤包括：当用户双眼处于所述瞳孔动作样本图像对应的状态时，获取用户在所述状态下的脸部图像样本；对获取的脸部图像样本进行预处理；对预处理后的脸部图像样本进行检测和定位，以获取脸部图像样本中用户的眼部图像样本，得到所述瞳孔动作样本图像。3.如权利要求1所述的基于瞳孔跟踪的阅读控制方法，其特征在于，所述步骤A具体包括：A1、当用户阅读显示设备的显示屏上的显示内容时，获取显示屏前方的图像；A2、对获取的图像进行预处理；A3、对预处理后的图像进行人脸检测，如果检测到预处理后的图像中包含人脸图像，则对人脸图像进行定位并获取人脸图像中用户的当前眼部图像；否则，执行步骤...

【专利技术属性】
技术研发人员：赵波，
申请(专利权)人：深圳TCL新技术有限公司，
类型：发明
国别省市：