用户界面同步系统、方法技术方案

一种用户界面同步系统，包括耦接于电子装置的图形输出模块、指令转换模块，以及耦接于穿戴式装置的映像模块、眼动指令分析模块。该图形输出模块存取该电子装置的影像数据，并将该影像数据经由无线网络传送至该穿戴式装置。该映像模块通过该穿戴式装置将影像数据显示在输出单元上，以供用户注视操作。该眼动指令分析模块分析所获取到的眼部动作指令，并将该眼部动作指令经由无线网络传送至该电子装置。该指令转换模块在接收到该眼部动作指令时对该眼部动作指令进行转换，以将该眼部动作指令输出为可供该电子装置执行的动作指令。

【技术实现步骤摘要】

本专利技术涉及一种用户界面同步系统及其方法，尤指一种用于电子装置与穿戴式装置间的用户界面同步系统及其方法。
技术介绍
眼动追踪(eye tracking)，是指通过分析用户的眼部影像或者眼球相对头部的运动模式，来实现对眼球运动的追踪程序。眼动仪是一种能够跟踪测量眼球位置及眼球运动信息的设备，在视觉系统、心理学、认知语言学的研究中有广泛的应用。目前眼动追踪有多种方法，较常见的眼动追踪技术包括Purkinje影像追踪法(Dual-Purkinje-Image,DPI)、红外线影像系统法(Infra-Red Video System,IRVS)、红外线眼动图法(Infra-Red Oculography,IROG)等，可通过获取用户的眼部影像藉以判断用户的注视方向。近期来，部分品牌的移动终端推出将眼动追踪的技术整合至移动终端的技术，通过追踪用户的注视方向，移动终端可产生对应的操作指令，以对该移动终端下达对应的指令。这类的技术可便于用户操作显示屏幕，当用户的其中一手无法空出来操作移动终端时，通过追踪用户的眼球，仍可输入对应的指令。另一种情境可应用于影片播放，通过用户注视的方向，判断用户是否注视显示屏幕，在判断用户并未注视显示屏幕时，暂时启动停播功能，确保用户不会错过影片中的任何精彩片段。然而，根据目前现有的技术，经由移动终端的前镜头拍摄用户眼部，所取得的影像容易受到环境因素的影响(例如高光、低光环境)，在追踪眼部动作时容易遇到困难。欲进行精确的眼部动作追踪时(如注视方向检测)，由于移动终端的前镜头、显示屏幕与用户眼部的距离不固定，无法通过三角测距的方式取得用户的注视方向，仅能就用户的影像简略地判断用户向左或是向右注视。
技术实现思路
本专利技术的主要目的，在于解决现有技术中电子装置无法精确通过进行眼动追踪技术操作的问题。为解决上述问题，本专利技术提供一种用户界面同步系统，用于将电子装置与穿戴式装置进行配对，所述用户界面同步系统包括：图形输出模块，耦接于该电子装置，以存取该电子装置的影像数据，并将该电子装置的影像数据经由无线网络传送至该穿戴式装置；映像模块，耦接于该穿戴式装置，将该影像数据显示于该穿戴式装置的输出单元上，以供用户注视操作；眼动指令分析模块，耦接于该穿戴式装置，分析该穿戴式装置所获取到的眼部动作指令；以及指令转换模块，耦接于该电子装置或该穿戴式装置，在接收到该眼部动作指令时对该眼部动作指令进行转换，以将该眼部动作指令输出为可供该电子装置执行的动作指令。进一步地，该映像模块在该穿戴式装置的输出单元上建立显示该影像数据的用户界面窗口，并依据电子装置的显示屏幕的长宽按照等比例放大或缩小调整该用户界面窗口。进一步地，该眼动指令分析模块系依据所获取到的眼部影像，分析该用户的注视方向，并在该用户界面窗口上形成可依据该注视方向移动的光标。进一步地，当该用户的注视方向停留在该用户界面窗口上时，该眼动指令分析模块则记录该注视方向所对应于该电子装置的显示屏幕上的坐标位置，并当该注视方向大致停留于同一图形化界面上超过所设定的阈值时间时，将触发指令经由无线网络传送至该指令转换模块以启动该图形化界面所对应的一或多个程序。进一步地，该眼动指令分析模块在检测到该用户的注视方向是由左至右快速移动时，传递左侧翻页的该眼部动作指令至该指令转换模块，以使该电子装置执行由左侧向右侧翻页的动作指令，该眼
动指令分析模块于检测到该用户的注视方向是由右至左快速移动时，传递右侧翻页的该眼部动作指令至该指令转换模块，以使该电子装置执行由右侧向左侧翻页的动作指令。进一步地，该眼动指令分析模块在检测到该用户的触发动作时设定基准坐标，持续检测该用户的注视方向，并记录该注视方向相对该基准坐标的X轴移动距离及Y轴移动距离，当该X轴移动距离或该Y轴移动距离大于阈值时，传递对应于该眼部移动方向及移动距离的眼部动作指令至该指令转换模块，以使该电子装置执行对应于该眼部移动方向卷动的动作指令。进一步地，该无线网络采用无线保真度直连(WiFi Direct)协议、蓝芽无线传输(Bluetooth)、或虚拟无线AP(Wi-Fi soft AP)。本专利技术的另一目的，在于提供一种受控端电子装置，包括有显示屏幕，无线传输单元，以及连接该显示屏幕及该无线传输单元的处理器。该处理器系具有图形处理单元，用于将影像数据传送至该显示屏幕上以提供供用户操作的用户界面。该处理器包括有运算单元用于挂载并执行以下的程序：图形输出模块，用于存取该电子装置的影像数据，并将该电子装置所显示的影像数据经由无线网络传送至穿戴式装置，来供该穿戴式装置输出以供用户目视操作。指令转换模块，经由无线网络接收该穿戴式装置所提供的眼部动作指令，将该眼部动作指令输出为可供该电子装置执行的动作指令。进一步地，该无线网络采用无线保真度直连(WiFi Direct)协议、蓝芽无线传输(Bluetooth)、或虚拟无线AP(Wi-Fi soft AP)。本专利技术的另一目的，在于提供一种主控端穿戴式装置，包括有输出单元，无线传输单元，摄像单元，以及连接于该输出单元、该无线传输单元及该摄像单元的处理器。该摄像单元系用于拍摄并取得用户的眼部影像。该处理器系具有图形处理单元，用于将影像数据传送至该输出单元上以供用户操作的用户界面。该处理器包括有
运算单元用于挂载并执行以下的程序：映像模块，系通过无线网络取得电子装置的影像数据，并将该影像数据传送至该穿戴式装置的该图形处理单元以显示在该输出单元上，供用户注视操作。眼动指令分析模块，取得经由该摄像单元所拍摄取得的眼部影像，并由该眼部影像获取眼部动作指令，通过无线网络将该眼部动作指令传送至该电子装置，以启动该电子装置的一或多个程序。进一步地，该映像模块在该穿戴式装置的输出单元上建立显示该影像数据的用户界面窗口，并依据该电子装置的显示屏幕的长宽按照等比例放大或缩小调整该用户界面窗口。进一步地，该眼动指令分析模块系依据所获取到的该眼部影像，分析该用户的注视方向，并在该用户界面窗口上形成可依据该注视方向移动的光标。进一步地，当该用户的注视方向停留于该用户界面窗口上时，该眼动指令分析模块系纪录该注视方向所对应于该电子装置的显示屏幕上的坐标位置，并在检测到该注视方向大致停留于同一图形化界面上超过所设定的阈值时间时，将触发指令经由无线网络传送至该电子装置以启动该图形化界面所对应的一或多个程序。进一步地，该眼动指令分析模块在检测到该用户的注视方向是由左至右快速移动时，传递左侧翻页的眼部动作指令至该电子装置，以使该电子装置执行由左侧向右侧翻页的程序，该眼动指令分析模块在检测到该用户的注视方向是由右至左快速移动时，传递右侧翻页的眼部动作指令至该电子装置，以使该电子装置执行由右侧向左侧翻页的程序。进一步地，该眼动指令分析模块系在检测到该用户的触发动作时设定基准坐标，持续检测该用户的注视方向，并记录该注视方向相对该基准坐标的X轴移动距离及Y轴移动距离，当该X轴移动距离或该Y轴移动距离大于阈值时，传递对应于该眼部移动方向及移动距离的眼部动作指令至该电子装置，以使该电子装置执行对应于
该眼部移动方向卷动的程序。进一步地，该无线网络采用无线保真度直连(WiFi Direct)协议、蓝芽无线本文档来自技高网...

【技术保护点】
一种用户界面同步系统，用于将电子装置与穿戴式装置进行配对，其特征在于，所述用户界面同步系统包括：图形输出模块，耦接于该电子装置，以存取该电子装置的影像数据，并将该电子装置的影像数据经由无线网络传送至该穿戴式装置；映像模块，耦接于该穿戴式装置，将该影像数据显示于该穿戴式装置的输出单元上，以供用户注视操作；眼动指令分析模块，耦接于该穿戴式装置，分析该穿戴式装置所获取到的眼部动作指令；以及指令转换模块，耦接于该电子装置或该穿戴式装置，在接收到该眼部动作指令时对该眼部动作指令进行转换，以将该眼部动作指令输出为可供该电子装置执行的动作指令。

【技术特征摘要】
2015.04.29 TW 1041137041.一种用户界面同步系统，用于将电子装置与穿戴式装置进行配对，其特征在于，所述用户界面同步系统包括：图形输出模块，耦接于该电子装置，以存取该电子装置的影像数据，并将该电子装置的影像数据经由无线网络传送至该穿戴式装置；映像模块，耦接于该穿戴式装置，将该影像数据显示于该穿戴式装置的输出单元上，以供用户注视操作；眼动指令分析模块，耦接于该穿戴式装置，分析该穿戴式装置所获取到的眼部动作指令；以及指令转换模块，耦接于该电子装置或该穿戴式装置，在接收到该眼部动作指令时对该眼部动作指令进行转换，以将该眼部动作指令输出为可供该电子装置执行的动作指令。2.如权利要求1所述的用户界面同步系统，其特征在于，所述映像模块在该穿戴式装置的输出单元上建立显示该影像数据的用户界面窗口，并依据该电子装置的显示屏幕的长宽按照等比例放大或缩小调整该用户界面窗口。3.如权利要求2所述的用户界面同步系统，其特征在于，所述眼动指令分析模块是依据所获取到的眼部影像，分析该用户的注视方向，并在该用户界面窗口上形成可依据该注视方向移动的光标。4.如权利要求3所述的用户界面同步系统，其特征在于，当该用户的注视方向停留在该用户界面窗口上时，所述眼动指令分析模块是记录该注视方向所对应于该电子装置的显示屏幕上的坐标位置，并当该注视方向大致停留在同一图形化界面上超过所设定的阈值时间时，将触发指令经由无线网络传送至所述指令转换模块以启动该图形化界面所对应的一个或多个程序。5.如权利要求3所述的用户界面同步系统，其特征在于，所述眼动指令分析模块在检测到该用户的注视方向是由左至右快速移动时，传递左侧翻页的该眼部动作指令至该指令转换模块，以使该电
\t子装置执行由左侧向右侧翻页的动作指令，所述眼动指令分析模块在检测到该用户的注视方向是由右至左快速移动时，传递右侧翻页的该眼部动作指令至所述指令转换模块，以使所述电子装置执行由右侧向左侧翻页的动作指令。6.如权利要求5所述的用户界面同步系统，其特征在于，所述眼动指令分析模块在检测到该用户的触发动作时设定一基准坐标，持续检测该用户的注视方向，并记录该注视方向相对该基准坐标的X轴移动距离及Y轴移动距离，当该X轴移动距离或该Y轴移动距离大于阈值时，传递对应于该眼部移动方向及移动距离的眼部动作指令至所述指令转换模块，以使所述电子装置执行对应于该眼部移动方向卷动的动作指令。7.如权利要求1所述的用户界面同步系统，其特征在于，所述无线网络采用无线保真度直连协议、蓝芽无线传输、或虚拟无线接入点。8.一种受控端电子装置，其特征在于，包括：显示屏幕、无线传输单元、以及连接于该显示屏幕及该无线传输单元的处理器，所述处理器包括：图形处理单元，用于将影像数据传送至该显示屏幕上以提供用户操作的用户界面；运算单元，用于挂载并执行以下的程序：图形输出模块，用于存取该电子装置的影像数据，并将该电子装置所显示的影像数据经由无线网络传送至穿戴式装置，由该穿戴式装置输出以供用户目视操作；以及指令转换模块，经由无线网络接收该穿戴式装置所提供的眼部动作指令，将该眼部动作指令输出为可供该电子装置执行的动作指令。9.如权利要求8所述的电子装置，其特征在于，所述无线网络采用无线保真度直连协议、蓝芽无线传输、或虚拟无线接入点。10.一种主控端穿戴式装置，其特征在于，包括：输出单元、无线传输单元、摄像单元、以及连接于所述输出单元、所述无线传
\t输单元及所述摄像单元的处理器，所述摄像单元是用于拍摄并取得用户的眼部影像，所述处理器包括：图形处理单元，用于将影像数据传送至该输出单元上以提供用户操作的用户界面；运算单元，用于挂载并执行以下的程序：映像模块，是通过无线网络取得电子装置的影像数据，并将该影像数据传送至该穿戴式装置的该图形处理单元以显示在该输出单元上，供用户注视操作；眼动指令分析模块，取得由该摄像单元所拍摄取得的该眼部影像，并由该眼部影像获取眼部动作指令，通过无线网络将该眼部动作指令传送至该电子装置，以启动该电子装置的一个或多个程序。11.如权利要求10所述的穿戴式装置，其特征在于，...

【专利技术属性】
技术研发人员：邹嘉骏，
申请(专利权)人：由田新技股份有限公司，
类型：发明
国别省市：中国台湾;71