本发明专利技术公开了一种便携式电子设备的交互装置及其交互方法。该交互方法对使用者发出的语音或动作命令进行模式识别，获得需要执行的命令。查找预先编制的命令表，获得命令的执行场景和动作脚本。访问操作系统的帧缓冲区，获取应用程序当前用户界面图像。对界面图像进行识别，在预先编制的场景表中查找当前所在场景。若当前场景不是命令的执行场景，则按照预先编制的场景转换图，转换至命令的执行场景。按照动作脚本对应用程序用户界面进行操作。本发明专利技术在传统应用程序上通过模式识别实现交互，一方面可以在可穿戴电子设备上实现对传统应用程序的交互，另一方面可以方便残障人士使用传统应用程序。本发明专利技术还涉及一种该交互方式的交互装置。
【技术实现步骤摘要】
一种便携式电子设备的交互装置及其交互方法
本专利技术涉及计算机科学与
，具体涉及一种便携式电子设备的交互装置及其交互方法。
技术介绍
从计算机专利技术以来，人机交互就成为计算机技术中一个重要研究领域，实现进行方便、快捷、人性化的计算机控制是该项研究不断的追求。目前，主流的人机交互方式有如下两种方式。（1）使用者使用键盘，鼠标，触摸屏等输入设备对计算机进行控制，通过按键、点击或触摸手势输入命令，该方式输入的命令相对较为明确，计算机容易进行解析并执行，但是对于用户来说，需要对命令规则进行记忆，友好度较低。这种方式是目前最主流的方式，大多数计算机都采用这种方式。（2）使用者通过语音或动作等方式输入命令，计算机需要通过对语音或动作等进行模式识别，并对识别结果进行理解，分析出要执行的命令。这种方式对于用户来说，友好度更高，但是要求计算机有较高的运算能力和智能化程度。现在，传统便携式计算机和电子设备正逐渐向可穿戴的方向发展。可穿戴电子设备基本上都要求微型化和轻量化，很多可穿戴电子设备的屏幕很小，甚至没有屏幕，因此，利用传统的键盘、鼠标和触摸屏来进行交互显然不可行，因此，可穿戴设备大多采用语音或动作等方式进行交互。此外，很多有肢体缺陷的残障人士在使用传统的键盘、鼠标和触摸屏来进行交互往往有诸多困难，因此，他们也往往需要采用语音或动作等方式进行交互。目前大多数应用程序都是基于传统交互方式开发的，而且并不提供外部控制接口，因此，在传统应用程序上通过模式识别实现交互就成为一个亟待解决的问题。
技术实现思路
有鉴于此，本专利技术的目的是提供一种便携式电子设备的交互装置及其交互方法，其在传统应用程序上通过模式识别实现交互，一方面方便在可穿戴电子设备上运行传统应用程序，另一方面方便残障人士使用传统应用程序。本专利技术是这样实现的，一种便携式电子设备的交互装置，其通过模拟人的操作实现交互；该交互装置包括：模式识别模块，其用于对使用者发出的语音或动作命令进行模式识别，获得需要执行的命令；查找模块，其用于根据识别的命令查找预先编制的命令表；第一判断模块，其用于判断在预先编制的命令表中，是否能查找到相应命令；界面图像获取模块，其用于在该查找模块查找到相应命令时，获得命令的执行场景和动作脚本，访问操作系统的帧缓冲区，获取应用程序当前用户界面图像；界面图像识别模块，其用于根据预先编制的场景表，对界面图像进行识别；第二判断模块，其用于判断在预先编制的场景表中，是否能查找到当前所在场景；第三判断模块，其用于在预先编制的场景表中查找到当前所在场景时，判断当前所在场景是否为命令的执行场景；执行模块，其用于在当前所在场景为命令的执行场景时，按照动作脚本对应用程序用户界面进行操作。作为上述方案的进一步改进，该交互装置还包括提示模块，该提示模块用于在该查找模块查不到相应命令时，进行出错提示后退出。优选地，该提示模块还用于在预先编制的场景表中查不到当前所在场景时，进行出错提示后退出。作为上述方案的进一步改进，该交互装置还包括场景转换模块，该场景转换模块用于在当前所在场景不为命令的执行场景时，按照预先编制的场景转换图，生成临时动作脚本，执行临时动作脚本，将当前场景转换至与预先编制的场景相对应的命令的执行场景，最后由执行模块执行命令对应的动作脚本。本专利技术还涉及一种便携式电子设备的交互方法，其通过模拟人的操作实现交互；该交互方法包括以下步骤：对使用者发出的语音或动作命令进行模式识别，获得需要执行的命令；根据识别的命令查找预先编制的命令表；判断在预先编制的命令表中，是否能查找到相应命令；在查找到相应命令时，获得命令的执行场景和动作脚本，访问操作系统的帧缓冲区，获取应用程序当前用户界面图像；根据预先编制的场景表，对界面图像进行识别；判断在预先编制的场景表中，是否能查找到当前所在场景；在预先编制的场景表中查找到当前所在场景时，判断当前所在场景是否为命令的执行场景；在当前所在场景为命令的执行场景时，按照动作脚本对应用程序用户界面进行操作。作为上述方案的进一步改进，该交互方法还包括步骤：在查不到相应命令时，进行出错提示后退出。优选地，该交互方法还包括步骤：在预先编制的场景表中查不到当前所在场景时，进行出错提示后退出。作为上述方案的进一步改进，在当前所在场景不为命令的执行场景时，按照预先编制的场景转换图，生成临时动作脚本，通过执行该临时动作脚本将当前场景转换至与预先编制的场景相对应的命令的执行场景，并且执行命令对应的动作脚本。本专利技术的有益效果为：1、可以在使用传统交互方式的应用程序上通过模式识别实现交互，便于在可穿戴电子设备上运行传统应用程序，并且可以方便肢体缺陷的残障人士使用传统应用程序；2、通过模拟人的操作实现交互，对应用程序无任何特殊要求，通用性和兼容性较好。附图说明图1为本专利技术较佳实施方式提供的便携式电子设备的交互方法的流程图。图2为场景转换示例图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。请参阅图1，其为本专利技术较佳实施方式提供的便携式电子设备的交互方法的流程图。本专利技术的便携式电子设备的交互方法为纯软设计，其可划分为模式识别模块、查找模块、第一判断模块、界面图像获取模块、界面图像识别模块、第二判断模块、第三判断模块、执行模块、提示模块、场景转换模块。本专利技术的便携式电子设备的交互方法包括以下步骤。步骤S11，对使用者发出的语音或动作命令进行模式识别，获得需要执行的命令。步骤S11的模式识别由模式识别模块执行。步骤S12，根据识别的命令查找预先编制的命令表。步骤S12的查找命令表由查找模块执行。步骤S13，判断在预先编制的命令表中，是否能查找到相应命令。步骤S13的找到命令的判断由第一判断模块执行。步骤S14，在查找到相应命令时，获得命令的执行场景和动作脚本，访问操作系统的帧缓冲区，获取应用程序当前用户界面图像。步骤S14的获取解码图像由界面图像获取模块执行。步骤S15，根据预先编制的场景表，对界面图像进行识别。步骤S15的查找场景表由界面图像识别模块执行。步骤S16，判断在预先编制的场景表中，是否能查找到当前所在场景。步骤S16的找到场景的判断由第二判断模块执行。步骤S17，在预先编制的场景表中查找到当前所在场景时，判断当前所在场景是否为命令的执行场景。步骤S17的执行场景的判断由第三判断模块执行。步骤S18，在当前所在场景为命令的执行场景时，按照动作脚本对应用程序用户界面进行操作。步骤S18的执行动作脚本由执行模块执行。步骤S19，进行出错提示后退出。步骤S19的出错提示由提示模块执行。在查不到相应命令时，或在预先编制的场景表中查不到当前所在场景时，提示模块进行出错提示后退出。步骤S120，在当前所在场景不为命令的执行场景时，按照预先编制的场景转换图，生成临时动作脚本，通过执行该临时动作脚本将当前场景转换至与预先编制的场景相对应的命令的执行场景，并且执行命令对应的动作脚本。步骤S120的场景转换由场景转换模块执行。命令表主要包括以下内容：命令关键字，执行场景和动作脚本。命令关键字。命令关键字用于对命令识别，在整个命令表中具有唯本文档来自技高网...
【技术保护点】
一种便携式电子设备的交互装置，其通过模拟人的操作实现交互；其特征在于：该交互装置包括：模式识别模块，其用于对使用者发出的语音或动作命令进行模式识别，获得需要执行的命令；查找模块，其用于根据识别的命令查找预先编制的命令表；第一判断模块，其用于判断在预先编制的命令表中，是否能查找到相应命令；界面图像获取模块，其用于在该查找模块查找到相应命令时，获得命令的执行场景和动作脚本，访问操作系统的帧缓冲区，获取应用程序当前用户界面图像；界面图像识别模块，其用于根据预先编制的场景表，对界面图像进行识别；第二判断模块，其用于判断在预先编制的场景表中，是否能查找到当前所在场景；第三判断模块，其用于在预先编制的场景表中查找到当前所在场景时，判断当前所在场景是否为命令的执行场景；执行模块，其用于在当前所在场景为命令的执行场景时，按照动作脚本对应用程序用户界面进行操作。
【技术特征摘要】
1.一种便携式电子设备的交互装置，其通过模拟人的操作实现交互；其特征在于：该交互装置包括：模式识别模块，其用于对使用者发出的语音或动作命令进行模式识别，获得需要执行的命令；查找模块，其用于根据识别的命令查找预先编制的命令表；第一判断模块，其用于判断在预先编制的命令表中，是否能查找到相应命令；界面图像获取模块，其用于在该查找模块查找到相应命令时，获得命令的执行场景和动作脚本，访问操作系统的帧缓冲区，获取应用程序当前用户界面图像；界面图像识别模块，其用于根据预先编制的场景表，对界面图像进行识别；第二判断模块，其用于判断在预先编制的场景表中，是否能查找到当前所在场景；第三判断模块，其用于在预先编制的场景表中查找到当前所在场景时，判断当前所在场景是否为命令的执行场景；执行模块，其用于在当前所在场景为命令的执行场景时，按照动作脚本对应用程序用户界面进行操作；场景转换模块，该场景转换模块用于在当前所在场景不为命令的执行场景时，按照预先编制的场景转换图，生成临时动作脚本，执行该临时动作脚本，将当前场景转换至与预先编制的场景相对应的命令的执行场景，最后由该执行模块执行命令对应的动作脚本。2.如权利要求1所述的便携式电子设备的交互装置，其特征在于：该交互装置还包括提示模块，该提示模块用于在该查找模块查不到相应命令时，进行出错提示后退出。3.如权利要求2所述的便...
【专利技术属性】
技术研发人员：范美辉，文斐，黄汪，
申请(专利权)人：合肥华恒电子科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。