操作用户界面元素的计算机系统和方法技术方案

使用控制模式（６０３）描述可由两种或多种类型元素或控件展示的功能。在两种或多种类型元素之间公用的功能由同一控制模式描述。某些预定义的方法、结构、属性和／或事件可与特定的控制模式相关联。当被查询（６０５）时，支持控制模式的元素（６０１）返回一描述那些方法、结构、属性和／或事件的接口（６１１）。控制模式在它们所表示的功能上是互斥的，因此它们可以用任意的方法组合，以展示由特定控件提供的完整功能集。（*该技术在2023年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术涉及计算机软件，尤其涉及计算机软件的用户界面辅助选项特征。
技术介绍
一些个人可能无法以常用的方式与计算机用户界面交互。例如，小图标和类型对弱视的人提出了。可听的警告和反馈对弱听的人是没用的。计算行业对这些需求很敏感。一些操作系统具有附加的辅助选项特征，它们允许残疾人以更适应其需求的方式来修改用户界面。例如，一些操作系统允许用户启用视觉反馈，否则就使用听觉反馈。另外，可对低视力的用户使用超大屏幕字体和高对比度模式。对于极其弱视的人，诸如盲人，一些操作系统提供了“屏幕读取器(screen reader)”，它向用户叙述用户界面的元素，或提供允许另一公司提供这一屏幕读取器的架构。典型的屏幕读取器工具与用户工作的任何应用程序并发地执行。当用户在元素之间导航时，诸如通过用tab键从一个按钮切换到另一个，屏幕读取器向一文本-语音引擎或可刷新盲文显示发送关于当前元素的信息，以将该信息传达给用户。文本-语音引擎将该信息转换成合成的语音，以将其向用户宣布。可刷新盲文显示将该信息转换成轮廓分明的点图案(即，盲文字符)，并在物理硬件设备上使对应于盲文字符中的每一点的针突起。在按钮的情况下，屏幕读取器通常传达按钮的名字以及该按钮的当前状态(如，当前它被禁用因此不能被按下)。类似地，如果用户处于文字处理应用程序中，则屏幕读取器可以被配置成识别前景窗(即，应用程序名)和当前行、句子、单词或最接近插入点的字符。屏幕读取器也可描述该文本的属性，如字体名、深浅、颜色、加重和版面调整。通常，屏幕读取器也向用户告知用户当前可采取什么行动。例如，如果用户导航到按钮，则屏幕读取器可通知用户，它们可通过轻敲空间键按下按钮。屏幕读取器对于某种程度弱视的计算机用户是不可缺少的。一般而言，许多用户仅仅不能在不需要辅助技术产品的情况下利用计算机，这些产品补偿其移动性、感官知觉、或可通过技术来增强的其它功能的缺乏。然而，现有的软件设计方法令诸如屏幕读取器等辅助技术产品很难设计。如上所述，辅助技术产品通常接收当前运行的应用程序或操作系统环境本身的改变的通知。通常，这一通知采用指示焦点从一个元素(如，按钮或列表框)改变到另一元素(如，编辑字段、图标等)，或者新元素被创建或毁灭(如，窗口被打开或关闭)的事件的形式。与应用程序相关联的选择管理器引发该事件，并向操作系统通知该变化。作为响应，辅助技术产品可查询选择管理器，以确定什么元素与该事件相关联(如，哪一元素具有焦点)，因此它可获得额外的信息以传达给用户。当前，辅助技术产品本质上仅能够向元素请求有限的信息集，如其类型(如，按钮、列表框等等)、其在屏幕上的位置或其标题。辅助技术产品本身然后必须从返回的元素类型中推断出什么功能对用户可用。换言之，辅助技术产品必须理解“按钮”是什么，以及按钮可以被按下(调用)。因此，好的辅助技术产品的设计者必须预先定义可包括在应用程序中的所有的元素类型并标识其功能。这是不可能的任务，因为在软件行业中，软件公司会在例程的基础上产生新类型的屏幕元素或控件。另外，这是对资源的低效率使用，因为并非所有的元素都是唯一的。许多元素共享相似的功能，如被调用的功能或管理可选择一个或多个项目的项目集合的功能。更通用类的应用程序-自动工具具有几乎与辅助技术产品相同的需求集。一般而言，自动工具需要如在焦点从一个控件变化到另一个时动态地发现屏幕元素(如，控件)的能力，无论是通过遍历元素的对象层析还是通过接收事件通知。这些工具也需要一种向这些元素查询可被传达给用户或用于稍后引用的人类可读信息的通用机制。最后，自动工具需要发现由特定屏幕元素提供什么功能或行为的能力，即使是在该元素对自动工具完全未知的情况下。不幸的是，以可应用到可能元素的全型谱(full spectrum)的方式发现用户界面元素并查询和操纵其相关联的功能高级机制令本领域的技术人员感到困惑。
技术实现思路
本专利技术针对令用户界面元素(或控件)功能在编程上对应用程序可用，而不需要该元素类型的先验知识。另外，本专利技术针对一种机制，用于向软件开发者提供对可使用诸如辅助技术产品(如，盲人的屏幕读取器)等自动工具传达给用户的信息的控制。简言之，使用了控制模式来描述由一种或多种类型元素展示的功能。在两种或多种类型元素之间公用的功能由同一控制模式描述。某些预定义的方法、结构、属性和/或事件可以与特定的控制模式相关联。当被查询时，支持该控制模式的元素返回描述那些方法、结构、属性和/或事件的接口。以这一方式，自动工具可操纵元素，而不需要该元素支持的功能的先验知识，只要该元素能够确认它支持特定的控制模式或控制模式组。在另一方面，每一元素包括多个属性，它们以人类可读形式定义对自动工具或工具的用户有用的一组信息。以这一方式，软件开发者对于当描述元素时可收集并向用户呈现什么信息具有更大的控制，由此改进了用户体验。附图说明图1所示是可用于实现本专利技术的计算设备的功能框图。图2所示是实现本专利技术的系统的屏幕显示的功能框图。图3是表示图2所示的屏幕显示中的元素的对象树的图形表示。图4是图3所示的对象树的子树的图形表示。图5是依照本专利技术一般示出可由辅助技术产品用于为用户描述和操纵屏幕元素的过程的逻辑流程图。图6是依照本专利技术一般示出用于查询对象以确定它展现的行为的过程的逻辑流程图。具体实施例方式本专利技术提供了一种机制，它使诸如辅助技术产品、自动测试脚本、宏记录器或命令应用程序等自动工具能够收集关于用户界面元素的描述信息，并确定该元素提供的功能，而不需要知道该元素是什么类型。简言之，专利技术人确定每一元素或控件包括自动工具感兴趣的两个方面(1)描述其外观、位置和当前状态的信息，以及(2)该元素展示的功能。鉴于这一确定，本专利技术涉及以可传递给用户的方式(如，人类可读形式)向元素分配多个属性，包括对元素是什么的描述。本专利技术还涉及标识功能组，它们可以使元素可用，并且可以直接访问而不需要发现元素是什么。本专利技术将首先参考其中可实现本专利技术的说明性计算环境的一个示例来描述。接下来，将描述本专利技术的一个具体实现的详细示例。对于该具体实现的某些细节，也可包括替换的实现方式。可以理解，本专利技术的实施例不限于此处所描述的那些。本专利技术的说明性计算环境图1示出了可用于本专利技术的说明性实施例中的计算装置。参考图1，用于实现本专利技术的一个示例性系统包括计算装置，如计算装置100。在十分基本的配置中，计算装置100通常包括至少一个处理单元102和系统存储器104。根据计算装置的确切配置和类型，系统存储器104可以是易失(如RAM)、非易失(如ROM、闪存等)或两者的某一组合。系统存储器104通常包括操作系统105、一个或多个程序模块106，并且可包括程序数据107。计算装置100的这一基本配置在图1中由虚线108内的组件示出。计算装置100可具有另外的特征或功能。例如，计算装置100也可包括另外的数据存储设备(可移动和/或不可移动)，如磁盘、光盘或磁带。这类另外的存储在图1中由可移动存储109和不可移动存储110示出。计算机存储介质可包括以用于储存如计算机可读指令、数据结构、程序模块或其它数据等信息的任一方法和技术实现的易失和非易失、可移动和不可移动介质。系统存储器104、可移动存储109和不可移动存储110都是计算机存本文档来自技高网...

【技术保护点】
一种用于编程上操纵用户界面元素的计算机实现的方法，其特征在于，所述方法包括：向所述元素请求所述元素是否支持一控制模式，所述元素具有特定的元素类型，所述控制模式描述由多种类型的元素展示的基本功能；以及如果所述元素支持所述控制模 式，则使用由对应于所述控制模式的元素展示的至少一个方法操纵所述元素，由此，基于其对所述控制模式的支持操纵了所述元素，而不需要参考所述元素的类型。

【技术特征摘要】
US 2002-9-30 60/414,8631.一种用于编程上操纵用户界面元素的计算机实现的方法，其特征在于，所述方法包括向所述元素请求所述元素是否支持一控制模式，所述元素具有特定的元素类型，所述控制模式描述由多种类型的元素展示的基本功能；以及如果所述元素支持所述控制模式，则使用由对应于所述控制模式的元素展示的至少一个方法操纵所述元素，由此，基于其对所述控制模式的支持操纵了所述元素，而不需要参考所述元素的类型。2.如权利要求1所述的计算机实现的方法，其特征在于，所述基本功能包括预定义方法、结构、属性或事件中的一个或多个。3.如权利要求1所述的计算机实现的方法，其特征在于，所述元素支持多个不同的控制模式。4.如权利要求1所述的计算机实现的方法，其特征在于，所述元素是由一自动工具操纵的。5.如权利要求4所述的计算机实现的方法，其特征在于，所述自动工具包括辅助技术产品、命令工具、自动测试脚本、宏记录器、语音或口述软件、或命令和控制工具。6.如权利要求1所述的计算机实现的方法，其特征在于，所述基本功能描述所述元素的行为以及它提供给所述用户的功能。7.如权利要求1所述的计算机实现的方法，其特征在于，它还包括向所述元素请求多个属性，它们可由一自动工具用于收集被认为对用户重要的信息；以及将该信息传达该用户。8.如权利要求1所述的计算机实现的方法，其特征在于，所述控制模式是以下列表中的至少一个ApplicationWindow、Calendar、Commands、DescriptiveInformation、Dock、ExpandCollapse、Graphic、Grid、GridItem、HierarchyItem、Invoke、Multimedia、MultipleView、RangeValue、Rotation、Scroll、Selection、SelectionItem、Sort、Split、Table、TableItem、Text、Value、VisualInformati...

【专利技术属性】
技术研发人员：RE辛克莱尔，PM瓦格纳，HS布恩斯，PJ里德，B麦科恩，
申请(专利权)人：微软公司，
类型：发明
国别省市：US[美国]