用于操作显示装置的方法和系统制造方法及图纸

本发明专利技术涉及一种用于操作显示装置(12)的方法，包括以下步骤：捕获用户(14)的头部的至少一部分的图像数据(步骤110)，从在步骤a)中捕获的图像数据中确定用户(14)通过移动头部的至少一部分可改变的至少一个参数(步骤120)，基于所确定的至少一个参数，控制显示装置(12)上的视觉表示(步骤130)，其中，基于步骤a)中的捕获确定至少一个质量参数(步骤140)，并且基于所述至少一个质量参数，改变所述视觉表示的至少一部分的至少一个分辨率(步骤150)。此外，本发明专利技术涉及一种对应的计算机程序产品和对应的用于操作显示装置的系统。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种用于操作显示装置的方法，其包括如下步骤：首先，捕获用户的头部的至少一部分的图像数据。随后，根据所捕获的图像数据确定用户通过移动头部的至少一部分可改变的至少一个参数，随后依据所确定的至少一个参数控制在显示装置上的视觉表示。此外，本专利技术涉及一种计算机程序产品，具有用于计算设备的程序，该程序具有程序代码部分，该程序代码部分用于当在计算机设备上执行该程序时执行和/或产生该方法的步骤。最后，本专利技术包括对应的用于操作显示装置的系统，具有：捕获设备，用于捕获用户的头部的至少一部分的图像数据；至少一个计算设备，其被适配为从由捕获设备捕获的图像数据中确定用户通过移动头部的至少一部分可改变的至少一个参数；以及控制设备，用于依据由计算设备确定的至少一个参数控制在显示装置上的视觉表示。
技术介绍
在这种情境下，已知所谓的跟踪设备，例如眼睛、脸部或者头部跟踪器，其被适配为提供用户的头部的至少一部分的图像，并且根据其确定查看方向、眼睛运动以及用户的其它眼睛和头部数据。这些跟踪设备可以作为物理单元或者以分布的方式实现。如果例如照相机和照明分离地提供或者集成在监视器中，同时用于数据处理的程序在连接到其的计算机、例如PC、平板PC或者智能电话等上运行，则它们是分布式的。然而，如果计算机单元例如以用户佩戴的眼镜、平板PC或者膝上型计算机的方式集成在设备中，则这些跟踪设备也可以作为物理单元来形成，其中，该设备进一步具有至少一个照相机、至少一个显示器以及任选地至少一个照明设备。然而，任选地，在这种情况下也可以设置为，将计算机单元经由至少一个照相机捕获并且任选地经过处理的数据传递到另一个计算机，例如PC、平板PC或者智能收集等来使用。从由跟踪设备确定的图像数据中确定用户通过移动头部的一部分可改变的至少一个参数。该参数例如可以是查看方向，但是也可以是眼睛运动、头部运动以及其它眼睛和头部数据。然后，使用该至少一个参数来控制软件应用在显示装置上的视觉表示，例如使表示滚动，选择Excel表中的单元格进行处理，选择图标等。以这种方式，不能对计算机程序进行传统的操作的残疾人例如也可以使用软件应用。在下面的说明的范围内，表述“应用”表示应用程序、例如Word。表述“文件”表示文档，例如当前文档。上下文参数可以被绑定到文件或者应用或者更小的单元、例如对象、设置等。很明显，用户发现通过借助于跟踪设备进行控制来操作软件应用在不同的情形下更难或者更容易，其中，可操作性还可能与软件应用的要求、特别是相应地寻求的交互的要求有关。
技术实现思路
因此，本专利技术要解决的技术问题是，提供在开头提到的方法、对应的计算机程序产品以及对应的系统，借助其，即使在非常不同的情形下，也使得在显示装置上视觉地表示的软件应用的操作尽可能简单并且可靠。上述技术问题通过具有权利要求1的特征的方法、具有权利要求13的特征的计算机程序产品以及具有权利要求14的特征的系统来解决。本专利技术基于多种认知的组合：一方面，借助跟踪设备对软件应用在显示装置上的视觉表示的控制的鲁棒性在很大程度上受用户的环境条件、外貌和化妆的眼睛和/或头部参数影响。另一方面，控制的鲁棒性受用户的行为影响。此外，鲁棒性以及还有所提及的参数对其的影响根据所使用的技术部件、例如照相机传感器、光学装置、任选地存在的照明等的具体特性而不同。也就是说，不同的跟踪设备，甚至具有相同的设计的不同的装置不为所有用户、应用和情形提供相同的测量精度和鲁棒性。此外，所提及的鲁棒性的差异的影响根据要控制的软件应用的要求而不同。与控制相关的元件在平面上表示得越小，可操作性的鲁棒性变化的影响和用户感知越大。最后，要考虑，用户越多地使用这些控制技术，并且使用领域和软件应用变得越普通、即越不受控制，则可操作性的平均质量以及用户感知就变得越重要。为了使得可以操作软件应用的这些交互设备、即跟踪设备能够对于非常不同的用户有效地使用，在本专利技术中，确定反映精度的至少一个质量参数，并且针对交互提供“自适应放大(adaptivezoom)”。如果用户例如通过本专利技术的范围内的查看方向选择了电子表格程序中的单元格，则根据本专利技术，为此可以以放大水平向用户提供单元格网格，该放大水平利用专用的跟踪设备或者在受环境条件影响的特定情形下，被匹配于图像数据的捕获质量或者所确定的上面提到的一个参数的精度，或者匹配于特定用户匹配。相反，存在如下可能性：使得由应用提供的选择设备、例如电子表格程序中的通常为一个单元格大小的单元格标记变为与从当前可实现的精度得到的一样多的单元格那样大。这与用户的物理特性、环境条件、所使用的硬件、用户和跟踪设备之间的距离以及其它条件有关。相应地，如果精度仅为4个单元格那么大，则总是以高亮的方式显示4个单元格的块作为选择元件。此外，在非离散的交互场景中，光标或者鼠标指针也可以被适配于图像数据的捕获的当前质量和/或所确定的上面提及的参数的精度，并且在质量较差或者精度较低的情况下变得大得多，使得对软件应用的控制总是与视觉预期对应地进行。表示的差异不是必须大，但是也可以非常小。关键是，进行适配，使得用户也可以进行他基于软件应用的操作元件的视觉表示所预期的交互。因此，根据本专利技术，基于图像数据的捕获来确定至少一个质量参数，随后至少与至少一个质量参数有关地改变视觉表示的至少一部分的分辨率。术语分辨率在本专利技术的范围内意为视觉表示的大小。改变分辨率的含义可以是在大小不变的情况下改变每个对象的像素的数量，但是在此不是必须进行。相应地，如果基于捕获的图像数据、例如根据捕获的图像数据本身或者根据由该图像数据计算的中间或结果数据确定了差的质量，则由此可以改变视觉表示的至少一部分的分辨率，以进一步使得即使在这些差条件下用户也能够借助跟踪设备对软件应用进行操作。以这种方式，可以提供最佳分辨率、例如在显示装置上表示的视觉表示的放大水平，以使得最佳“虚拟精度”能够用于用户与软件应用的交互。通过根据本专利技术的方法，可以针对非常不同的用户、硬件设备和环境条件相应地提供这些应用的高鲁棒性。特别是，在廉价的硬件设备的情况下、在要控制的软件应用的精度要求高或者具有有限的操作能力的用户的情况下，也使得能够对这种应用进行可靠的操作。其中，质量参数与根据图像数据确定的参数的或者图像数据本身的质量、特别是测量精度有关。其表示确定的参数的、特别是还有参数的确定的精度、特别是测量精度的度量，由此是与确定的参数不同的参数。其中，质量参数和确定的参数基于相同的图像数据来确定。其中，质量参数特别是可以基于该图像数据和/或基于确定的参数来确定。为了确定质量参数，优选对包含在参数的确定和/或确定的参数本身中的数据进行分析，其中，该数据特别是可以表示捕获的图像数据和/或根据图像数据计算的中间和/或结果数据。因此，确定的参数可以被解释为表示测量的量，其中，质量参数指示与测量的量相关联的测量精度或可靠性或者与测量的量相关联的精度、特别是测量精度的度量。因此，质量参数特别是还以预测的方式量化例如确定的参数与实际参数的偏差有多大，例如是最大、最小还是为平均值，例如是所确定的查看方向与实际查看方向之间的最大可能偏差。质量参数还可以指示确定的参数与对应的实际参数的例如最大偏差的估计值。质量参数例如还可以指示在时间上本文档来自技高网...

【技术保护点】
一种用于操作显示装置(12)的方法，包括以下步骤：a)捕获用户(14)的头部的至少一部分的图像数据(步骤110)；b)从在步骤a)中捕获的图像数据中确定用户(14)通过移动头部的至少一部分可改变的至少一个参数(步骤120)；c)依据所确定的至少一个参数，控制显示装置(12)上的视觉表示(步骤130)；其特征在于，还包括以下步骤：d)基于步骤a)中的捕获确定至少一个质量参数(步骤140)；e)依据所述至少一个质量参数，改变所述视觉表示的至少一部分的至少一个分辨率(步骤150)。

【技术特征摘要】
【国外来华专利技术】2014.03.27 EP 14162073.21.一种用于操作显示装置(12)的方法，包括以下步骤：a)捕获用户(14)的头部的至少一部分的图像数据(步骤110)；b)从在步骤a)中捕获的图像数据中确定用户(14)通过移动头部的至少一部分可改变的至少一个参数(步骤120)；c)依据所确定的至少一个参数，控制显示装置(12)上的视觉表示(步骤130)；其特征在于，还包括以下步骤：d)基于步骤a)中的捕获确定至少一个质量参数(步骤140)；e)依据所述至少一个质量参数，改变所述视觉表示的至少一部分的至少一个分辨率(步骤150)。2.根据权利要求1所述的方法，其特征在于，为了确定所述至少一个质量参数，对在步骤b)中确定的参数的质量和/或幅度和/或图像数据的捕获的质量，和/或为了确定所述至少一个质量参数，对在步骤a)中捕获的图像数据进行分析。3.根据权利要求1或2所述的方法，其特征在于，所述视觉表示包括通过移动头部的至少一部分可移动的至少一个元件，其中，在步骤e)中，依据所述至少一个质量参数，改变至少一个可移动元件的移动速度的分辨率。4.根据前述权利要求中任一项所述的方法，其特征在于，在步骤e)中，依据所述至少一个质量参数，改变整个视觉表示的分辨率。5.根据权利要求4所述的方法，其特征在于，所述视觉表示包括至少一个静态和/或动态元件，其中，在步骤e)中，依据所述至少一个质量参数，改变所述静态和/或动态元件的分辨率。6.根据权利要求4所述的方法，其特征在于，在步骤e)中，改变整个视觉表示的分辨率。7.根据权利要求4或5所述的方法，其特征在于，作为所述视觉表示的一部分，改变以下组中的至少一个元件的分辨率：-与放大镜功能有关的区域；-可预先给定的工作窗口的内容；-鼠标指针；-光标；-应用的操作元件；-由应用表示的数据的内容元件或者区域；-所述视觉表示产生的应用的逻辑片段。8.根据前述权利要求中任一项所述的方法，其特征在于，为了确定所述至少一个质量参数，确定以下组中的至少一个量：-在步骤a)中捕获的图像数据的参数，特别是图像中的和/或至少一个所确定的对象的噪声分量、频率分布、强度分布；-对在步骤a)中捕获的图像数据的评价中的、特别是根据捕获的图像数据计算的中间或结果数据中的参数。9.根据权利要求8所述的方法，其特征在于，为了确定所述至少一个质量参数，针对以下量中的至少一个，对在步骤a)中捕获的图像数据进行分析：-可预先给定的频率范围内的频率分量，特别是通过空间-时间频率分析和小波；-可预先给定的图像区域中的对比度值，特别是图像区域中的梯度、边缘、强度、频度/分布；-可预先给定的参数的幅值；-结果数据的幅值；-至少一个可预先给定的对象的存在；和/或-根据在步骤a)中捕获的图像数据确定的中间或结果数据的改变或加速率。10.根据前述权利要求中任一项所述的方法，其特征在...

【专利技术属性】
技术研发人员：E施密特，
申请(专利权)人：传感运动器具创新传感技术有限公司，
类型：发明
国别省市：德国;DE