用于指示屏幕外兴趣点的图形用户界面制造技术

本发明专利技术涉及一种在设备上显示增强现实AR图形用户界面GUI的方法。该方法包括基于相机获取的视觉数据和与PoI的位置相关的信息检测(402)位于屏幕外的PoI。然后，对于每个检测到的屏幕外PoI，确定(403)以PoI为中心的预定形状的区带，该区带至少部分位于屏幕上。确定与各个区带的边缘的交叉点相对应的屏幕上顶点，并基于屏幕上顶点确定(405，406，407)连续曲线。通过叠加视觉数据和连续曲线来显示GUI，其中在视觉数据的获取期间实时地执行操作。

【技术实现步骤摘要】
用于指示屏幕外兴趣点的图形用户界面
本专利技术涉及人机交互的增强，特别是但不限于，涉及在使用提供增强现实的手持设备检测兴趣点(PoI)的背景中的人机交互的增强。
技术介绍
增强现实(AR)在于真实世界环境的交互体验，其中，存在于真实世界中的对象(诸如兴趣点(PoI))被计算机生成的感知信息增强，有时跨越多种感觉形态，包括视觉、听觉、触觉、体觉和嗅觉。接下来，考虑使用视觉信息的增强现实的背景。在操作者将工业机器与增强现实设备相结合的工业背景中，例如为了维护，用户绕着机器行走，站在不同的距离和不同的角度，并寻找关于PoI的线索。这要求用户能够容易地检测到PoI并且被动态地引导到PoI。这不仅产生了如何显示关于PoI的位置信息的问题，还产生了如何调整设备的图形用户界面(GUI)以反映由于用户所处理的设备与要为其显示PoI的机器的交互而引起的变化的问题。手持设备的屏幕尺寸有限，并且优选以相对较大的比例(例如放大)显示信息，以便用户可读。然而，屏幕的显示区域可能太小而无法显示完整的兴趣区域，并且一些兴趣点可能位于显示区域之外。如图1a所示，根据现有技术的第一种解决方案提出显示分别以屏幕外PoI为中心的圆在屏幕上的部分。若干PoI100.1至100.4位于屏幕外。这意味着PoI在设备101的相机的视野之外。该设备还包括屏幕102，在屏幕102上显示第一GUI103。如图1a所示，GUI103使用分别以各个PoI100.1-100.4为中心的圆在屏幕上的部分来表示屏幕外PoI100.1-100.4。然而，对于高密度的PoI，圆的部分是重叠的，使得用户难以理解关于屏幕外PoI的信息。然后，用户需要对PoI位于何处做出假设，这将检测变成漫长、恼人和麻烦的体验。如图1b所示，根据现有技术的第二种解决方案类似于第一种解决方案，但是替代地显示了包括圆的三角形部分的GUI104。虽然这确实减少了重叠，但并没有完全消除重叠。特别是，在PoI的密度高的情况下，重叠仍然可能发生，因此并非在每种情况下都消除了与第一种解决方案相同的缺点。图1c示出了根据现有技术的第三种解决方案。在屏幕边缘上显示包括表示屏幕外区域的区带(zone)的GUI105。屏幕外PoI被表示为区带中的各个点106.1-106.4。然而，在高密度的情况下，该区带可能点太多，使用户难以理解屏幕外信息。因此，没有克服前两种解决方案的缺点。因此，前三种现有技术解决方案依赖于没有PoI聚集的屏幕外可视化系统。进一步的解决方案提出聚集屏幕外PoI。例如，根据现有技术的第四种解决方案提出了在具有PoI聚集的情况下在设备屏幕上的屏幕外可视化。参考图1d说明了第四种解决方案。根据第四种解决方案，屏幕外的真实空间被划分为单元，并且位于相同单元中的PoI被聚集。例如，第一单元111.1包括屏幕外PoI110.1-110.4，第二单元111.2包括屏幕外PoI110.5和110.6，并且第三单元111.3包括PoI110.7、110.8和110.9。然后，如GUI116，显示了作为与每个单元相对应的圆的部分的圆弧，并具有对该单元所包括的PoI的数量的指示。然而，这并不能提供关于PoI在给定单元内位于何处的指示。此外，由于单元111是固定的，两个PoI可以彼此非常靠近但却位于不同的单元中，并且在这种情况下，该第四种解决方案给出该情况的歪曲视图。因此，第四种解决方案缺乏准确性，并且妨碍了在包含PoI的机器周围行走的用户的准确操纵。参考图1e示出了现有技术的第五种解决方案。确定位于设备122的屏幕121之外的PoI120.1-120.4的群组(cluster)的质心124，并显示GUI123，GUI123包括以该质心为中心的圆在屏幕上的部分。这解决了在高密度PoI的情况下的重叠问题。然而，与第四种解决方案一样，缺失了关于PoI在群组内的位置的信息。这意味着位置信息被隐藏在聚集的标记(圆弧)之下/之内。现有技术解决方案仍然可以通过使得能够显示暗示了以聚集的方式的屏幕外PoI的位置的GUI、同时保留关于PoI的相互距离的信息来改进。具体地，需要一种聚集标记，其允许根据要显示的PoI的数量及其各自的位置来更加可变地表示PoI。利用单元或质心的圆的现有技术仅允许增加或减少的圆拱的曲率或产生重叠的圆。
技术实现思路
本专利技术的第一方面涉及一种在设备上显示增强现实AR图形用户界面GUI的方法，该设备访问与兴趣点PoI的位置相关的信息，该方法包括以下操作：-通过所述设备的相机获取视觉数据；-基于由相机获取的视觉数据和与PoI的位置相关的信息检测位于屏幕外的PoI；-对于每个检测到的屏幕外PoI，确定以PoI为中心的预定形状的区带，所述区带至少部分位于屏幕上；-确定与各个区带的边缘的交叉点相对应的屏幕上顶点；-基于屏幕上顶点确定连续曲线；-通过叠加所述视觉数据和连续曲线来显示GUI，其中，该操作在视觉数据的获取期间实时地执行。因为连续曲线既表示屏幕外PoI的数量又表示它们各自的位置，所以这允许根据要显示的PoI的数量和它们各自的位置来更加可变地表示PoI。根据一些实施例，索引i以连续的方式归属于顶点，i在1和n之间变化，n是顶点的数量；每个索引为i的顶点可以与给定位置和基于并集确定的斜率相关联；其中，对于每个索引i，从i＝1开始，该方法还包括：基于索引为i、i+1和i+2的顶点的位置并基于索引为i和i+2的顶点的斜率确定二次曲线；基于二次曲线连接(join)索引为i和i+1的顶点以获得曲线的部分；聚集曲线的部分以获得连续曲线。通过聚集二次曲线获得的连续曲线给出了关于PoI之间相互距离的暗示。事实上，如果给定顶点处的两个连续二次曲线之间的过渡是平滑的，则意味着与曲线相对应的两个PoI远离其他PoI，而如果过渡是突变的，则意味着PoI是靠近的。根据一些实施例，该方法还包括：-通过设备的相机获取新的视觉数据；-基于新的视觉数据更新连续曲线；以及-通过叠加更新的连续曲线和新的视觉数据来更新GUI。连续曲线根据操作者对AR设备的动态处理而平滑地调整。具体地，可以增强动态调整显示标记(连续曲线)以便在朝向或远离显示器上的多个屏幕外PoI导航的同时反映与该屏幕外PoI的距离的方法的方式。在这种情况下，“平滑地”是指以调整显示的标记的方式减少突变，“动态地”是指允许标记的呈现更加多样化。根据一些实施例，屏幕上顶点还可以包括屏幕和区带的并集之间的交叉点。根据一些实施例，每个区域的尺寸取决于PoI和屏幕之间或PoI和设备之间的距离。这使得能够确保区带和屏幕之间的交叉点不为空，并且因此，所显示的GUI依赖于所有PoI，甚至离屏幕更远的PoI。作为补充，给定PoI和屏幕之间的距离是给定PoI和屏幕内部的矩形的最近边缘之间的距离，并且区带可以是圆形的且圆的半径可本文档来自技高网...

【技术保护点】
1.一种在设备(220)上显示增强现实AR图形用户界面GUI的方法，所述设备访问与兴趣点PoI的位置相关的信息，所述方法包括以下操作：/n-通过所述设备的相机获取(401)视觉数据；/n-基于由所述相机获取的所述视觉数据和与PoI的位置相关的所述信息检测(402)位于屏幕外的PoI；/n-对于每个检测到的屏幕外PoI，确定(403)以PoI为中心的预定形状的区带，所述区带至少部分位于屏幕上；/n-确定(404)与各个区带的边缘的交叉点相对应的屏幕上顶点；/n-基于所述屏幕上顶点确定(405；406；407)连续曲线；/n-通过叠加所述视觉数据和所述连续曲线来显示(408)GUI，其中，在所述视觉数据的获取期间实时地执行所述操作。/n

【技术特征摘要】
20190130 EP 19305112.51.一种在设备(220)上显示增强现实AR图形用户界面GUI的方法，所述设备访问与兴趣点PoI的位置相关的信息，所述方法包括以下操作：
-通过所述设备的相机获取(401)视觉数据；
-基于由所述相机获取的所述视觉数据和与PoI的位置相关的所述信息检测(402)位于屏幕外的PoI；
-对于每个检测到的屏幕外PoI，确定(403)以PoI为中心的预定形状的区带，所述区带至少部分位于屏幕上；
-确定(404)与各个区带的边缘的交叉点相对应的屏幕上顶点；
-基于所述屏幕上顶点确定(405；406；407)连续曲线；
-通过叠加所述视觉数据和所述连续曲线来显示(408)GUI，其中，在所述视觉数据的获取期间实时地执行所述操作。


2.根据权利要求1所述的方法，其中，索引i以连续的方式归属于顶点，i在1和n之间变化，n是顶点的数量；
其中，每个索引为i的顶点与给定位置和基于并集确定的斜率相关联；
其中，对于每个索引i，从i＝1开始，所述方法还包括：
基于索引为i、i+1和i+2的顶点的位置并基于索引为i和i+2的顶点的斜率确定(406)二次曲线；
基于所述二次曲线连接索引为i和i+1的顶点以获得曲线的部分；
聚集(407)曲线的部分以获得所述连续曲线。


3.根据前述权利要求之一的方法，其中，所述方法还包括：
-通过所述设备的相机获取新的视觉数据；
-基于所述新的视觉数据更新所述连续曲线；以及
-通过叠加所更新的连续曲线和所述新的视觉数据来更新所述GUI...

【专利技术属性】
技术研发人员：D莫兰德，P佩雷亚，
申请(专利权)人：施耐德电器工业公司，
类型：发明
国别省市：法国;FR