为三维环境提供用户界面的方法和系统技术方案

示出了一种用于为360°图像的三维环境提供用户界面的方法。所述方法包括显示360度图像序列中的第一360度图像；接收用户输入以与所述第一360度图像内检测到的多个感兴趣的点中之一交互；以及处理交互。每个感兴趣的点都与三维坐标关联。也公开了系统和软件。

Method and system of providing user interface for 3D environment

【技术实现步骤摘要】
【国外来华专利技术】为三维环境提供用户界面的方法和系统
本专利技术涉及用户界面领域，更确切地，但并非排他地，本专利技术涉及用于三维环境的用户界面。
技术介绍
在电脑游戏和虚拟现实中，从三维图形创建的三维环境是广为人知的。然而，也可以从相对较新的商品——360°相机创建三维环境。为了改善由360°相机创建的三维环境的沉浸式体验，需要用其他内容来增强三维环境。马特珀特(Matterport)提供了一种技术，该技术使用具有光学镜头和多个传感器(红外信号和陀螺仪)的专有相机，从而能够通过围绕场景的一个位置上的吊舱的纵轴旋转硬件来捕获连续的(非360°)照片、距离和颜色测量值。在场景中相隔每一米重复该操作，马特珀特软件为整个场景中每个地方和整个场景的对应的三维网格的创建拼合的360°图像。用户可以移动到三维网格内的不同位置，并且向该用户显示该大致位置的360°图像。在以前显示的图像和新的360°图像之间会显示变形动画。文本标签可以在配置过程中添加到三维网格中。如果三维网格无法准确映射到360°图像(如果光线太强或在室外使用时，可能会发生此现象)，则该过程可能会很困难。用户在查看显示的360°照片时，会显示指示符，这些指示符使用户能够选择用于显示的文本标签。需要一种方法和系统，来提供更强大和更简单的技术，以使用户能够更有效地与包括360°图像的三维环境进行交互。本专利技术的一个目的是提供一种用于为三维环境提供用户界面的方法和系统，该方法和系统克服了现有技术的缺点，或者至少提供了一种有用的选择。
技术实现思路
根据本专利技术的第一方面，提供一种用于为三维环境提供用户界面的方法，包括：a)显示360度图像序列中的第一360度图像；b)接收用户输入以与第一360度图像内检测到的多个感兴趣的点中之一交互；以及c)处理交互；其中每个感兴趣的点都与三维坐标关联。在权利要求中描述本专利技术的其他方面。附图说明现在通过参考以下附图仅以示例性的方式描述本专利技术的实施例，在附图中：图1示出了图示根据本专利技术的实施例的系统的框图；图2示出了图示根据本专利技术的实施例的方法的流程图；图3示出了图示根据本专利技术的实施例的方法的流程图；图4示出了图示根据本专利技术的实施例的在360度图像中的感兴趣的点的用户选择和相关的内容的图；图5示出了图示根据本专利技术的实施例的在360度图像中的感兴趣的点处的内容指示符的用户选择以及激活该内容的图；具体实施方式本专利技术提供一种用于与360°图像的三维环境交互的方法和系统。专利技术人发现，可以在三维图像中检测到感兴趣的点。然后可以将这些感兴趣的点提供给用户以与之交互，例如，来附加内容或查看附加的内容。此外，在本专利技术的一个实施例中，专利技术人发现，通过提供360度图像序列，用户进行的移动可以遵循引导路径，从而简化交互。在图1中，示出了根据本专利技术的实施例的系统100。示出了显示器101。显示器101被配置为显示来自360度图像序列中的360度图像。可以使用360度相机从真实场景中捕获该360度图像序列。将理解的是，360度相机可以包括一系列通常的球面镜和图像传感器，图像传感器被配置为从场景中捕获一系列图像，然后可以将该一系列图像拼合在一起以生成场景的360度图像。在另一可选实施例中，360度相机可以包括单个透镜和图像传感器，其被配置为在不同的方位捕获多个图像并将捕获的图像拼合在一起以形成360度图像。在另一个实施例中，360度相机可以包括两个鱼眼镜头，其捕获被拼合在一起以形成360度图像的两个180度图像(或者在一些实施例中为180度至220度图像)。将理解的是，在使用术语360度图像或180度图像的情况下，该图像可能没有捕获围绕相机周围的水平面的整个360°或180度视图，以及可能没有捕获围绕相机周围的垂直平面的整个360°或180°视图。例如，在一个实施例中，360度图像可以捕获围绕相机的一个球面，除球面底部部分外。360度像机可以是360度摄像机。可以沿真实世界环境内的路径移动该相机，以捕获整个路径上的360度图像序列。显示器101可以是，例如电子显示器，诸如触摸屏显示器、有机发光半导体(OrganicLight-EmittingDiode，OLED)显示器、发光半导体(Light-EmittingDiode，LED)显示器或任何其他类型的电子显示器。显示器101可以是面板显示器，例如计算机屏幕、电视屏幕或便携式设备屏幕(例如平板电脑或智能手机)，或可穿戴显示器，例如增强现实(augmentedreality,AR)耳机、混合现实(mixedreality,MR)耳机、或虚拟现实(virtualreality,VR)耳机。示出了用户输入设备102。用户输入设备102被配置为从用户接收输入以与显示的360度图像内检测到的多个感兴趣的点中的至少一个交互。用户输入设备102可以是指针设备，例如鼠标、触摸屏、触控板或AR/MR/VR控制器、基于传感器的输入设备，例如视觉输入设备、IR输入设备、激光输入设备或基于其他传感器的输入设备、麦克风或任何其他类型的用户输入设备。示出了处理器103。处理器103可以被配置为控制显示器101、用户输入设备102和/或存储器104。处理器103可以被进一步配置为处理与多个感兴趣的点的交互。将理解的是，处理器103可以包括多个处理器，例如，多核或连接的处理器基础架构。示出了存储器104。存储器104可以是处理器103的本地存储器，并且可以通过总线连接105到处理器103，或者存储器104可能远离处理器103，并且可以经由通信系统(例如网络控制器和网络或互联网)连接105处理器103。存储器104通过通信系统连接的情况下，存储器104可以驻留在服务器设备(未示出)上。存储器104可以被配置为存储360度图像的序列和具有相关联的三维坐标的感兴趣的点。显示器101、用户输入设备102、处理器103和/或存储器104可以被连接或共置在诸如计算设备的同一设备内。该计算设备可以是台式机、笔记本电脑、平板电脑或智能手机设备。参考图2，将描述根据本专利技术的实施例的用于为三维环境提供用户界面的方法200。在步骤201中，在用户界面内向用户显示(例如，在显示器101上)来自360图像序列(例如，如图1所描述)的360度图像。在步骤202，在用户界面内(例如，经由用户输入设备102)从用户接收输入，以与在360度图像内检测到的多个感兴趣的点之一交互。每个感兴趣的点都与三维坐标关联。可以使用节点向量化通过一个或多个处理器来检测多个感兴趣的点。例如，可使用图像处理方法在第一360度图像内检测感兴趣的点(例如，使用视觉特征分析(例如，对比分析)检测在邻近像素组上的点)；这些感兴趣的点可以被映射到在第二360度图像内类似地检测到的对应的感兴趣的点；并且可以对每个感兴趣的点和对应的点进本文档来自技高网...

【技术保护点】
1.一种为三维环境提供用户界面的方法，包括：/na)显示360度图像序列中的第一360度图像；/nb)接收用户输入以与所述第一360度图像内检测到的多个感兴趣的点中之一交互；以及/nc)处理交互；/n其中，每个感兴趣的点都与三维坐标关联。/n

【技术特征摘要】
【国外来华专利技术】20170707 US 62/529,6331.一种为三维环境提供用户界面的方法，包括：
a)显示360度图像序列中的第一360度图像；
b)接收用户输入以与所述第一360度图像内检测到的多个感兴趣的点中之一交互；以及
c)处理交互；
其中，每个感兴趣的点都与三维坐标关联。


2.根据权利要求1所述的方法，其中，所述交互包括将内容与选择的感兴趣的点关联。


3.根据权利要求1所述的方法，其中，所述交互包括激活与选择的感兴趣的点相关联的内容。


4.根据权利要求2至3中的任一项所述的方法，其中，所述内容是从单类型内容、多媒体内容和真实世界对象交互内容的集合中选择的一个或多个。


5.根据权利要求2至4中任一项所述的方法，其中，针对所述内容的指示符显示在所述多个感兴趣的点中的至少一个处。


6.根据权利要求5所述的方法，其中，基于所述感兴趣的点的三维坐标在所述显示器内缩放所述指示符。


7.根据权利要求6所述的方法，其中，所述指示符是从二维图像和三维模型的集合中选择的一个。


8.根据前述权利要求中任一项所述的方法，其中，所述360度图像是真实世界图像。


9.根据权利要求8所述的方法，其中，所述360度图像由...

【专利技术属性】
技术研发人员：杰拉德·菲利伯特·克里丁，卡米尔·科塔格努德，马蒂厄·克劳德·莱昂·加里格斯，莱昂内尔·罗伯特·丹尼尔·克拉西尔，
申请(专利权)人：TIME二市场公司，
类型：发明
国别省市：瑞士;CH