用于混合现实环境中的对象分割的方法和系统技术方案

提供了一种用于提供混合现实(MR)交互的方法和系统。在一个示例中，该方法包括：捕获用户的附器和物理外围输入设备的第一图像，其中，用户的附器覆盖物理外围输入设备的至少一部分；执行分割，该分割将第一图像分出与用户的附器对应的第一像素区域，其中，第二像素区域对应于物理外围输入设备；基于代替第二像素区域地渲染表示虚拟外围输入设备的像素来从第一图像生成合成图像，使得虚拟外围输入设备在与物理外围输入设备相同的空间位置处出现在合成图像中并且由用户的附器至少部分地覆盖；以及向用户显示合成图像。

Method and System for Object Segmentation in Hybrid Reality Environment

【技术实现步骤摘要】
用于混合现实环境中的对象分割的方法和系统相关申请的交叉引用本申请是非临时申请并要求于2018年3月20日提交的题为“ACCURATEHANDTRACKINGONAPERIPHERALDEVICEINAMIXEDREALITYENVIRONMENT(在混合现实环境中对外围设备的准确手跟踪)”的美国临时申请第62/645,760号的权益和优先权，出于所有目的在此通过引用将该临时申请以其全部内容并入。如下常规美国专利申请(包括本申请)同时提交，并且其他申请的全部公开内容出于所有目的通过引用并入本申请中：·2019年2月4日提交的题为“METHODANDSYSTEMFORMIXEDREALITYINTERACTIONWITHPERIPHERALDEVICE”(用于与外围设备的混合现实交互的方法和系统)的第16/267,200号申请。
技术介绍
外围设备可以用于将人和计算机进行接口。一些常见的外围设备包括键盘、计算机鼠标、图像扫描仪、扬声器、麦克风、网络摄像机、头戴式显示器(HMD)、触针、笔、指针装置等。这些外围设备中的一些可以交互操作以改善用户体验。例如，HMD可以与其他外围设备(例如，鼠标、键盘等)操作，以提供混合现实(MR)或增强现实(AR)体验。例如，用户佩戴的HMD可以包括摄像机以捕获用户与该用户前方的另一外围设备(例如，键盘)的交互的实时图像。可以通过将来自图像的现实元素(例如，物理手或其他身体部位、物理键盘等)与虚拟元素(例如，虚拟键盘、虚拟手等)进行组合来生成合成图像。可以针对实时图像中的每个生成合成图像，并且可以在HMD处向用户显示合成图像以代替实时图像。当HMD由于用户的运动而移动时，可以更新HMD中显示的合成图像，以反映用户的视角相对于外围设备的变化。合成图像中的虚拟元素和真实元素的渲染应该与HMD的运动同步，以提高一致性并减轻晕动病体验。
技术实现思路
在某些实施方式中，提供了一种提供混合现实(MR)交互的方法。该方法包括：在第一时间处并使用用户的头戴式显示器(HMD)的摄像机捕获用户与物理对象的物理交互的第一图像；在第一时间与第二时间之间测量HMD相对于物理对象的运动；基于HMD的运动的测量来处理第一图像以生成第二图像；基于第二图像生成涉及用户的虚拟交互的合成图像；以及在第二时间处经由HMD并基于合成图像向用户显示虚拟交互以代替物理交互。在一些方面中，在第一时间处捕获第一图像。该方法还包括：在第一时间与第二时间之间测量HMD相对于物理对象的运动，以获得一个或更多个测量结果；基于所述一个或更多个测量结果来处理第一图像以生成第二图像。在一些方面中，基于所述一个或更多个测量结果来处理第一图像以生成第二图像包括：将第一图像存储在帧缓存器中；基于所述一个或更多个测量结果移动帧缓存器中的第一图像的一部分；以及基于第一图像的移动部分来生成第二图像。在一些方面中，帧缓存器包括第一缓存区和第二缓存区。第一图像的数据在第一缓存区和第二缓存区之间划分。基于存储在第一缓存区中的第一图像的部分数据生成第二图像。移动帧缓存器中的第一图像的一部分包括改变帧缓存器内的第一缓存区的位置。在一些方面中，帧缓存器包括第一缓存区和第二缓存区。第一图像的数据可以在第一缓存区和第二缓存区之间划分。可以基于存储在第一缓存区中的第一图像的部分数据来生成第二图像。移动帧缓存器中的第一图像的一部分可以包括：相对于帧缓存器内的第一缓存区的位置来改变第一图像的数据的存储位置。在一些方面中，所述一个或更多个测量结果包括：HMD的角速度和HMD的旋转方向。在一些方面中，基于所述一个或更多个测量结果移动帧缓存器中的第一图像的一部分包括：基于角速度、旋转方向以及第一时间和第二时间之间的时间差来确定旋转角度；基于旋转角度、HMD的第一位置和物理对象的第二位置来确定移动距离和移动方向；以及基于移动距离和移动方向移动帧缓存器中的第一图像的一部分。在一些方面中，该方法还包括：基于估计第一时间和第二时间之间的延迟来确定时间差。在一些方面中，第一图像包括显示时变图案的显示装置的图像。该方法还包括：从第一图像中识别图案；以及基于所识别的图案来确定第一时间。在一些方面中，第一图像包括由物理对象发射的时变光图案。该方法还包括：从第一图像中识别光图案；以及基于所识别的光图案来确定第一时间。在一些方面中，基于确定HMD的摄像机的快门打开时的时间来确定第一时间。在一些方面中，基于确定第一图像被存储在帧缓存器中时的时间来确定第二时间。在一些方面中，基于从附接至物理对象的光学传感器接收的信息来确定物理对象的第二位置。在一些方面中，基于从光学传感器接收的信息来确定物理对象的第二位置，所述光学传感器接收来自附接至物理对象的光发射器的光。在一些方面中，基于检测来自多个光发射器的定向光束和多个光发射器的预定位置来确定HMD的第一位置。在一些方面中，基于如下操作来生成合成图像：基于HMD的位置、物理对象的位置以及所述一个或更多个测量结果来确定第二图像中的物理对象的图像位置；以及用虚拟对象的像素代替与图像位置处的第二图像中的物理对象对应的像素以生成合成图像。在一些方面中，基于如下操作来生成合成图像：基于HMD的位置、物理对象的位置以及所述一个或更多个测量结果来确定第二图像中的物理对象的第一图像位置；基于第一图像位置且在第二图像中确定参与了与物理对象的物理交互的用户身体部位的第二图像位置；提取第二图像中的在第二图像位置处的用户身体部位的像素；以及将用户身体部位的像素放置在合成图像中。在一些方面中，用户的身体部位包括用户的手的至少一部分。在某些实施方式中，提供了一种设备。该设备包括：显示装置；摄像机，其被配置成在第一时间捕获用户与物理对象的物理交互的第一图像；图像处理器，其与摄像机和显示装置耦接并且被配置成：在第一时间和第二时间之间测量设备相对于物理对象的运动；基于设备的运动的测量来处理第一图像以生成第二图像；基于第二图像来生成涉及用户的虚拟交互的合成图像；以及将合成图像提供至显示装置，以在第二时间处向用户显示虚拟交互以代替物理交互。在某些实施方式中，提供了一种非暂态计算机可读介质。非暂态计算机可读介质存储指令，所述指令在由硬件处理器执行时使硬件处理器进行如下操作：从头戴式显示器(HMD)的摄像机接收用户与物理对象的物理交互的第一图像，在第一时间处由摄像机捕获第一图像；在第一时间和第二时间之间测量HMD相对于物理对象的运动；基于HMD的运动的测量来处理第一图像以生成第二图像；基于第二图像来生成涉及用户的虚拟交互的合成图像；以及将合成图像提供至显示装置，以在第二时间处向用户显示虚拟交互以代替物理交互。在某些实施方式中，提供了一种用于提供混合现实(MR)交互的方法。该方法包括：捕获用户的附器(appendage)和物理外围输入设备的第一图像，其中用户的附器覆盖物理外围输入设备的至少一部分；执行分割，该分割将第一图像分出与用户的附器对应的第一像素区域，其中第二像素区域对应于物理外围输入设备；基于代替第二像素区域地渲染表示虚拟外围输入设备的像素来从第一图像生成合成图像，使得虚拟外围输入设备在与物理外围输入设备相同的空间位置处出现在合成图像中并且由用户的附器至少部分地覆盖；以及向用户显示合成图像本文档来自技高网...

【技术保护点】
1.一种提供混合现实MR交互的方法，包括：捕获用户的附器和物理外围输入设备的第一图像，其中，所述用户的附器覆盖所述物理外围输入设备的至少一部分；执行分割，所述分割将所述第一图像分出与所述用户的附器对应的第一像素区域，其中，第二像素区域对应于所述物理外围输入设备；基于代替所述第二像素区域地渲染表示虚拟外围输入设备的像素来从所述第一图像生成合成图像，使得所述虚拟外围输入设备在与所述物理外围输入设备相同的空间位置处出现在所述合成图像中并且由所述用户的附器至少部分地覆盖；以及向所述用户显示所述合成图像。

【技术特征摘要】
2018.03.20 US 62/645,760;2019.02.04 US 16/267,1971.一种提供混合现实MR交互的方法，包括：捕获用户的附器和物理外围输入设备的第一图像，其中，所述用户的附器覆盖所述物理外围输入设备的至少一部分；执行分割，所述分割将所述第一图像分出与所述用户的附器对应的第一像素区域，其中，第二像素区域对应于所述物理外围输入设备；基于代替所述第二像素区域地渲染表示虚拟外围输入设备的像素来从所述第一图像生成合成图像，使得所述虚拟外围输入设备在与所述物理外围输入设备相同的空间位置处出现在所述合成图像中并且由所述用户的附器至少部分地覆盖；以及向所述用户显示所述合成图像。2.根据权利要求1所述的方法，其中，与所述用户的附器覆盖所述物理外围输入设备的所述至少一部分基本上同时地向所述用户显示所述合成图像。3.根据权利要求1所述的方法，其中，基于所述物理外围输入设备的多个位置处的活动的分布来执行所述第一图像的分割。4.根据权利要求3所述的方法，其中，所述第一图像的分割包括：确定所述物理外围输入设备的所述多个位置处的活动的历史分布，活动的历史分布基于所述用户或一组用户与所述物理外围输入设备之间的先前交互；基于活动的历史分布来确定一个或更多个阈值；将所述第一图像的像素与所述一个或更多个阈值进行比较；以及基于所述比较的结果来确定与所述用户的附器对应的所述第一像素区域以及与所述物理外围输入设备对应的所述第二像素区域。5.根据权利要求4所述的方法，其中，所述第一图像的分割包括：基于活动的历史分布的统计分析来确定所述用户的附器在所述物理外围输入设备的所述多个位置中的每个位置处的可能性的分布；基于所述可能性的分布来识别可能是所述用户的附器的一部分的像素；以及基于所识别的像素的一个或更多个属性来确定所述一个或更多个阈值。6.根据权利要求5所述的方法，还包括：确定所述一个或更多个阈值中的与所述用户的附器的第一区域对应的第一阈值；确定所述一个或更多个阈值中的与所述用户的附器的第二区域对应的第二阈值；以及将所述第一图像的像素与所述第一阈值和所述第二阈值进行比较，以确定与所述用户的附器对应的所述第一像素区域。7.根据权利要求6所述的方法，还包括：基于环境光强度或所述用户的身份中的至少一个来确定所述第一阈值或所述第二阈值中的至少一个。8.根据权利要求3所述的方法，其中，所述活动的分布包括在所述物理外围输入设备的所述多个位置处的活动的即时分布。9.根据权利要求8所述的方法，还包括：从所述物理外围输入设备的第一位置处的传感器接收对活动进行接收的指示；基于所述指示，捕获所述物理外围输入设备的第三图像；选择与所述第一位置对应的第三像素区域和在所述第一位置周围的第四像素区域；确定所述第三像素区域的颜色分量的第一直方图；确定所述第四像素区域的颜色分量的第二直方图；基于所述第一直方图和所述第二直方图来确定一个或更多个阈值；以及将所述第一图像的像素与所述一个或更多个阈值进行比较，以确定所述第一图像的与所述用户的附器对应的所述第一像素区域。10.根据权利要求9所述的方法，还包括：基于活动的历史分布识别所述物理外围输入设备的接收次数少于预定先前活动数量的第二位置；从所述第三图像中识别与所述第二位置对应的第五像素区域；确定所述第五像素区域的颜色分量的第三直方图；基于所述第三直方图来确定所述一个或更多个阈值中的...

【专利技术属性】
技术研发人员：马里奥·古铁雷斯，托马斯·鲁维尼兹，西德尼·博韦，赫尔穆特·格雷布纳，马蒂厄·迈塞尔，
申请(专利权)人：罗技欧洲公司，
类型：发明
国别省市：瑞士,CH