具有体积感测的游戏装置制造方法及图纸

描述了一种用于增强相对于头戴式显示器(HMD)对用户的手的检测的方法。所述方法包括通过整合在平板装置内的传感器感测能量的中断部分。当所述用户的所述手干扰所述能量时，生成所述能量的所述中断部分。感测所述能量的所述中断部分的所述多个传感器生成能量图像，其反映所述手的当前位置。所述方法包括连续重复所述感测来生成能量图像流。所述方法包括将所述能量图像流传达到游戏控制台用于处理所述能量图像中的每一个来生成所述手的模型和所述手的所述模型的移动。所述手的所述模型至少部分地呈现为显示在所述HMD中的虚拟环境中的虚拟手。

Game device with volume sensing

A method for enhancing the detection of a user's hand relative to a head mounted display (HMD) is described. The method includes interrupting a portion of an energy by integrating a sensor in a flat panel device. When the user's hand interferes with the energy, the interrupt portion of the energy is generated. The plurality of sensors sensing the interrupted part of the energy generate an energy image that reflects the current position of the hand. The method comprises the steps of continuously repeating the sensing to generate an energy image stream. The method includes spreading the energy image to a game console for processing each of the energy images to generate a model of the hand and the movement of the hand of the model. The model of the hand is at least partially rendered as a virtual hand displayed in a virtual environment in the HMD.

【技术实现步骤摘要】
【国外来华专利技术】领域本专利技术涉及用于利用游戏装置进行体积感测的方法和系统。背景利用用户的手来玩游戏的游戏系统通常追踪用户的手和手指。用户穿戴手套或其他装置来玩游戏。然而，一些用户不想每次他们想玩游戏时都穿戴手套或将装置附接到他们的手。此外，这些附接到手的装置在长时间重复使用时或在不同用户之间共享时有卫生问题。本公开中描述的实施方案正是在这个背景下出现的。概述本公开中描述的实施方案提供用于利用游戏装置进行体积感测的系统和方法。对于虚拟现实(VR)或增强现实(AR)，如果追踪用户的身体部分(例如，手、脚、拇指、手和手指的组合、手和拇指的组合等)，特定数目的应用可增加沉浸感或紧密地复制现实。身体部分与在平板装置(例如，平板电脑；垫子；具有传感器的平板装置；具有能量传感器和能量发射器的平板装置；具有传感器、发射器和标记的平板装置等)的表面的顶部上的体积交互。基于被身体部分中断(例如，从身体部分反射、被身体部分干扰等)的能量确定身体部分的位置和定向。使用身体部分的位置和定向来确定显示于头戴式显示器上的图像中的虚拟对象的位置和定向。使用平板装置来代替手套或其他附接到手的装置来确定身体部分的位置和定向提供了更方便且更卫生的体验。在各种实施方案中，使用具有例如绿色、蓝色等颜色的无源平板装置。无源平板装置不包括任何电子元件并且可以是木头块、一块布或书桌表面，或垫子等。用户将手放在无源平板上方，并且通过头戴式显示器(HMD)的摄像头观察手来确定手相对于无源平板的位置和/或定向。在若干实施方案中，平板装置包括多个摄像头，所述摄像头观察手来生成深度信息，所述深度信息包括手离平板装置的顶部表面上的参照点的距离。在各种实施方案中，将HMD的摄像头和平板装置的摄像头相互结合使用来生成深度信息，所述深度信息包括手离平板装置的顶部表面上的参照点的距离和手离HMD的外侧表面上的参照点的距离。HMD的外侧表面面向在HMD前方的真实世界环境并且不邻近穿戴HMD的用户的脸部。在一些实施方案中，用户将手放在平板装置顶部上，来操纵(例如，抓取、移动、推、拉等)显示于HMD上或显示装置(例如，电视机、计算机等)上的虚拟现实或增强现实场景中的虚拟对象。例如，当用户在平板装置上方移动他/她的手时，游戏中的虚拟手移动。此外，作为另一实例，当用户移动他/她的手指时，游戏中的虚拟手的手指移动。一般来说，本公开中描述的一些实施方案涉及具有传感器阵列的平板装置，所述传感器阵列用来监测所述装置上方的空间体积。平板装置具有传感器阵列。使用深度信息，例如用户的身体部分离传感器阵列上的参照点的深度，来计算位置和/或定向以确定身体部分的示意动作(gesture)。平板装置布置于支撑件(例如，桌子等)上或握在用户的手中，或放在用户的脚下。平板装置连接到HMD和/或游戏控制台。当用户将他/她的身体部分放在平板装置上方时，平板装置的传感器感测被身体部分中断(例如，从身体部分反射、被身体部分干扰等)的能量信号。在一些实施方案中，中断的能量和改变的能量在本文中互换地使用。例如，当能量因来自用户的身体部分的干扰被改变时，能量被中断。在各种实施方案中，除了能量传感器，平板装置还包括在平板装置上方的体积中发射信号的能量发射器的阵列。能量发射器和能量传感器的阵列的实例包括：容量传感器的阵列，或超声发射器和麦克风的阵列，或红外(IR)发射器和IR光感测二极管的阵列，或其中两个或更多个的组合等。所发射的信号被身体部分中断。例如，当发射电磁能量时，电磁能量被身体部分干扰，并且电磁能量的被中断的那一部分被平板装置的传感器感测。作为另一实例，当使用光或声音时，朝向平板装置的传感器反射光或声音的一部分以便感测。基于被身体部分中断并且被传感器感测的信号，通过处理器(例如，游戏控制台的处理器、HMD的处理器等)确定体积内的身体部分的位置和/或体积内的身体部分离参照点的定向。例如，体积传感器允许精密追踪体积中的手和精密追踪手的每一个手指在平板装置上方时的移动。在一些实施方案中，基于位置和/或定向，通过处理器确定用户进行的示意动作。在一些实施方案中，示意动作由处理器用来生成VR图像或AR图像。例如，识别示意动作来生成在HMD上或在连接到游戏控制台的显示装置(例如，电视机等)上玩的游戏的下一个游戏状态。VR图像或AR图像描绘游戏的游戏状态。在各种实施方案中，HMD包括用于获得平板装置的图像的摄像头。摄像头在HMD内部或在HMD外部。例如，摄像头整合在HMD内或放在HMD外侧且在HMD顶部上或在HMD外侧且在HMD下方，例如，在HMD的透镜下方。摄像头采撷身体部分的图像，并且通过游戏控制台的处理器或HMD的处理器分析所述图像来识别身体部分相对于用户头部的位置和/或定向。HMD戴在用户头部上。身体部分相对于头部的这个位置和/或定向提供了在HMD中观察的VR图像或AR图像中所呈现的手的缩放，例如，距离变化、定向变化等。在一些实施方案中，与HMD或与游戏控制台相关联的摄像头获得身体部分的阴影的图像。当身体部分定位于平板装置上方的体积中时，在平板装置上形成阴影。通过处理器分析图像来确定身体部分的位置和/或定向。在各种实施方案中，将利用HMD的摄像头或游戏控制台的摄像头获得的身体部分的图像或身体部分的阴影的图像与体积中的身体部分的位置和/或定向结合使用，以确定或确认示意动作并且生成VR图像或AR图像。VR图像或AR图像显示于HMD的屏幕上或连接到游戏控制台的显示装置(例如，电视机、计算机监视器等)的屏幕上。在一些实施方案中，平板装置包括标记的阵列，例如，图案代码，或反射器，或发光二极管，或快速响应(QR)代码，或其中两个或更多个的组合等，以便平板装置的表面上被用户身体部分挡住的标记可以限定身体部分的轮廓。HMD的摄像头生成图像数据，所述图像数据指示平板装置的表面上被挡住的区域与未被挡住的区域之间的差异。处理器(例如游戏控制台的游戏处理器等)接收被挡住的区域和未被挡住的区域的信号来确定身体部分的轮廓。例如，身体部分的轮廓是被挡住的区域与未被挡住的区域之间的边界。应注意的是，在一些实施方案中，代替或除了与HMD相关联的摄像头，使用位于游戏控制台内部或外部(例如，在游戏控制台的顶部上或侧面上等)的摄像头或在游戏控制台所在的真实世界环境中的摄像头来获得身体部分的图像。在各种实施方案中，HMD或游戏控制台包括发射器，例如红外光发射器、可见光发射器等。发射器朝向身体部分发射光。使用与HMD或与游戏控制器相关联的摄像头(例如，红外摄像头等)来根据从身体部分发射的光生成图像，以使处理器能够确定用户的身体部分的位置和/或定向。在若干实施方案中，平板装置包括诸如绿屏颜色的颜色，以便HMD的摄像头或游戏控制台的摄像头容易识别用户的身体部分，并且将身体部分的图像掺混到VR或AR空间中。经由HMD或经由显示装置(上文提供其实例)观察VR或AR空间。在一些实施方案中，平板装置是计算装置，例如平板计算机、手机或触控桌面监视器和中央处理单元(CPU)等。计算装置诸如像通过使用户在计算装置的屏幕上移动他/她的手来获取身体部分的位置和/或定向，并且计算装置显示诸如绿色、蓝色、红色等不同颜色，以允许追踪身体部分和将身体部分的图像并入本文档来自技高网...

【技术保护点】
一种用于增强相对于头戴式显示器(HMD)对用户的手的检测的方法，其包括：当中断时，通过整合在平板装置内并且布置在阵列中的多个传感器感测能量的中断部分，其中当所述用户的所述手放置在接近所述平板装置时，生成所述能量的所述中断部分，其中感测所述能量的所述中断部分的所述多个传感器生成能量图像，其反映所述手的当前位置；连续重复所述感测来生成能量图像流，所述能量图像流示出所述手的所述位置的变化，同时所述感测正在重复；以及将所述能量图像流传达到处理器用于处理所述能量图像中的每一个来生成所述手的模型和所述手的所述模型的移动，其中所述手的所述模型至少部分地呈现为显示在所述HMD中的虚拟环境中的虚拟手。

【技术特征摘要】
【国外来华专利技术】2014.03.14 US 61/953,7141.一种用于增强相对于头戴式显示器(HMD)对用户的手的检测的方法，其包括：当中断时，通过整合在平板装置内并且布置在阵列中的多个传感器感测能量的中断部分，其中当所述用户的所述手放置在接近所述平板装置时，生成所述能量的所述中断部分，其中感测所述能量的所述中断部分的所述多个传感器生成能量图像，其反映所述手的当前位置；连续重复所述感测来生成能量图像流，所述能量图像流示出所述手的所述位置的变化，同时所述感测正在重复；以及将所述能量图像流传达到处理器用于处理所述能量图像中的每一个来生成所述手的模型和所述手的所述模型的移动，其中所述手的所述模型至少部分地呈现为显示在所述HMD中的虚拟环境中的虚拟手。2.如权利要求1所述的方法，其还包括使用多个能量发射器发射所述能量，所述能量发射器整合在所述平板装置内并且布置在阵列中。3.如权利要求1所述的方法，其中将所述能量图像流传达到所述处理器以生成所述手的所述模型包括：将所述能量图像流传达到所述处理器用于促进确定所述手的位置和定向，其中至少部分地基于所述能量图像内所述能量的所述中断部分的强度来确定所述手的所述位置。4.如权利要求1所述的方法，其中将所述能量图像流传达到所述处理器以生成所述手的所述模型包括：将所述能量图像流传达到所述处理器用于促进确定所述手的位置和定向，其中使用连接到所述处理器的摄像头或使用所述HMD中的摄像头或使用所述平板装置中的摄像头或使用所述平板装置位于其中的环境中的摄像头来确定所述手的另一位置和另一定向。5.如权利要求1所述的方法，其中将所述能量图像流传达到所述处理器以生成所述手的所述模型包括：将电信号传达到所述处理器用于确定所述手的位置和定向，其中所述手的所述位置和定向将相对于xyz坐标系统来确定，其中所述平板装置的表面限定用于所述xyz坐标系统的参照。6.如权利要求1所述的方法，其中所述平板装置包括标记，其位于所述平板装置的表面上，其中所述虚拟手显示在所述HMD的显示装置上，其中所述HMD将穿戴在所述用户的头上并且具有摄像头，其中所述摄像头是用于采撷对所述标记中的一个或多个的遮挡以促进确定所述用户的所述手的位置和定向。7.如权利要求1所述的方法，其中所述能量包括光能量，所述方法还包括使用多个红外光发射器发射所述光能量，所述红外光发射器整合在所述平板装置内并且在所述平板装置上布置在阵列中。8.如权利要求1所述的方法，其中在所述用户正在经由所述HMD与所述虚拟环境交互时，执行感测所述能量的所述中断部分。9.如权利要求1所述的方法，其中在所述用户正在经由所述HMD与所述虚拟环境交互时，感测所述能量的所述中断部分，其中所述能量包括光能量或超声能量或电磁能量或其中的两个或更多个的组合。10.如权利要求1所述的方法，其中所述平板装置具有所述传感器位于其上的表面，其中所述表面是用于朝向所述手定向并且用于当所述手与所述平板装置上方的能量体积交互时接收所述手的阴影，其中所述阴影限定在被所述用户的手中断时所述中断部分的强度。11.如权利要求1所述的方法，其还包括使用多个能量发射器发射所述能量，所述能量发射器整合在所述平板装置内并且布置在阵列中，其中所述平板装置被配置用于接收来自所述手的无触摸交互，其中所述发射的能量延伸到所述平板装置上方的能量边界，其中当所述手位于所述能量边界内时，生成所述能量的所述中断部分。12.如权利要求1所述的方法，其中所述虚拟手的所述模型由所述虚拟手的位置、或所述虚拟手的定向、或所述虚拟手的形状、或所述虚拟手的颜色、或所述虚拟手的边界、或所述虚拟手的纹理、或其中的两个或更多个的组合限定，其中所述虚拟手的所述边界由形成所述虚拟手的轮廓的图像的像素限定。13.如权利要求1所述的方法，其中感测所述中断部分包括感测由所述手的手指的第一指关节中断的能量以及感测由所述手指的第二指关节中断的能量，用于促进确定所述用户的所述手指的位置，使用将所述第一指关节的位置...

【专利技术属性】
技术研发人员：JR斯塔福德，T托库博，
申请(专利权)人：索尼互动娱乐股份有限公司，
类型：发明
国别省市：日本;JP