虚拟现实场景中的交互方法、装置及系统制造方法及图纸

本申请实施例公开了虚拟现实场景中的交互方法、装置及系统。在该方法中，电子设备可以捕捉用户在该电子设备上的手部姿态，并通过头戴式显示设备在VR场景中将该手部姿态呈现给用户。可以使得用户在VR场景中实时地看到自己的手部姿态，并可以直接通过手势来操控电子设备来和VR场景进行交互。这样的交互方式，可以不改变用户的使用习惯，使得用户顺利自然地和平时使用电子设备一样，和头戴式显示设备中显示的画面进行交互，用户可以灵活地操控VR场景，提升用户体验。

【技术实现步骤摘要】
虚拟现实场景中的交互方法、装置及系统
本申请涉及涉及虚拟现实(virtualreality，VR)及终端
，特别涉及虚拟现实场景中的交互方法、装置及系统。
技术介绍
随着计算机图形技术的发展，VR技术逐渐应用到人们的生活中。VR利用电子设备模拟产生一个三维的虚拟现实场景，提供在视觉、听觉、触觉或其他感官上的模拟体验，让用户感觉仿佛身历其境。虚拟现实场景可以通过头戴式显示(headmounteddisplay，HMD)设备呈现给用户。通常情况下，用户可以使用HMD本身配置的惯性测量系统(inertialmeasurementunit，IMU)、或者，独立于HMD的手柄、鼠标、手套等设备，来与HMD提供的虚拟现实场景进行交互。在某些情况下，由于用户只能通过HMD设备看到VR场景，不能看到真实世界中自己的操控手势，所以目前，用户的这样的交互方式可实现的对虚拟现实场景的操控功能非常有限，例如只有向上、向下、向左、向右移动画面等用户无需观察到自己真实世界的手势的功能。然而，在一些需要比较复杂的操控的VR场景下，比如对战类游戏场景，在不同区域的操作对游戏人物会有不同的操控，但目前，由于操控功能的局限，由于用户看不到自己真实世界中的手势，用户无法在VR场景中体验需要复杂操控的游戏。在VR场景下，如何实现更多的操控功能，让用户体验更多的游戏，是业界研究的方向。
技术实现思路
本申请实施例提供了虚拟现实场景中的交互方法、装置及系统。电子设备可以捕捉用户在该电子设备上的手部姿态，头戴式显示设备在VR场景中可以将用户的手部姿态呈现给用户，使得用户可以获知自身的手部和电子设备之间的相对位置，从而直接通过电子设备和VR场景进行手势交互，操控该VR场景。第一方面，本申请实施例提供了一种虚拟现实场景中的交互方法，该方法应用于电子设备。该方法包括：电子设备采集用户的手部数据，根据该用户的手部数据确定该用户的手部和该电子设备之间的第一相对位置；该电子设备通信连接到头戴式显示设备，该头戴式显示设备可佩戴于该用户的头部；该电子设备通过该头戴式显示设备的显示屏显示第一用户界面，该第一用户界面中显示有：虚拟屏幕该虚拟屏幕中包括该电子设备运行的应用程序所提供的画面；该电子设备根据该虚拟屏幕在第一用户界面中的显示位置，以及该第一相对位置，确定第一手部图像在该第一用户界面中的第二位置；该电子设备通过该头戴式显示设备在该第一用户界面中的第二位置显示该第一手部图像；该电子设备启用第一功能；该第一功能，和，该第一手部图像表征的手部作用于该虚拟屏幕中画面的位置相对应。实施第一方面的方法，电子设备可以捕捉用户在该电子设备上的手部姿态，并通过头戴式显示设备在VR场景中将该手部姿态呈现给用户。可以使得用户在VR场景中实时地看到自己的手部姿态，并可以直接通过手势来操控电子设备来和VR场景进行交互。这样的交互方式，可以不改变用户的使用习惯，使得用户顺利自然地和平时使用电子设备一样，和头戴式显示设备中显示的画面进行交互，用户可以灵活地操控VR场景，提升用户体验。结合第一方面，在一些实施例中，第一手部图像所表征的手部和虚拟屏幕之间的相对位置，与，第一相对位置相同。这样，可以实时地将用户手部的实际姿态映射到VR场景中，使得用户在VR场景中实时地看到自己的手部姿态，并可以直接通过手势来操控电子设备来和VR场景进行交互。结合第一方面，在一些实施例中，用户的手部数据描述了用户在电子设备100上的手部姿态，用于确定用户手部和电子设备100之间的相对位置。结合第一方面，在一些实施例中，该用户的手部数据包括以下一项或多项：该电子设备的显示屏发出光线的时间、该电子设备的光传感器接收到反射光的时间和强度，该反射光是该光线经由该用户的手部的反射后得到的；该电子设备的摄像头拍摄到的该用户手部的图像；该电子设备的声波传感器发出声波的时间、该声波传感器接收到反射波的时间和强度，该反射波是该声波经由该用户的手部的反射后得到的；或者，该电子设备的压力传感器采集到的压力值。结合第一方面，在一些实施例中，该第一相对位置包括以下一项或多项：该用户的手部和该电子设备接触的部位、该电子设备和该用户的手部接触的位置、或者该用户的手部的各个部位和该电子设备之间的距离。结合第一方面，在一些实施例中，第一相对位置通过该用户的手部的各个部位在第一坐标系中的坐标表示；该第一坐标系为三维坐标系，该第一坐标系以该电子设备的显示屏所在平面为X轴和Y轴所在平面、以垂直于该显示屏的直线为Z轴所在直线。这样，通过用户手部的多个部位相对电子设备100的相对坐标，即可反映出用户手部相对于电子设备100的相对位置。结合第一方面，在一些实施例中，该虚拟屏幕在该第一用户界面中的显示区域是固定的。在另一些实施例中，该虚拟屏幕在该第一用户界面中的显示区域，是该电子设备根据以下一项或多项确定的：该用户的手部握持该电子设备的方式，或，该电子设备和该用户之间的相对位置。这样，头戴式显示设备200上显示的虚拟屏幕的大小可以反映用户握持电子设备100的方式以及用户和电子设备100之间的相对位置，可以给用户更加优良的使用体验。结合第一方面，在一些实施例中，该第一手部图像具有透明度，或者，该第一手部图像以虚线显示。这样可以提示用户该第一手部图像为电子设备100通过VR技术生成的虚拟图像。结合第一方面，在一些实施例中，电子设备采集用户的手部数据之前，该方法还包括：该电子设备通过该头戴式显示设备的显示屏显示第二用户界面；该电子设备检测到第一用户操作；其中，该第一用户操作由该用户根据该第二用户界面输入。电子设备可以响应于该第一用户操作来采集用户的手部数据。结合上述实施例中，在一种可选的实施方式中，第二用户界面包括：第一控件和光标；该电子设备与手持设备连接。电子设备采集用户的手部数据之前，该方法还包括：该电子设备通过该手持设备检测到第一运动；该电子设备根据该第一运动移动该光标至该第一控件上；接收该用户在该光标移动至该第一控件上后的第一确认操作。该第一用户操作包括该第一运动和该第一确认操作。这样，用户可以通过操控手持设备触发电子设备开始采集用户的手部数据。结合上述实施例中，在一种可选的实施方式中，该第二用户界面包括：第一控件。电子设备采集用户的手部数据之前，该方法还包括：该电子设备通过该头戴式显示设备检测到该用户的眼球看向该第二用户界面中的该第一控件且在预设时长内未发生转动的用户操作，该第一用户操作包括该用户的眼球看向该第二用户界面中的该第一控件且在预设时长内未发生转动的用户操作。这样，用户可以通过长时间地看向第一控件触发电子设备开始采集用户的手部数据。结合第一方面，在一些实施例中，电子设备启用第一功能之后，该方法还包括：该电子设备检测到第二用户操作，响应于该第二用户操作，该电子设备停止采集该用户的手部数据。这样，用户可以根据自身需求，通过第二用户操作触发电子设备停止采集手部数据，从而降低电子设备的功耗。结合上述实施例，在一种可选的实施方式中本文档来自技高网...

【技术保护点】
1.一种虚拟现实场景中的交互方法，其特征在于，所述方法包括：/n电子设备采集用户的手部数据，根据所述用户的手部数据确定所述用户的手部和所述电子设备之间的第一相对位置；所述电子设备通信连接到头戴式显示设备，所述头戴式显示设备可佩戴于所述用户的头部；/n所述电子设备通过所述头戴式显示设备的显示屏显示第一用户界面，所述第一用户界面中显示有：虚拟屏幕；所述虚拟屏幕中包括所述电子设备运行的应用程序所提供的画面；/n所述电子设备根据所述虚拟屏幕在第一用户界面中的显示位置，以及所述第一相对位置，确定第一手部图像在所述第一用户界面中的第二位置；/n所述电子设备通过所述头戴式显示设备在所述第一用户界面中的第二位置显示所述第一手部图像；/n所述电子设备启用第一功能；所述第一功能，和，所述第一手部图像表征的手部作用于所述虚拟屏幕中画面的位置相对应。/n

【技术特征摘要】
1.一种虚拟现实场景中的交互方法，其特征在于，所述方法包括：
电子设备采集用户的手部数据，根据所述用户的手部数据确定所述用户的手部和所述电子设备之间的第一相对位置；所述电子设备通信连接到头戴式显示设备，所述头戴式显示设备可佩戴于所述用户的头部；
所述电子设备通过所述头戴式显示设备的显示屏显示第一用户界面，所述第一用户界面中显示有：虚拟屏幕；所述虚拟屏幕中包括所述电子设备运行的应用程序所提供的画面；
所述电子设备根据所述虚拟屏幕在第一用户界面中的显示位置，以及所述第一相对位置，确定第一手部图像在所述第一用户界面中的第二位置；
所述电子设备通过所述头戴式显示设备在所述第一用户界面中的第二位置显示所述第一手部图像；
所述电子设备启用第一功能；所述第一功能，和，所述第一手部图像表征的手部作用于所述虚拟屏幕中画面的位置相对应。


2.根据权利要求1所述的方法，其特征在于，
所述用户的手部数据包括以下一项或多项：
所述电子设备的显示屏发出光线的时间、所述电子设备的光传感器接收到反射光的时间和强度，所述反射光是所述光线经由所述用户的手部的反射后得到的；
所述电子设备的摄像头拍摄到的所述用户手部的图像；
所述电子设备的声波传感器发出声波的时间、所述声波传感器接收到反射波的时间和强度，所述反射波是所述声波经由所述用户的手部的反射后得到的；或者，
所述电子设备的压力传感器采集到的压力值。


3.根据权利要求1或2所述的方法，其特征在于，
所述第一相对位置包括以下一项或多项：所述用户的手部和所述电子设备接触的部位、所述电子设备和所述用户的手部接触的位置、或者所述用户的手部的各个部位和所述电子设备之间的距离。


4.根据权利要求1-3任一项所述的方法，其特征在于，
所述第一相对位置通过所述用户的手部的各个部位在第一坐标系中的坐标表示；所述第一坐标系为三维坐标系，所述第一坐标系以所述电子设备的显示屏所在平面为X轴和Y轴所在平面、以垂直于所述显示屏的直线为Z轴所在直线。


5.根据权利要求1-4任一项所述的方法，其特征在于，
所述虚拟屏幕在所述第一用户界面中的显示区域是固定的；
或者，
所述虚拟屏幕在所述第一用户界面中的显示区域，是所述电子设备根据以下一项或多项确定的：所述用户的手部握持所述电子设备的方式，或，所述电子设备和所述用户之间的相对位置。


6.根据权利要求1-5任一项所述的方法，其特征在于，
所述第一手部图像具有透明度，或者，所述第一手部图像以虚线显示。


7.根据权利要求1-6任一项所述的方法，其特征在于，
所述电子设备电子设备采集用户的手部数据之前，所述方法还包括：
所述电子设备通过所述头戴式显示设备的显示屏显示第二用户界面；
所述电子设备检测到第一用户操作；其中，所述第一用户操作由所述用户根据所述第二用户界面输入；
所述电子设备电子设备采集用户的手部数据，具体包括：响应于所述第一用户操作，所述电子设备电子设备采集用户的手部数据。


8.根据权利要求7所述的方法，其特征在于，
所述第二用户界面包括：第一控件和光标；所述电子设备与手持设备连接；所述响应于所述第一用户操作，所述电子设备采集用户的手部数据之前，所述方法还包括：
所述电子设备通过所述手持设备检测到第一运动；
所述电子设备根据所述第一运动移动所述光标至所述第一控件上；
接收所述用户在所述光标移动至所述第一控件上后的第一确认操作；
所述第一用户操作包括所述第一运动和所述第一确认操作；
或者，
所述第二用户界面包括：第一控件；所述响应于所述第一用户操作，所述电子设备采集用户的手部数据之前，所述方法还包括：
所述电子设备通过所述头戴式显示设备检测到所述用户的眼球看向所述第二用户界面中的所述第一控件且在预设时长内未发生转动的用户操作；
所述第一用户操作包括所述用户的眼球看向所述第二用户界面中的所述第一控件且在预设时长内未发生转动的用户操作。


9.根据权利要求1-8任一项所述的方法，其特征在于，所述电子设备启用第一功能之后，所述方法还包括：
所述电子设备检测到第二用户操作，
响应于所述第二用户操作，所述电子设备停止采集所述用户的手部数据。


10.根据权利要求9所述的方法，其特征在于，
所述第一用户界面中还包括：第一控件、光标；所述电子设备与手持设备连接；所述响应于所述第二用户操作，所述电子设备停止采集所述用户的手部数据之前，所述方法还包括：
所述电子设备通过所述手持设备检测到第二运动；
所述电子设备根据所述第二运动移动所述光标至所述第一控件上；
接收所述用户在所述光标移动至所述第一控件上后的第二确认操作；
所述第二用户操作包括所述第二运动和所述第二确认操作；
或者，
所述第一用户界面包括：第一控件；所述响应于所述第二用户操作，所述电子设备停止采集所述用户的手部数据之前，所述方法还包括：
所述电子设备通过所述头戴式显示设备检测到所述用户的眼球看向所述第一用户界面中的所述第一控件且在预设时长内未发生转动的用户操作；
所述第一用户操作包括所述用户的眼球看向所述第一用户界面中的所述第一控件且在预设时长内未发生转动的用户操作。


11.一种电子设备，其特征在于，所述电子设备通信连接到头戴式显示设备，所述头戴式显示设备可佩戴于所述用户的头部；所述电子设备包括：一个或多个处理器、存储器；
所述存储器与所述一个或多个处理器耦合，所述存储器用于存...

【专利技术属性】
技术研发人员：李帅，冯伟，孙骏雄，夏沛，朱哮锋，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44