一种虚拟场景交互的方法、装置和电子设备制造方法及图纸

本申请提供一种虚拟场景交互的方法，显示虚拟场景和对所述虚拟场景进行操作的虚拟手，获取手部动作在手臂处产生的肌电信号，识别肌电信号对应的手势，根据识别到的所述手势同步调整所述虚拟手的手势，在虚拟手的手势满足预设条件时，虚拟场景响应虚拟手的操作。根据手部动作在手臂处产生的肌电信号识别手部动作，来同步调整虚拟手的手势，使得在虚拟场景中完成虚拟手与真实手部的同步，而在虚拟手的手势满足一定条件时，表示真实手部完成了交互动作，这时的手势可以触发虚拟场景进行响应，此时，虚拟场景响应虚拟手的操作，便可以准确地进行交互，从而提高了虚拟场景的交互体验。

A method, device and electronic device of virtual scene interaction

【技术实现步骤摘要】
一种虚拟场景交互的方法、装置和电子设备
本申请涉及计算机领域，尤其涉及一种虚拟场景交互的方法、装置和电子设备。
技术介绍
随着虚拟技术的发展，虚拟现实和增强现实为人们所知(比如VR眼镜、AR眼镜)，虚拟现实和增强现实都是为用户展示虚拟的画面，营造虚拟的场景。而在利用虚拟技术进行交互时，则不仅需要展示虚拟画面，还需要对虚拟环境进行操控，来显示交互的结果。现有技术对虚拟环境的操控，通常是利用手柄、手套，或基于摄像头的视觉方案来读取或识别相关位置信息，从而达到操控的目的。前两种方案是通过手持或佩戴第三方工具来进行交互，未解放双手；第三种方案受到场景及光线的限制，体验较差。
技术实现思路
本说明书实施例提供一种虚拟场景交互的方法、装置和电子设备，用以解决现有技术中虚拟场景交互体验差的问题。本申请提供一种虚拟场景交互的方法，包括：显示虚拟场景和对所述虚拟场景进行操作的虚拟手；获取肌电信号，所述肌电信号为手部动作在手臂处产生的肌电信号；识别所述肌电信号对应的手势；根据识别到的所述手势同步调整所述虚拟手的手势，使所述虚拟手对所述虚拟场景进行操作；在所述虚拟手的手势满足预设条件时，所述虚拟场景响应所述虚拟手的操作。可选地，所述虚拟场景中具有虚拟键盘；所述在所述虚拟手的手势满足预设条件时，所述虚拟场景响应所述虚拟手的操作，包括：在所述虚拟手与所述虚拟键盘中的预设位置接触时，根据接触的位置进行信息的录入。可选地，所述虚拟场景中具有显示的图像；所述在所述虚拟手的手势满足预设条件时，所述虚拟场景响应所述虚拟手的操作，包括：在所述虚拟手接触到所述图像并进行显示状态调整操作时，调整所述图像的显示状态，所述显示状态调整操作包括滑动、缩放中的至少一个。可选地，所述获取肌电信号，包括：获取从多个通道提取的肌电信号；所述识别所述肌电信号对应的手势，包括：根据多个通道的肌电信号组合的整体特征识别对应的手势。可选地，在所述根据多个通道的肌电信号组合的整体特征识别对应的手势之前，还包括：对各通道的肌电信号分别进行整流、滤波和归一化处理，得到处理后的肌电信号。可选地，在显示虚拟场景和对所述虚拟场景进行操作的虚拟手之前，还可以包括：校正虚拟手在虚拟场景中的位置。可选地，所述获取肌电信号，包括：获取在预设时刻采集的肌电信号。本说明书实施例还提供一种虚拟场景交互的装置，包括：显示模块，用于显示虚拟场景和对所述虚拟场景进行操作的虚拟手；获取模块，用于获取肌电信号，所述肌电信号为手部动作在手臂处产生的肌电信号；交互模块，用于识别所述肌电信号对应的手势；根据识别到的所述手势同步调整所述虚拟手的手势，使所述虚拟手对所述虚拟场景进行操作；在所述虚拟手的手势满足预设条件时，所述虚拟场景响应所述虚拟手的操作。可选地，所述虚拟场景中具有虚拟键盘；所述交互模块，用于在所述虚拟手与所述虚拟键盘中的预设位置接触时，根据接触的位置进行信息的录入。可选地，所述虚拟场景中具有显示的图像；所述交互模块，用于在所述虚拟手接触到所述图像并进行显示状态调整操作时，调整所述图像的显示状态，所述显示状态调整操作包括滑动、缩放中的至少一个。可选地，所述获取肌电信号，包括：获取从多个通道提取的肌电信号；所述识别所述肌电信号对应的手势，包括：根据多个通道的肌电信号组合的整体特征识别对应的手势。可选地，在所述根据多个通道的肌电信号组合的整体特征识别对应的手势之前，还包括：对各通道的肌电信号分别进行整流、滤波和归一化处理，得到处理后的肌电信号。可选地，在显示虚拟场景和对所述虚拟场景进行操作的虚拟手之前，还可以包括：校正虚拟手在虚拟场景中的位置。本说明书实施例还提供一种电子设备，其中，该电子设备包括：处理器；以及，存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述任一项方法。本说明书实施例还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现上述任一项方法。本说明书记载的各种技术方案根据手部动作在手臂处产生的肌电信号识别手部动作，来同步调整虚拟手的手势，使得在虚拟场景中完成虚拟手与真实手部的同步，而在虚拟手的手势满足一定条件时，表示真实手部完成了交互动作，这时的手势可以触发虚拟场景进行响应，此时，虚拟场景响应虚拟手的操作，便可以准确地进行交互，从而提高了虚拟场景的交互体验。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本说明书实施例提供的一种虚拟场景交互的系统的结构示意图；图2为本说明书实施例提供的一种虚拟场景交互的方法的原理示意图；图3为本说明书实施例提供的一种电子设备的结构示意图。具体实施方式为了改善虚拟场景的体验，申请人想到，如果能够直接识别用户的手势，根据识别的结果来控制虚拟手，则用户不需要操控第三方工具，而可以直接以真实手部动作表达要进行的操作，从而可以使虚拟场景中的虚拟手达到与真实手部动作的同步。通过图像识别的方式可以识别到手势的变化，然而，由于手部是立体的，因此，为了识别手部动作，需要对手部进行标记、定位，通过采集双目视图的图像，才能还原出手部在立体空间中的动作，由于图像方式受到场景的限制，而且受到光线的影响，动作识别容易出错或者延迟，使这种方式进行交互受限，准确率低。申请人想到，如果改变图像识别的思路，以手部动作在手臂处产生的肌电信号来识别动作，进而与虚拟场景进行交互，则可以规避这种弊端。然而，如果根据手的姿势变化直接与虚拟场景进行交互，会导致交互场景的混乱，这是因为，在现实中，每个交互过程中，用户都需要进行连续的手势变化，而触发人手与真实场景交互的动作，实质上是特定的有效动作，因此，如果识别的手势是未完成的动作，并以此触发虚拟场景与虚拟手的交互，往往会出现重复操作、识别错误等较差的体验。因此，本说明书实施例提供一种虚拟场景交互的方法，包括：显示虚拟场景和对所述虚拟场景进行操作的虚拟手；获取肌电信号，所述肌电信号为手部动作在手臂处产生的肌电信号；识别所述肌电信号对应的手势；根据识别到的所述手势同步调整所述虚拟手的手势，使所述虚拟手对所述虚拟场景进行操作；在所述虚拟手的手势满足预设条件时，所述虚拟场景响应所述虚拟手的操作。根据手部动作在手臂处产生的肌电信号识别手部动作，来同步调整虚拟手的手势，使得在虚拟场景中完成虚拟手与真实手部的同步，而在虚拟手的手势满足一定条件时，表示真实手部完成了交互本文档来自技高网...

【技术保护点】
1.一种虚拟场景交互的方法，包括：/n显示虚拟场景和对所述虚拟场景进行操作的虚拟手；/n获取肌电信号，所述肌电信号为手部动作在手臂处产生的肌电信号；/n识别所述肌电信号对应的手势；/n根据识别到的所述手势同步调整所述虚拟手的手势，使所述虚拟手对所述虚拟场景进行操作；/n在所述虚拟手的手势满足预设条件时，所述虚拟场景响应所述虚拟手的操作。/n

【技术特征摘要】
1.一种虚拟场景交互的方法，包括：
显示虚拟场景和对所述虚拟场景进行操作的虚拟手；
获取肌电信号，所述肌电信号为手部动作在手臂处产生的肌电信号；
识别所述肌电信号对应的手势；
根据识别到的所述手势同步调整所述虚拟手的手势，使所述虚拟手对所述虚拟场景进行操作；
在所述虚拟手的手势满足预设条件时，所述虚拟场景响应所述虚拟手的操作。


2.根据权利要求1所述的方法，其特征在于，所述虚拟场景中具有虚拟键盘；
所述在所述虚拟手的手势满足预设条件时，所述虚拟场景响应所述虚拟手的操作，包括：
在所述虚拟手与所述虚拟键盘中的预设位置接触时，根据接触的位置进行信息的录入。


3.根据权利要求1所述的方法，其特征在于，所述虚拟场景中具有显示的图像；
所述在所述虚拟手的手势满足预设条件时，所述虚拟场景响应所述虚拟手的操作，包括：
在所述虚拟手接触到所述图像并进行显示状态调整操作时，调整所述图像的显示状态，所述显示状态调整操作包括滑动、缩放中的至少一个。


4.根据权利要求1所述的方法，其特征在于，所述获取肌电信号，包括：
获取从多个通道提取的肌电信号；
所述识别所述肌电信号对应的手势，包括：
根据多个通道的肌电信号组合的整体特征识别对应的手势。


5.根据权利要求4所述的方法，其特征在于，在所述根据多个通道的肌电信号组合的整体特征识别对应的手势之前，还包括：
对各通道的肌电信号分别进行整流、滤波和归一化处理，得到处理后的肌电信号。


6.根据权利要求1所述的方法，其特征在于，在显示虚拟场景和对所述虚拟场景进行操作的虚拟手之前，还可以包括：
校正虚拟手在虚拟场景中的位置。


7.根据权利要求6所述的方法，所述获取肌电信号，包括：
获取在预设时刻采集的肌...

【专利技术属性】
技术研发人员：唐溢辰，
申请(专利权)人：诺百爱杭州科技有限责任公司，
类型：发明
国别省市：浙江;33