System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本公开涉及终端设备的人机交互,具体涉及一种交互方法、装置、电子设备及存储介质。
技术介绍
1、近年来,随着科学技术的进步,逐步出现了vr(virtual reality,虚拟现实)、ar(augmented reality,增强现实)、mr(mixed reality,混合现实)等渲染设备,这些渲染设备能够渲染出各种虚拟的场景,从而为用户带来不同于传统显示屏的显示内容的视听体验。在相关技术中,由于用户在使用渲染设备时眼景被渲染出的虚拟场景占据,因此用户与设备进行交互不太方便,导致交互效果不佳,用户使用体验有待提高。
技术实现思路
1、为克服相关技术中存在的问题,本公开实施例提供一种交互方法、装置、电子设备及存储介质,用以解决相关技术中的缺陷。
2、根据本公开实施例的第一方面,提供一种交互方法,应用于渲染设备,所述方法包括:
3、获取至少一帧交互图像,其中,所述交互图像内包括手部;
4、对所述至少一帧交互图像进行识别处理,得到所述手部的动作,所述手部的动作包括移动部件在所述手部的移动轨迹,其中,所述移动轨迹所经过的至少一个位置对应的标识形成设定形状或设定文本;
5、根据所述手部的动作,确定交互操作;
6、根据所述交互操作,生成并执行对应的交互指令。
7、在一个实施例中,所述手部的每个位置具有对应的定位标识,所述移动轨迹所经过的至少一个位置对应的定位标识,形成多个设定形状中的任一设定形状;和/或,
8、
9、在一个实施例中,所述手部的动作通过下述至少一项确定:
10、所述手部的各个位置对应的标识、所述移动部件形成移动轨迹过程中所经过的各个位置、所述移动部件形成移动轨迹过程中在各个位置的停留时间。
11、在一个实施例中,所述交互操作包括下述至少一项:
12、输入设定形状的操作、输入设定文本的操作、切换手部的至少一个位置对应的标识的操作。
13、在一个实施例中,所述对所述至少一帧交互图像进行识别处理,得到所述手部的动作,包括:
14、对所述至少一帧交互图像进行识别处理,得到所述移动部件相对于所述手部的多个参照指节的移动轨迹;和/或,
15、对所述至少一帧交互图像进行识别处理,得到所述移动部件相对于所述手部的至少一个手指的移动轨迹。
16、在一个实施例中,所述对所述至少一帧交互图像进行识别处理,得到所述移动部件相对于所述手部的多个参照指节的移动轨迹,包括:
17、对所述至少一帧交互图像进行识别处理,得到下述至少一项:所述移动部件形成移动轨迹过程中所经过的至少一个参照指节、所述移动部件经过所述至少一个参照指节的顺序、所述移动部件在所述至少一个参照指节中每个参照指节的停留时间、所述移动部件离开所述至少一个参照指节中最后一个参照指节的时间、所述至少一个参照指节中每个参照指节对应的标识。
18、在一个实施例中,所述根据所述手部的动作,确定交互操作,包括:
19、响应于所述移动轨迹经过的至少一个位置对应的标识形成设定形状,且所述移动部件离开所述至少一个参照指节中最后一个参照指节的时间超过第一预设时长的情况下,确定所述交互操作为输入所述设定形状的操作;
20、响应于所述移动轨迹经过的至少一个位置对应的标识形成设定文本,且所述移动部件离开所述至少一个参照指节中最后一个参照指节的时间超过第一预设时长的情况下,确定所述交互操作为输入所述设定文本的操作。
21、在一个实施例中,所述根据所述手部的动作,确定交互操作,还包括:
22、响应于所述移动部件在所述至少一个参照指节中的第一参照指节的停留时间超过第二预设时长,且所述第一参照指节具有n个对应的标识的情况下,确定所述交互操作为:将n个参照指节的标识一一对应切换为所述第一参照指节的n个标识的操作。
23、在一个实施例中,所述参照指节包括所述参照指节包括食指、中指、无名指和小拇指的全部指节;和/或,
24、所述移动部件包括大拇指的末端指节或所述多个参照指节所属手部之外的另一个手部的任一手指的末端指节。
25、在一个实施例中,所述根据所述交互操作,生成并执行对应的交互指令,包括:
26、在所述渲染设备当前运行的应用程序或者当前渲染的应用界面处于身份验证的情况下,响应于所述交互操作为输入符合验证条件的设定形状或设定文本,生成并执行验证通过的交互指令;和/或,
27、响应于所述交互操作为输入符合切换条件的设定形状或设定文本,生成并执行切换标识类型的指令;和/或,
28、响应于所述交互操作为将n个参照指节的标识一一对应切换为所述第一参照指节的n个标识的操作,生成并执行将n个参照指节的标识一一对应切换为所述第一参照指节的n个标识的交互指令。
29、根据本公开实施例的第二方面,提供一种交互装置,应用于渲染设备,所述装置包括:
30、获取模块,用于获取至少一帧交互图像,其中,所述交互图像内包括手部;
31、识别模块,用于对所述至少一帧交互图像进行识别处理,得到所述手部的动作,所述手部的动作包括移动部件在所述手部的移动轨迹,其中,所述移动轨迹所经过的至少一个位置对应的标识形成设定形状或设定文本;
32、操作模块,用于根据所述手部的动作,确定交互操作;
33、指令模块,用于根据所述交互操作,生成并执行对应的交互指令。
34、在一个实施例中,所述手部的每个位置具有对应的定位标识,所述移动轨迹所经过的至少一个位置对应的定位标识,形成多个设定形状中的任一设定形状;和/或,
35、所述手部的每个位置具有对应的字符标识,所述移动轨迹所经过的至少一个位置对应的字符标识,形成多个设定文本中的任一设定文本。
36、在一个实施例中,所述手部的动作通过下述至少一项确定:
37、所述手部的各个位置对应的标识、所述移动部件形成移动轨迹过程中所经过的各个位置、所述移动部件形成移动轨迹过程中在各个位置的停留时间。
38、在一个实施例中,所述交互操作包括下述至少一项:
39、输入设定形状的操作、输入设定文本的操作、切换手部的至少一个位置对应的标识的操作。
40、在一个实施例中,所述识别模块具体用于:
41、对所述至少一帧交互图像进行识别处理,得到所述移动部件相对于所述手部的多个参照指节的移动轨迹;和/或,
42、对所述至少一帧交互图像进行识别处理,得到所述移动部件相对于所述手部的至少一个手指的移动轨迹。
43、在一个实施例中,所述识别模块用于对所述至少一帧交互图像进行识别处理,得到所述移动部件相对于所述手部的多个参照指节的移动轨本文档来自技高网...
【技术保护点】
1.一种交互方法,其特征在于,应用于渲染设备,所述方法包括:
2.根据权利要求1所述的交互方法,其特征在于,所述手部的每个位置具有对应的定位标识,所述移动轨迹所经过的至少一个位置对应的定位标识,形成多个设定形状中的任一设定形状;和/或,
3.根据权利要求1所述的交互方法,其特征在于,所述手部的动作通过下述至少一项确定:
4.根据权利要求1所述的交互方法,其特征在于,所述交互操作包括下述至少一项:
5.根据权利要求1所述的交互方法,其特征在于,所述对所述至少一帧交互图像进行识别处理,得到所述手部的动作,包括:
6.根据权利要求5所述的交互方法,其特征在于,所述对所述至少一帧交互图像进行识别处理,得到所述移动部件相对于所述手部的多个参照指节的移动轨迹,包括:
7.根据权利要求6所述的交互方法,其特征在于,所述根据所述手部的动作,确定交互操作,包括:
8.根据权利要求7所述的交互方法,其特征在于,所述根据所述手部的动作,确定交互操作,还包括:
9.根据权利要求5至8中任一项所述的交互方法,其
10.根据权利要求8所述的交互方法,其特征在于,所述根据所述交互操作,生成并执行对应的交互指令,包括:
11.一种交互装置,其特征在于,应用于渲染设备,所述装置包括:
12.一种电子设备,其特征在于,所述电子设备包括存储器、处理器,所述存储器用于存储可在处理器上运行的计算机指令,所述处理器用于在执行所述计算机指令时实现权利要求1至10中任一项所述的交互方法。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现权利要求1至10中任一项所述的方法。
...【技术特征摘要】
1.一种交互方法,其特征在于,应用于渲染设备,所述方法包括:
2.根据权利要求1所述的交互方法,其特征在于,所述手部的每个位置具有对应的定位标识,所述移动轨迹所经过的至少一个位置对应的定位标识,形成多个设定形状中的任一设定形状;和/或,
3.根据权利要求1所述的交互方法,其特征在于,所述手部的动作通过下述至少一项确定:
4.根据权利要求1所述的交互方法,其特征在于,所述交互操作包括下述至少一项:
5.根据权利要求1所述的交互方法,其特征在于,所述对所述至少一帧交互图像进行识别处理,得到所述手部的动作,包括:
6.根据权利要求5所述的交互方法,其特征在于,所述对所述至少一帧交互图像进行识别处理,得到所述移动部件相对于所述手部的多个参照指节的移动轨迹,包括:
7.根据权利要求6所述的交互方法,其特征在于,所述根据所述手部的动作,确定...
【专利技术属性】
技术研发人员:李诚,王星言,
申请(专利权)人:北京小米移动软件有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。