【技术实现步骤摘要】
本申请涉及人工智能，特别是涉及一种手势操控指令自定义方法、装置、计算机设备和存储介质。
技术介绍
1、目前，随着人工智能的发展，提出了利用手势动作作为一种新型交互控制方式的设想，除此之外，还有提出将手势动作与编程相结合，从而试图找到一种更加简洁、直观的编程方式。然而目前用户无论是想要与设备进行控制交互，还是进行手势编程都需要学习标准手势动作，也就是设备生产商或者开发人员提前设置好的动作，并且每个手势动作所对应的指令语义往往也被开发人员所确定。而这将极大影响用户的使用体验以及限制用户的开发潜力。
2、相关技术中，对于手势动作进行设备控制而言，用户需站在待控制设备前并执行特定动作来完成相应控制命令的发送，之后设备识别出用户的手势动作来进行响应。比如说，用户想要对电视发送换台的指令(频道+1)，用户面向电视机执行某个特定的动作(如右手向上举起)，电视识别出用户的动作并进行响应。但不同的人通常会使用不同的手势来完成相同的任务，因为大部分人都会不自主地将动作与其所代表含义进行关联。不同的人对于不同动作的理解也都会存在着偏差。对于基于手势的应用，应用的使用效率和众多因素相关，其中最为重要的是其用户需要学习理解不同动作所代表的含义，当某些手势较为复杂或者与其所蕴含意义相关性不强时，很容易出现用户做出的手势与需要发出的控制命令不相符或者无法被识别。
3、目前的很多用于创建手势的工具组只关注手势创建本身，这些工具无法将动作与特定的操作指令或是编程语义进行绑定，并且这些工具的使用门槛较高，一般用户很难掌握使用。目前，随着mi
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够解决手势操控指令自定义难度大效率低问题的手势操控指令自定义方法、装置、计算机设备和存储介质。
2、一种手势操控指令自定义方法，所述方法包括：
3、接收到手势操控指令自定义请求；
4、根据所述手势操控指令自定义请求携带的待控制设备的设备信息，通过web api获取待控制设备支持的控制指令集，从所述控制指令集中确定待自定义手势操控的控制指令；
5、采集用户操作的自定义手势动作的视频数据；
6、对所述视频数据进行分析，提取用户的手势动作轨迹，所述手势动作轨迹包括手掌、手腕和手肘的运动轨迹；
7、采用tap编程将所述待自定义手势操控的控制指令与所述手势动作轨迹进行绑定，根据所述设备信息构建以控制指令为触发事件的tap程序响应执行策略，实现所述手势动作轨迹与所述控制指令的映射，并将所述手势动作轨迹添加到动作特征表中；
8、根据所述控制指令的控制目的，将所述tap程序响应执行策略中的触发事件与对应的响应事件进行关联，实现用户通过操作所述手势动作轨迹的手势动作触发所述控制指令，以控制待控制设备执行所述控制指令，并触发关联的响应事件。
9、在其中一个实施例中，所述对所述视频数据进行分析，提取用户的手势动作轨迹，所述手势动作轨迹包括手掌、手腕和手肘的运动轨迹，包括：
10、对所述视频数据以每五帧抽取一帧的方式进行抽取，确定待分析视频帧序列；
11、对待分析视频帧序列中的手掌、手腕和手肘的位置坐标进行提取，获得手掌、手腕和手肘的位置的顺序列表；
12、根据手掌、手腕和手肘的位置的顺序列表，构成用户的手势动作轨迹。
13、在其中一个实施例中，所述方法还包括：
14、在未接收到手势操控指令自定义请求的情况下，实时采集用户的手势动作视频进行分析，提取用户当前的手势动作轨迹；
15、基于dtw算法，将所述当前的手势动作轨迹与所述动作特征表中的手势动作轨迹进行匹配，确定是否存在相匹配的手势动作轨迹；
16、在存在相匹配的手势动作轨迹的情况下，触发相匹配的手势动作轨迹对应的控制指令和响应事件。
17、在其中一个实施例中，所述基于dtw算法，将所述当前的手势动作轨迹与所述动作特征表中的手势动作轨迹进行匹配，确定是否存在相匹配的手势动作轨迹，包括：
18、采用dtw算法，分析当前的手势动作轨迹与所述动作特征表中的手势动作轨迹的相似度，确定所述动作特征表中是否存在相似度超过阈值的手势动作轨迹；
19、在存在相似度超过阈值的手势动作轨迹的情况下，将所述动作特征表中与当前的手势动作轨迹相似度最高的手势动作轨迹，确定为相匹配的手势动作轨迹；
20、在不存在相似度超过阈值的手势动作轨迹的情况下，确定不存在相匹配的手势动作轨迹。
21、在其中一个实施例中，所述触发相匹配的手势动作轨迹对应的控制指令和响应事件，包括：
22、根据相匹配的手势动作轨迹，确定关联待控制设备的控制指令；
23、通过web api将向所述待控制设备发送所述控制指令，并监测所述待控制设备的执行情况；
24、在所述待控制设备执行完毕后，根据所述控制指令关联的响应事件，根据所述响应事件中的被控制设备和响应指令，向所述被控制设备发送所述响应指令。
25、在其中一个实施例中，所述方法还包括：
26、在接收到管理手势操控指令请求的情况下，根据所述管理手势操控指令请求中携带的待控制设备的设备信息，显示所述待控制设备的控制指令集中各控制指令，以及各控制指令对应绑定的手势动作轨迹和响应事件。
27、一种手势操控指令自定义装置，所述装置包括：
28、请求接收模块，用于接收到手势操控指令自定义请求；
29、信息获取模块，用于根据所述手势操控指令自定义请求携带的待控制设备的设备信息，通过web api获取待控制设备支持的控制指令集，从所述控制指令集中确定待自定义手势操控的控制指令；
30、采集模块，用于采集用户操作的自定义手势动作的视频数据；
31、轨迹提取模块，用于对所述视频数据进行分析，提取用户的手势动作轨迹，所述手势动作轨迹包括手掌、手腕和手肘的运动轨迹；
32、指令绑定模块，用于采用tap编程将所述待自定义手势操控的控制指令与所述手势动作轨迹进行绑定，根据所述设备信息构建以控制指令为触发事件的tap程序本文档来自技高网...
【技术保护点】
1.一种手势操控指令自定义方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述视频数据进行分析，提取用户的手势动作轨迹，所述手势动作轨迹包括手掌、手腕和手肘的运动轨迹，包括：
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述基于DTW算法，将所述当前的手势动作轨迹与所述动作特征表中的手势动作轨迹进行匹配，确定是否存在相匹配的手势动作轨迹，包括：
5.根据权利要求3所述的方法，其特征在于，所述触发相匹配的手势动作轨迹对应的控制指令和响应事件，包括：
6.根据权利要求3所述的方法，其特征在于，所述方法还包括：
7.一种手势操控指令自定义装置，其特征在于，所述装置包括：
8.根据权利要求7所述的装置，其特征在于，所述装置还包括控制模块，用于在未接收到手势操控指令自定义请求的情况下，实时采集用户的手势动作视频进行分析，提取用户当前的手势动作轨迹；基于DTW算法，将所述当前的手势动作轨迹与所述动作特征表中的手势动作轨
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的手势操控指令自定义方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的手势操控指令自定义方法的步骤。
...【技术特征摘要】
1.一种手势操控指令自定义方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述视频数据进行分析，提取用户的手势动作轨迹，所述手势动作轨迹包括手掌、手腕和手肘的运动轨迹，包括：
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述基于dtw算法，将所述当前的手势动作轨迹与所述动作特征表中的手势动作轨迹进行匹配，确定是否存在相匹配的手势动作轨迹，包括：
5.根据权利要求3所述的方法，其特征在于，所述触发相匹配的手势动作轨迹对应的控制指令和响应事件，包括：
6.根据权利要求3所述的方法，其特征在于，所述方法还包括：
7.一种手势操控指令自定义装置，其特征在于，所述装置包括：
【专利技术属性】
技术研发人员：王立夫，董恺，
申请(专利权)人：南京逸智网络空间技术创新研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。