基于体感交互的数据处理方法以及装置、系统制造方法及图纸

本申请公开了一种基于体感交互的数据处理方法以及装置、系统。该方法包括接收环境中语音输入，识别用户所选择执行的交互功能，其中所述交互功能通过语音识别确定；接收视频中手势输入，并基于所述交互功能确定动作意图，其中所述动作意图通过多模态动作识别确定；继续接收视频输入，并基于所述动作意图提取动作区域中的有效信息，其中所述有效信息是指通过图像检索和语言文字识别获得的用户意图；向用户反馈根据所述有效信息匹配的交互结果。本申请解决了桌面系统的交互效果不佳的技术问题。通过本申请可以让使用者在真实世界进行触碰式体感交互，且交互方式更加高效且自然。

Data processing method, device and system based on somatosensory interaction

【技术实现步骤摘要】
基于体感交互的数据处理方法以及装置、系统
本申请涉及智能硬件领域，具体而言，涉及一种基于体感交互的数据处理方法以及装置、系统。
技术介绍
随着智能手机和平板电脑的普及，只动动手指头越来越满足不了用户的其他感官的需求，甚至弱化了其他的感官的功能，进而造成感知及动手能力越来越差。专利技术人发现，现有桌面系统的无法在保证用户与现实世界产生交互的同时，又能对交互体验进行即时反馈。针对相关技术中桌面系统的交互效果不佳的问题，目前尚未提出有效的解决方案。
技术实现思路
本申请的主要目的在于提供一种基于体感交互的数据处理方法以及装置、系统，以解决桌面系统的交互效果不佳的问题。为了实现上述目的，根据本申请的一个方面，提供了一种基于体感交互的数据处理方法。根据本申请的基于体感交互的数据处理方法包括：接收环境中语音输入，识别用户所选择执行的交互功能，其中所述交互功能通过语音识别确定；接收视频中手势输入，并基于所述交互功能确定动作意图，其中所述动作意图通过多模态动作识别确定；继续接收视频输入，并基于所述动作意图提取动作区域中的有效信息，其中所述有效信息是指通过图像检索和语言文字识别获得的用户意图；向用户反馈根据所述有效信息匹配的交互结果。进一步地，接收环境中语音输入，识别用户所选择执行的交互功能包括：通过环境中语音输入获得语音指令；根据所述语音指令识别用户所选择执行的学习、阅读或者游戏的交互功能。进一步地，接收视频中手势输入，并基于所述交互功能确定动作意图包括：接收视频中手势输入获得用户意图，基于学习交互功能下确定识别单词、识别句子或者解答习题；和/或，接收视频中手势输入获得用户意图，基于阅读交互功能下确定绘本区域点读或教材伴读；和/或，接收视频中手势输入获得用户意图，基于游戏交互功能下确定卡片识别、线条识别或模块识别。进一步地，继续接收视频输入，并基于所述动作意图提取动作区域中的有效信息包括：继续接收视频输入，并基于所述动作意图提取动作区域中手势运动轨迹和手势位置，其中所述手势运动轨迹包括：至少单击手势轨迹、划过手势轨迹或者划过绕圈轨迹。进一步地，向用户反馈根据所述有效信息匹配的交互结果包括：向用户显示根据所述有效信息匹配的学习、阅读或者游戏的交互结果。为了实现上述目的，根据本申请的另一方面，提供了一种基于体感交互的数据处理装置。根据本申请的基于体感交互的数据处理装置包括：第一交互模块，用于接收环境中语音输入，识别用户所选择执行的交互功能，其中所述交互功能通过语音识别确定；第二交互模块，用于接收视频中手势输入，并基于所述交互功能确定动作意图，其中所述动作意图通过多模态动作识别确定；第三交互模块，用于继续接收视频输入，并基于所述动作意图提取动作区域中的有效信息，其中所述有效信息是指通过图像检索和语言文字识别获得的用户意图；反馈模块，用于向用户反馈根据所述有效信息匹配的交互结果。进一步地，所述第一交互模块，用于通过环境中语音输入获得语音指令；根据所述语音指令识别用户所选择执行的学习、阅读或者游戏的交互功能。进一步地，所述第二交互模块，用于接收视频中手势输入获得用户意图，基于学习交互功能下确定识别单词、识别句子或者解答习题；和/或，接收视频中手势输入获得用户意图，基于阅读交互功能下确定绘本区域点读或教材伴读；和/或，接收视频中手势输入获得用户意图，基于游戏交互功能下确定卡片识别、线条识别或模块识别。进一步地，所述第三交互模块，用于继续接收视频输入，并基于所述动作意图提取动作区域中手势运动轨迹和手势位置，其中所述手势运动轨迹包括：至少单击手势轨迹、划过手势轨迹或者划过绕圈轨迹。为了实现上述目的，根据本申请的又一方面，提供了一种基于体感交互的桌面系统，包括：智能终端和体感交互设备，以使用户在真实场景中，通过所述体感交互设备与所述智能终端进行体感交互，所述体感交互设备，用于提供可进行体感交互的一个或多个互动道具，所述智能终端设备，包括：图像采集装置、语音采集装置、显示装置以及语音播报装置，所述图像采集装置，用于监控桌面范围内的图像信息；所述语音采集装置，用于监听桌面场景中触发的语音信息；所述显示装置，用于将视觉信息进行显示并输出视频信息；所述语音播报装置，用于输出音频信息。在本申请实施例中基于体感交互的数据处理方法以及装置、系统，采用接收环境中语音输入，识别用户所选择执行的交互功能的方式，通过接收视频中手势输入，并基于所述交互功能确定动作意图，继续接收视频输入，并基于所述动作意图提取动作区域中的有效信息，达到了向用户反馈根据所述有效信息匹配的交互结果的目的，从而实现了使用户在真实场景中进行体感交互的技术效果，进而解决了桌面系统的交互效果不佳的技术问题。附图说明构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请实施例的基于体感交互的数据处理方法；图2是根据本申请实施例的基于体感交互的数据处理装置；图3是根据本申请实施例的基于体感交互的桌面系统；图4是根据本申请一个实施例的基于体感交互的桌面系统实体示意图；图5是根据本申请另一个实施例的基于体感交互的桌面系统实体示意图；图6是根据本申请再一个实施例的基于体感交互的桌面系统实体示意图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如本文档来自技高网...

【技术保护点】
1.一种基于体感交互的数据处理方法，其特征在于，包括：/n接收环境中语音输入，识别用户所选择执行的交互功能，其中所述交互功能通过语音识别确定；/n接收视频中手势输入，并基于所述交互功能确定动作意图，其中所述动作意图通过多模态动作识别确定；/n继续接收视频输入，并基于所述动作意图提取动作区域中的有效信息，其中所述有效信息是指通过图像检索和语言文字识别获得的用户意图；/n向用户反馈根据所述有效信息匹配的交互结果。/n

【技术特征摘要】
1.一种基于体感交互的数据处理方法，其特征在于，包括：
接收环境中语音输入，识别用户所选择执行的交互功能，其中所述交互功能通过语音识别确定；
接收视频中手势输入，并基于所述交互功能确定动作意图，其中所述动作意图通过多模态动作识别确定；
继续接收视频输入，并基于所述动作意图提取动作区域中的有效信息，其中所述有效信息是指通过图像检索和语言文字识别获得的用户意图；
向用户反馈根据所述有效信息匹配的交互结果。


2.根据权利要求1所述的基于体感交互的数据处理方法，其特征在于，接收环境中语音输入，识别用户所选择执行的交互功能包括：
通过环境中语音输入获得语音指令；
根据所述语音指令识别用户所选择执行的学习、阅读或者游戏的交互功能。


3.根据权利要求1所述的基于体感交互的数据处理方法，其特征在于，接收视频中手势输入，并基于所述交互功能确定动作意图包括：
接收视频中手势输入获得用户意图，基于学习交互功能下确定识别单词、识别句子或者解答习题；
和/或，接收视频中手势输入获得用户意图，基于阅读交互功能下确定绘本区域点读或教材伴读；
和/或，接收视频中手势输入获得用户意图，基于游戏交互功能下确定卡片识别、线条识别或模块识别。


4.根据权利要求1所述的基于体感交互的数据处理方法，其特征在于，继续接收视频输入，并基于所述动作意图提取动作区域中的有效信息包括：
继续接收视频输入，并基于所述动作意图提取动作区域中手势运动轨迹和手势位置，其中所述手势运动轨迹包括：至少一个单击手势轨迹、划过手势轨迹或者划过绕圈轨迹。


5.根据权利要求1所述的基于体感交互的数据处理方法，其特征在于，向用户反馈根据所述有效信息匹配的交互结果包括：
向用户显示根据所述有效信息匹配的学习、阅读或者游戏的交互结果。


6.一种基于体感交互的数据处理装置，其特征在于，包括：
第一交互模块，用于接收环境中语音输入，识别用户所选择执行的交互功能...

【专利技术属性】
技术研发人员：谈丹，
申请(专利权)人：上海纸上绝知智能科技有限公司，
类型：发明
国别省市：上海;31