交互方法、装置、设备及存储介质制造方法及图纸

本发明专利技术提供了一种交互方法、装置、设备及存储介质。为应用中的视图组件配置一个或多个交互命令，交互命令用于描述与其对应的非接触式交互事件，非接触式交互事件是以非接触式交互方式输入的事件；为一个或多个视图组件提供交互命令识别服务，交互命令识别服务用于识别非接触式交互事件所对应的交互命令。由此，通过为视图组件添加对交互命令的支持，就像传统的触控事件可以直达视图组件一样，可以让非接触式交互事件直达视图组件，从而可以提升用户的非接触式交互体验。

【技术实现步骤摘要】
交互方法、装置、设备及存储介质
本专利技术涉及交互领域，特别是涉及一种交互方法、装置、设备及存储介质。
技术介绍
目前语音交互方式(Voice-UI)正在流行起来，而基于视觉(如双/多目摄像头)的交互方式逐渐也应用比较广泛。虽然这些自然交互方式是下一步发展的方向，但目前最常见的交互方式还是GraphicsUI(图形用户界面，GUI)，如果能在GUI基础上增加这些新型的自然交互方式，将极大提升用户交互时的体验。这种交互方式可以称为“多模态交互界面(Multi-ModalInterface，简称MMI)”。本质上这些交互方式都是相对于以鼠标、键盘、触摸等为代表的传统的接触式交互方式的一种扩展。以语音交互为例，目前业界常见的做法都是类似语音助手的方案，如Android的GoogleAssistant和iOS的Siri，主要的做法是通过语音识别将用户的语音转换成对应的文字，再通过NLU理解成为一个Action。然后通过这个Action以操作系统进程间通讯的机制返回来并发送给对应的应用。应用在收到这个Action后，去执行对应的功能。这种方式主要存在如下主要缺点：1)无法做到语音和应用的深度集成，无法比较方便的实现沉浸式体验。因为语音和应用是处于完全两个进程，因此只能通过约定一系列进程间通讯的接口来完成相关的功能；2)应用无法及时将语音识别的上下文告之另一个应用，从而无法方便地对语音输入进行限定，无法做高效的语音识别；3)由于语音助手的方案，很多语音相关的交互逻辑是集中在语音助手应用中的，使得本该属于自己应用的语音和GUI这块相关逻辑分散在语音助手和自己应用这两个应用中，开发起来复杂，扩展性和可维护性差，无法满足未来大量的语音+GUI交互的需求；4)没有考虑到“多模态”交互方式，因为目前iOS/Android的UI还是传统的GUI，交互方式还是以触摸、鼠标、键盘这些传统交互模式为主，语音助手虽然可以提供一定程度上的语音模态的支持，但如果以后再支持多模态，又会需要另一个模态助手或者扩展语音助手的能力来支持其他模态，这会对开发这类应用无论在扩展性和可维护性都提出更大的挑战。因此，针对语音、视觉等新型的交互方式，仍然需要一种改进的交互方案。
技术实现思路
本专利技术的一个目的在于，提供一种支持语音、视觉等非接触式交互方式的交互方案，以解决
技术介绍
部分提及的至少一种问题。根据本专利技术的第一个方面，提供了一种交互方法，包括：为应用中的视图组件配置一个或多个交互命令，交互命令用于描述与其对应的非接触式交互事件，非接触式交互事件是以非接触式交互方式输入的事件；为一个或多个视图组件提供交互命令识别服务，交互命令识别服务用于识别非接触式交互事件所对应的交互命令。可选地，非接触式交互方式包括以下至少一种：语音交互方式：和/或视觉交互方式。可选地，为应用中的视图组件配置一个或多个交互命令的步骤包括：在视图组件上集成第一接口，第一接口用于为视图组件添加一个或多个交互命令；并且/或者在视图组件上集成第二接口，第二接口用于为视图组件删除一个或多个交互命令。可选地，为一个或多个视图组件提供交互命令识别服务的步骤包括：在视图组件上集成第三接口，第三接口用于接收交互命令识别服务发送的通知，通知是交互命令识别服务在识别到非接触式交互事件与视图组件所配置的交互命令相对应的情况下发出的。可选地，该方法还包括：在视图组件上集成第四接口，第四接口用于控制视图组件是否支持非接触式交互方式。可选地，视图组件是图形用户接口。可选地，视图组件对应预设的交互操作，视图组件被配置为响应于识别到与为其配置的交互命令相对应的非接触式交互事件，执行交互操作。可选地，该方法还包括：为视图组件配置与为其配置的交互命令相对应的交互操作，视图组件被配置为响应于识别到与为其配置的交互命令相对应的非接触式交互事件，执行交互操作。根据本专利技术的第二个方面，还提供了一种交互方法，包括：根据应用中的视图组件所配置的交互命令，对非接触式交互事件进行识别，以识别非接触式交互事件所对应的交互命令，非接触式交互事件是以非接触式交互方式输入的事件，交互命令用于描述与其对应的非接触式交互事件；向识别到的交互命令所对应的视图组件发送通知，以便视图组件执行交互操作。可选地，非接触式交互方式包括以下至少一种：语音交互方式：和/或视觉交互方式。可选地，该方法还包括：维护交互命令列表，交互命令列表包括应用中的所有视图组件所配置的交互命令，其中，对非接触式交互事件进行识别的步骤包括：将对非接触式交互事件进行识别得到的识别结果与交互命令列表中的交互命令进行比对，以识别非接触式交互事件所对应的交互命令。可选地，维护交互命令列表的步骤包括：判断应用中的视图组件是否支持非接触式交互方式；在判定视图组件支持非接触式交互方式的情况下，获取视图组件所配置的交互命令，并将获取到的交互命令添加到交互命令列表。可选地，维护交互命令列表的步骤包括：在视图组件所配置的交互命令发生变化的情况下，对交互命令列表进行更新。可选地，该方法还包括：在非接触式交互事件没有对应的交互命令的情况下，基于预定的匹配规则对非接触式交互事件进行识别，以识别非接触式交互事件所对应的交互意图，交互意图包括能够被应用识别的操作参数；将交互意图发送至应用，以便应用执行交互意图所指示的操作。根据本专利技术的第三个方面，还提供了一种语音交互方法，包括：为应用中的视图组件配置一个或多个语音命令，语音命令用于描述与其对应的语音事件，语音事件是以语音方式输入的事件；为一个或多个视图组件提供语音识别服务，语音识别服务用于识别语音事件所对应的语音命令。根据本专利技术的第四个方面，还提供了一种语音交互方法，包括：显示界面，界面中的至少一个视图组件配置有一个或多个语音命令，语音命令用于描述与其对应的语音事件，语音事件是以语音方式输入的事件；接收语音输入；根据界面中的视图组件所配置的语音命令，对语音输入进行识别，以识别与语音输入相匹配的语音命令；向识别到的语音命令所对应的视图组件发送通知，以便视图组件执行交互操作。可选地，界面为车载应用程序提供的图形用户界面。根据本专利技术的第五个方面，还提供了一种交互装置，包括：配置模块，用于为应用中的视图组件配置一个或多个交互命令，交互命令用于描述与其对应的非接触式交互事件，非接触式交互事件是以非接触式交互方式输入的事件；提供模块，用于为一个或多个视图组件提供交互命令识别服务，交互命令识别服务用于识别非接触式交互事件所对应的交互命令。根据本专利技术的第六个方面，还提供了一种交互装置，包括：识别模块，用于根据应用中的视图组件所配置的交互命令，对非接触式交互事件进行识别，以识别非接触式交互事件所对应的交互命令，非接触式交互事件是以非接触式交互方式输入的事件，交互命令用于描述与其对应的非接触式交互事件；发送模块，用于向识别到的交互命令所对应的视图组件发送通知，以便视图组件执行交互操作。根据本专利技术的本文档来自技高网...

【技术保护点】
1.一种交互方法，其特征在于，包括：/n为应用中的视图组件配置一个或多个交互命令，所述交互命令用于描述与其对应的非接触式交互事件，所述非接触式交互事件是以非接触式交互方式输入的事件；/n为一个或多个所述视图组件提供交互命令识别服务，所述交互命令识别服务用于识别非接触式交互事件所对应的交互命令。/n

【技术特征摘要】
1.一种交互方法，其特征在于，包括：
为应用中的视图组件配置一个或多个交互命令，所述交互命令用于描述与其对应的非接触式交互事件，所述非接触式交互事件是以非接触式交互方式输入的事件；
为一个或多个所述视图组件提供交互命令识别服务，所述交互命令识别服务用于识别非接触式交互事件所对应的交互命令。


2.根据权利要求1所述的交互方法，其特征在于，所述非接触式交互方式包括以下至少一种：
语音交互方式：和/或
视觉交互方式。


3.根据权利要求1所述的交互方法，其特征在于，所述为应用中的视图组件配置一个或多个交互命令的步骤包括：
在所述视图组件上集成第一接口，所述第一接口用于为所述视图组件添加一个或多个交互命令；并且/或者
在所述视图组件上集成第二接口，所述第二接口用于为所述视图组件删除一个或多个交互命令。


4.根据权利要求1所述的交互方法，其特征在于，所述为一个或多个所述视图组件提供交互命令识别服务的步骤包括：
在所述视图组件上集成第三接口，所述第三接口用于接收所述交互命令识别服务发送的通知，所述通知是所述交互命令识别服务在识别到非接触式交互事件与所述视图组件所配置的交互命令相对应的情况下发出的。


5.根据权利要求1所述的交互方法，其特征在于，还包括：
在所述视图组件上集成第四接口，所述第四接口用于控制所述视图组件是否支持所述非接触式交互方式。


6.根据权利要求1所述的交互方法，其特征在于，
所述视图组件是图形用户接口。


7.根据权利要求1至6中任何一项所述的交互方法，其特征在于，
所述视图组件对应预设的交互操作，所述视图组件被配置为响应于识别到与为其配置的所述交互命令相对应的非接触式交互事件，执行所述交互操作。


8.根据权利要求1至5中任何一项所述的交互方法，其特征在于，还包括：
为所述视图组件配置与为其配置的交互命令相对应的交互操作，所述视图组件被配置为响应于识别到与为其配置的交互命令相对应的非接触式交互事件，执行所述交互操作。


9.一种交互方法，其特征在于，包括：
根据应用中的视图组件所配置的交互命令，对非接触式交互事件进行识别，以识别所述非接触式交互事件所对应的交互命令，所述非接触式交互事件是以非接触式交互方式输入的事件，所述交互命令用于描述与其对应的非接触式交互事件；
向识别到的交互命令所对应的视图组件发送通知，以便所述视图组件执行交互操作。


10.根据权利要求9所述的交互方法，其特征在于，非接触式交互方式包括以下至少一种：
语音交互方式：和/或
视觉交互方式。


11.根据权利要求9所述的交互方法，其特征在于，还包括：
维护交互命令列表，所述交互命令列表包括所述应用中的所有视图组件所配置的交互命令，其中，
所述对非接触式交互事件进行识别的步骤包括：将对非接触式交互事件进行识别得到的识别结果与交互命令列表中的交互命令进行比对，以识别非接触式交互事件所对应的交互命令。


12.根据权利要求11所述的交互方法，其特征在于，所述维护交互命令列表的步骤包括：
判断所述应用中的视图组件是否支持所述非接触式交互方式；
在判定所述视图组件支持所述非接触式交互方式的情况下，获取所述视图组件所配置的交互命令，并将获取到的交互命令添加到所述交互命令列表。


13.根据权利要求11所述的交互方法，其特征在于，所述维护交互命令列表的步骤包括：
在所述视图组件所配置的交互命令发生变化的情况下，对所述交互命令列表进行更新。

【专利技术属性】
技术研发人员：杨扬，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY