一种车载多模交互方法技术

本发明专利技术公开了车载智能控制领域内的一种车载多模交互方法，步骤1，用户打开应用程序页面；步骤2，无障碍服务应用监听应用程序页面变化；步骤3，用户下达语音指令；步骤4，无障碍服务应用与应用程序进行交互应用；主机中新增无障碍服务应用，无障碍服务应用负责监听应用程序页面元素变化和执行模拟点击操作，语音识别应用将语音指令派发给到无障碍服务应用，无障碍服务应用找到匹配语音指令的描述内容，并检索当前页面元素中是否存在对应的描述内容，如果查找到则执行点击事件，帮助主机厂在交互应用页面显示场景时定义一套新的交互方式从而减少应用间的交互接口，且这种方案能减少语音识别应用接口联调适配工作。识别应用接口联调适配工作。识别应用接口联调适配工作。

【技术实现步骤摘要】
一种车载多模交互方法


[0001]本专利技术涉及汽车软件领域内的车载多模交互方法。

技术介绍

[0002]现有的语音交互方案是语音识别应用将车主的语音内容转换成文字指令，然后调用交互应用的接口进行指令操作，这种方式需要交互应用提供大量接口，且不同的交互应用提供接口不一样，同时语音识别应用需要进行大量的接口联调适配工作。当前语音交互方式不利于主机厂定义统一的交互接口，且适配工作量大。

技术实现思路

[0003]本专利技术的目的是提供一种车载多模交互方法，在交互应用页面显示场景时定义一套新的交互方式从而减少应用间的交互接口，能减少语音识别应用接口联调适配工作。
[0004]为实现上述目的，本专利技术提供了一种车载多模交互方法，步骤1，用户打开应用程序页面；步骤2，无障碍服务应用监听应用程序页面变化；步骤3，用户下达语音指令； 步骤4，无障碍服务应用与应用程序进行交互应用。
[0005]与现有技术相比，本专利技术的有益效果在于，主机中新增无障碍服务应用，无障碍服务应用负责监听应用程序页面元素变化和执行模拟点击操作，语音识别应用将语音指令派发给到无障碍服务应用，无障碍服务应用找到匹配语音指令的描述内容，并检索当前页面元素中是否存在对应的描述内容，如果查找到则执行点击事件，帮助主机厂在交互应用页面显示场景时定义一套新的交互方式从而减少应用间的交互接口，且这种方案能减少语音识别应用接口联调适配工作。
[0006]作为本专利技术的进一步改进，无障碍服务应用为安卓系统下自带的无障碍服务应用，应用程序页面为安卓系统下的标准化页面；这样可以借助成熟的软件应用进行承载程序之间的应用交互，更加方便。
[0007]作为本专利技术的进一步改进，步骤2的具体内容如下，应用程序页面的视图层次结构信息由sendAccessibilityEvent获取并发送给AccessibilityManagerService， AccessibilityManagerService对该信息进行读取识别后发送给无障碍服务应用，并由此监听应用程序页面变化。
[0008]这样能够利用无障碍服务应用识别应用程序页面的层析结构信息，进而为识别匹配用户的语音指令做准备。
[0009]作为本专利技术的进一步改进，步骤3具体内容如下，由用户下达针对应用程序的语音指令，该语音指令发送给车载语音识别应用，通过车载语音识别应用对该语音指令进行语音识别，并将识别后的语音指令发送给无障碍服务应用。
[0010]这样，可以通过无障碍服务应用通过车载语音识别应用接收用户下达的语音指令，以便与监听的应用程序页面进行交互。
[0011]作为本专利技术的进一步改进，步骤4的具体内容如下，无障碍服务应用收到该语音指令并进行识别，通过查找整个应用程序页面的视图层次结构的信息中是否有与该语音指令内容相匹配的描述，若找到匹配的描述，则进行虚拟点击，执行语音指令；若找不到匹配语音指令的描述，则发出语音提示后，由用户发出下一道语音指令，重复步骤3
‑
4，直至能够查找到与最新语音指令相匹配的描述，并进行虚拟点击，执行语音指令。
[0012]这样通过无障碍服务应用与应用程序页面实现软件层面的交互，减少应用间的交互接口，且这种方案能减少语音识别应用接口联调适配工作。
[0013]作为本专利技术的进一步改进，标准化页面在安卓系统中都有一个布局页面，称为layout.xml,能在布局页面中定义控件和显示位置，在控件定义时有一个属性android:contentDescription用来描述控件，通过对标准化页面控件描述进行规范程序定义，在无障碍服务与应用程序进行交互应用时按照该规范化定义程序进行需要按照规范程序填写。
[0014]设置一个统一的规范程序，能够快速实现在安卓系统下，由无障碍服务应用于对应的应用程序页面的之间的交互。
[0015]作为本专利技术的进一步改进，规范化程序具体为：android:contentDescription="描述定义"这样，通过上述程序在应用交互页面场景下定义统一的交互规范，主机厂可以减少大量的适配工作。
附图说明
[0016]图1为本专利技术中无障碍服务监听页面变化时序图。
[0017]图2为本专利技术中语音指令交互时序图。
[0018]图3为本专利技术中无障碍服务监听歌曲页面变化时序图。
[0019]图4为本专利技术中用户说下一曲的交互时序图。
[0020]图5为本专利技术中音乐播放下一曲的流程场景图一。
[0021]图6为本专利技术中音乐播放下一曲的流程场景图二。
[0022]图7为本专利技术中音乐播放下一曲的流程场景图三。
[0023]图8为本专利技术中无障碍服务监听蓝牙开关页面变化时序图。
[0024]图9为本专利技术中用户说打开蓝牙的交互时序图。
[0025]图10为本专利技术中蓝牙打开的的流程场景图一。
[0026]图11为本专利技术中蓝牙打开的的流程场景图二。
[0027]图12为本专利技术中蓝牙打开的的流程场景图三 。
具体实施方式
[0028]下面结合附图对本专利技术进一步说明：如图1
‑
2所示的一种车载多模交互方法，包括以下步骤，步骤1，用户打开安卓系统下的应用程序页面；步骤2，安卓系统下自带的无障碍服务应用监听应用程序页面变化；应用程序页面的视图层次结构信息由sendAccessibilityEvent获取并发送给
AccessibilityManagerService，AccessibilityManagerService对该信息进行读取识别后发送给无障碍服务应用，并由此监听应用程序页面变化。
[0029]步骤3，用户下达语音指令；由用户下达针对应用程序的语音指令，该语音指令发送给车载语音识别应用，通过车载语音识别应用对该语音指令进行语音识别，并将识别后的语音指令发送给无障碍服务应用。
[0030]步骤4，无障碍服务应用与应用程序进行交互应用。
[0031]无障碍服务应用收到该语音指令并进行识别，通过查找整个应用程序页面的视图层次结构的信息中是否有与该语音指令内容相匹配的描述，若找到匹配的描述，则进行虚拟点击，执行语音指令；若找不到匹配语音指令的描述，则发出语音提示后，由用户发出下一道语音指令，重复步骤3
‑
4，直至能够查找到与最新语音指令相匹配的描述，并进行虚拟点击，执行语音指令。
[0032]标准化页面在安卓系统中都有一个布局页面，称为layout.xml,能在布局页面中定义控件和显示位置，在控件定义时有一个属性android:contentDescription用来描述控件，通过对标准化页面控件描述进行规范程序定义，在无障碍服务与应用程序进行交互应用时按照该规范化定义程序进行需要按照规范程序填写。
[0033]规范化程序具体为：android:contentDescription="描述定义"本专利技术是借助安卓无障碍服务应用加标准化页面控件描述的方案实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车载多模交互方法，其特征在于：包括以下步骤，步骤1，用户打开应用程序页面；步骤2，无障碍服务应用监听应用程序页面变化；步骤3，用户下达语音指令；步骤4，无障碍服务应用与应用程序进行交互应用。2.根据权利要求1所述的一种车载多模交互方法，其特征在于：无障碍服务应用为安卓系统下自带的无障碍服务应用，应用程序页面为安卓系统下的标准化页面。3.根据权利要求2所述的一种车载多模交互方法，其特征在于：步骤2的具体内容如下，应用程序页面的视图层次结构信息由sendAccessibilityEvent获取并发送给AccessibilityManagerService，AccessibilityManagerService对该信息进行读取识别后发送给无障碍服务应用，并由此监听应用程序页面变化。4.根据权利要求3所述的一种车载多模交互方法，其特征在于：步骤3具体内容如下，由用户下达针对应用程序的语音指令，该语音指令发送给车载语音识别应用，通过车载语音识别应用对该语音指令进行语音识别，并将识别后的语音指令发送给无障碍服务应用。5.根据权利要求4所...

【专利技术属性】
技术研发人员：徐武龙，杨洪坪，
申请(专利权)人：扬州航盛科技有限公司，
类型：发明
国别省市：