一种应用操作方法及其设备、存储介质、终端技术

本发明专利技术实施例公开一种应用操作方法及其设备、存储介质、终端，其中方法包括如下步骤：基于辅助应用界面采集针对人物元素的用户操作指令，并对所述用户操作指令进行识别处理以获取所述用户操作指令对应的识别信息；提取所述识别信息中的关键字信息，并基于机器学习生成的信息识别库获取与所述关键字信息相匹配的意图识别结果；当所述意图识别结果为互动意图结果时，获取与所述互动意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息。采用本发明专利技术，可以丰富辅助应用可实现的功能，提升辅助应用的交互性。

Application operation method and equipment, storage medium and terminal thereof

The embodiment of the invention discloses an operation method and a device, a storage medium and a terminal. The method comprises the following steps: collecting user operation instructions for the character elements based on the auxiliary application interface and identifying the user operation instructions to obtain the identification information corresponding to the user operation instructions; The keyword information in the identified information is extracted and the intention recognition result matching the keyword information is obtained based on the information recognition library generated by the machine learning; when the intention recognition result is the result of the interactive intent, the feedback multimedia information that matches the result of the interactive intention is obtained and the person is controlled. The material element outputs the feedback multimedia information. By adopting the invention, functions of auxiliary applications can be enriched, and the interactivity of auxiliary applications can be enhanced.

【技术实现步骤摘要】
一种应用操作方法及其设备、存储介质、终端
本专利技术涉及计算机
，尤其涉及一种应用操作方法及其设备、存储介质、终端。
技术介绍
随着计算机技术不断的开发和完善，用户可以在手机和平板电脑等终端中下载并安装各式各样的应用以满足不同的使用功能，例如：游戏应用对应的游戏功能、闹钟应用对应的提醒功能等。终端应用通常都是针对某一种应用功能的实现，以终端中的虚拟机器人的辅助应用为例，现有的辅助应用仅仅只能实现对终端中的一些管理功能，例如：对桌面应用的整理、对后台进程进行清理等，其所能实现的功能过于单一，且不存在与用户间的任何交互行为，降低了辅助应用的交互性。
技术实现思路
本专利技术实施例提供一种应用操作方法及其设备、存储介质、终端，可以丰富辅助应用可实现的功能，提升辅助应用的交互性。本专利技术实施例一方面提供了一种应用操作方法，可包括：基于辅助应用界面采集针对人物元素的用户操作指令，并对所述用户操作指令进行识别处理以获取所述用户操作指令对应的识别信息；提取所述识别信息中的关键字信息，并基于机器学习生成的信息识别库获取与所述关键字信息相匹配的意图识别结果；当所述意图识别结果为互动意图结果时，获取与所述互动意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息。本专利技术实施例另一方面提供了一种应用操作设备，可包括：信息获取单元，用于基于辅助应用界面采集针对人物元素的用户操作指令，并对所述用户操作指令进行识别处理以获取所述用户操作指令对应的识别信息；结果获取单元，用于提取所述识别信息中的关键字信息，并基于机器学习生成的语义识别库获取与所述关键字信息相匹配的意图识别结果；意图执行单元，用于当所述意图识别结果为互动意图结果时，获取与所述互动意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息。其中，还包括：界面显示单元，用于在桌面界面中监听对辅助应用的触发操作，并在监听到所述触发操作后显示所述辅助应用对应的辅助应用界面；其中，所述触发操作包括物理按键触发操作、语音输入触发操作和人脸识别触发操作中的至少一种操作。其中，还包括：应用配置单元，用于基于辅助应用界面获取所输入的用户个人信息，并根据所述用户个人信息配置所述辅助应用界面的元素以及所述元素对应的辅助模式；所述元素包括人物元素、背景元素以及按钮元素，所述辅助模式包括提示模式、人物声线模式、元素动态变化模式、按钮形态模式中的至少一种模式。其中，所述互动意图结果包括触摸意图结果和闲聊意图结果；所述意图执行单元具体用于：当所述意图识别结果为触摸意图结果时，基于所述触摸意图结果所指示的在所述辅助应用界面的触摸位置以及触摸操作类型，获取与所述触摸意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息；当所述意图识别结果为闲聊意图结果时，基于所述闲聊意图结果所指示的语义信息获取与所述触摸意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息；所述反馈多媒体信息包括在所述辅助模式下的元素变化信息和语音反馈信息中的至少一种信息。其中，所述意图执行单元，还用于当所述意图识别结果为电台播报意图结果时，采用所述人物声线模式对当前电台节目列表中的电台节目进行播放；所述意图执行单元，还用于当所述意图识别结果为资讯播报意图结果时，采用所述提示模式对当前资讯列表中的资讯新闻信息进行播放。其中，所述意图执行单元，还用于当所述意图识别结果为应用操作意图结果时，获取所述应用操作意图结果中用于操作目标应用的意图行为信息，并调用所述目标应用执行所述意图行为信息所指示的应用操作。其中，还包括：信息输出单元，用于当检测到当前的动态信息满足动态规则时，输出所述动态信息对应的提醒信息，所述动态信息包括天气信息、多媒体数据更新信息中的至少一种信息。其中，还包括：指令停止单元，用于当所述意图识别结果对应的操作权限未进行解锁处理时，输出操作权限受限的提示信息，并停止执行所述用户操作指令所指示的操作；数值更新单元，用于当所述意图识别结果对应的操作权限已进行解锁处理，且所述意图识别结果满足亲密度规则时，获取所述意图识别结果对应的亲密度加权值，并采用所述亲密度加权值更新与所述人物元素相关联的亲密度数值。其中，还包括：级别更新单元，用于当所述亲密度数值满足目标阈值时，将所述目标阈值对应的亲密度级别确定为与所述人物元素的当前关系级别，并对所述当前关系级别对应的操作权限进行解锁处理。本专利技术实施例另一方面提供了一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。本专利技术实施例另一方面提供了一种终端，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行以下步骤：基于辅助应用界面采集针对人物元素的用户操作指令，并对所述用户操作指令进行识别处理以获取所述用户操作指令对应的识别信息；提取所述识别信息中的关键字信息，并基于机器学习生成的信息识别库获取与所述关键字信息相匹配的意图识别结果；当所述意图识别结果为互动意图结果时，获取与所述互动意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息。在本专利技术实施例中，通过在辅助应用界面中采集针对人物元素的用户操作指令，可以基于该指令获取用户操作的识别信息，再通过获取与该识别信息中的关键字信息相匹配的意图识别结果，在意图识别结果为互动意图结果时，可以控制人物元素输出相应的反馈多媒体信息，通过结合机器学习的方式以及虚拟的人物元素的结合，可以丰富人物元素与用户的交互场景，并且丰富了辅助应用可实现的功能，同时提升了辅助应用的交互性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种应用操作方法的流程示意图；图2是本专利技术实施例提供的另一种应用操作方法的流程示意图；图3是本专利技术实施例提供的一种应用操作的举例示意图；图4是本专利技术实施例提供的另一种应用操作的举例示意图；图5是本专利技术实施例提供的另一种应用操作的举例示意图；图6是本专利技术实施例提供的另一种应用操作的举例示意图；图7是本专利技术实施例提供的另一种应用操作的举例示意图；图8是本专利技术实施例提供的另一种应用操作的举例示意图；图9是本专利技术实施例提供的另一种应用操作的举例示意图；图10是本专利技术实施例提供的另一种应用操作的举例示意图；图11是本专利技术实施例提供的另一种应用操作的举例示意图；图12是本专利技术实施例提供的另一种应用操作的举例示意图；图13是本专利技术实施例提供的另一种应用操作的举例示意图；图14是本专利技术实施例提供的另一种应用操作方法的流程示意图；图15是本专利技术实施例提供的另一种应用操作的举例示意图；图16是本专利技术实施例提供的另一种应用操作的举例示意图；图17是本专利技术实施例提供的一种应用操作设备的结构示意图；图18是本专利技术实施例提供的另一种应用操作设备的结构示意图；图19是本专利技术实施例提供的一种终端的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本文档来自技高网...

【技术保护点】
1.一种应用操作方法，其特征在于，包括：基于辅助应用界面采集针对人物元素的用户操作指令，并对所述用户操作指令进行识别处理以获取所述用户操作指令对应的识别信息；提取所述识别信息中的关键字信息，并基于机器学习生成的信息识别库获取与所述关键字信息相匹配的意图识别结果；当所述意图识别结果为互动意图结果时，获取与所述互动意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息。

【技术特征摘要】
1.一种应用操作方法，其特征在于，包括：基于辅助应用界面采集针对人物元素的用户操作指令，并对所述用户操作指令进行识别处理以获取所述用户操作指令对应的识别信息；提取所述识别信息中的关键字信息，并基于机器学习生成的信息识别库获取与所述关键字信息相匹配的意图识别结果；当所述意图识别结果为互动意图结果时，获取与所述互动意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息。2.根据权利要求1所述的方法，其特征在于，所述基于辅助应用界面采集针对人物元素的用户操作指令，并对所述用户操作指令进行识别处理以获取所述用户操作指令对应的识别信息之前，还包括：在桌面界面中监听对辅助应用的触发操作，并在监听到所述触发操作后显示所述辅助应用对应的辅助应用界面；其中，所述触发操作包括物理按键触发操作、语音输入触发操作和人脸识别触发操作中的至少一种操作。3.根据权利要求1所述的方法，其特征在于，所述基于辅助应用界面采集针对人物元素的用户操作指令，并对所述用户操作指令进行识别处理以获取所述用户操作指令对应的识别信息之前，还包括：基于辅助应用界面获取所输入的用户个人信息，并根据所述用户个人信息配置所述辅助应用界面的元素以及所述元素对应的辅助模式；所述元素包括人物元素、背景元素以及按钮元素，所述辅助模式包括提示模式、人物声线模式、元素动态变化模式、按钮形态模式中的至少一种模式。4.根据权利要求3所述的方法，其特征在于，所述互动意图结果包括触摸意图结果和闲聊意图结果；所述当所述意图识别结果为互动意图结果时，获取与所述互动意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息，包括：当所述意图识别结果为触摸意图结果时，基于所述触摸意图结果所指示的在所述辅助应用界面的触摸位置以及触摸操作类型，获取与所述触摸意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息；当所述意图识别结果为闲聊意图结果时，基于所述闲聊意图结果所指示的语义信息获取与所述触摸意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息；所述反馈多媒体信息包括在所述辅助模式下的元素变化信息和语音反馈信息中的至少一种信息。5.根据权利要求3所述的方法，其特征在于，还包括：当所述意图识别结果为电台播报意图结果时，采用所述人物声线模式对当前电台节目列表中的电台节目进行播放；当所述意图识别结果为资讯播报意图结果时，采用所述提示模式对当前资讯列表中的资讯新闻信息进行播放。6.根据...

【专利技术属性】
技术研发人员：霍然，龙振海，黄归，谢建平，张正政，陈召，罗俊，李浩，徐明，林泽容，方圆，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44