用于经由用户演示学习并启用命令的方法和系统技术方案

一种用于学习任务的方法包括获得与由电子装置执行的至少一个应用程序相关联的第一信息。针对所述至少一个应用程序记录用户界面交互的序列。从所述用户界面交互的所述序列中提取第二信息。基于所述第一信息而从所述第二信息过滤事件或动作中的至少一者。对所述第一信息中所包括的每个元素执行辨别以生成语义本体。基于所述语义本体和经过滤的第二信息而生成所述用户界面交互的所述序列的任务命令。生成所述用户界面交互的所述序列的任务命令。生成所述用户界面交互的所述序列的任务命令。

【技术实现步骤摘要】
【国外来华专利技术】用于经由用户演示学习并启用命令的方法和系统


[0001]一个或多个实施例总体涉及用于电子装置的任务学习，特别地涉及使用用于为至少一个应用程序生成任务命令的用户演示来为虚拟助理或语音助理进行任务学习。

技术介绍

[0002]个人助理(PA)和智能代理广泛存在于移动装置、电视装置、家用音箱、消费者电子产品等以作为多模式装置上的技能实施用户任务。在移动装置中，PA和智能代理大多数与应用程序一起工作来响应于以语音命令、文本输入、快捷按钮和/或手势实现的用户请求而执行特定任务。为了执行这些任务，PA或智能代理的平台开发人员或应用程序开发人员需要通过调用由app开发人员提供的应用程序编程接口(API)来实现
‘
任务执行
’
。例如，如果特定应用程序中没有API或接口以实现动作来完成任务，则可能无法执行用户请求。
[0003]在一个流行的移动应用程序平台
“”
中，截止2018第一季度，在app商店中存在近似380万的app。在此app商店中，不到0.5％的app有将API提供到开发人员以在PA和智能代理中使用时完成任务。

技术实现思路

[0004]问题的解决方案
[0005]一个或多个实施例总体涉及使用用于为至少一个应用程序生成任务命令的用户演示来为虚拟助理进行任务学习。在一个实施例中，一种用于学习任务的方法包括获得与由电子装置执行的至少一个应用程序相关联的第一信息。记录关于所述至少一个应用程序的用户界面交互的序列。从所述用户界面交互的所述序列中提取第二信息。基于所述第一信息而从所述第二信息过滤事件或动作中的至少一者。对所述第一信息中所包括的每个元素执行辨别以生成语义本体。基于所述语义本体和经过滤的第二信息而生成所述用户界面交互的序列的任务命令。
[0006]在一些实施例中，一种电子装置包括存储指令的存储器。至少一个处理器执行所述指令，所述指令包括过程，所述过程被配置为：获得与由电子装置执行的至少一个应用程序相关联的第一信息；记录关于所述至少一个应用程序的用户界面交互的序列；从所述用户界面交互的所述序列中提取第二信息；使用所述第一信息而从所述第二信息过滤事件或动作中的至少一者；对所述第一信息中所包括的每个元素执行辨别以生成语义本体；以及基于所述语义本体和经过滤的第二信息而生成所述用户界面交互的序列的任务命令。
[0007]在一个或多个实施例中，一种非暂时性处理器可读介质包括程序，所述程序在由处理器执行时执行方法，所述方法包括获得与由电子装置执行的至少一个应用程序相关联的第一信息。记录关于所述至少一个应用程序的用户界面交互的序列。从所述用户界面交互的序列中提取第二信息。基于所述第一信息而从所述第二信息过滤事件或动作中的至少一者。对所述第一信息中所包括的每个元素执行辨别以生成语义本体。基于所述语义本体和经过滤的第二信息而生成所述用户界面交互的序列的任务命令。
[0008]一个或多个实施例的这些和其他方面和优点将从以下具体实施方式中变得显而易见，所述具体实施方式在结合附图时以示例方式说明了一个或多个实施例的原理。
附图说明
[0009]为了更全面地理解实施例的性质和优点以及优选的使用模式，应参考以下结合附图阅读的具体实施方式，在附图中：
[0010]图1示出了根据一些实施例的通信系统的示意图；
[0011]图2示出了根据一些实施例的用于能够单独地或组合地执行智能学习处理的系统的架构的框图，所述系统包括电子装置和云或服务器环境；
[0012]图3示出了根据一些实施例的智能学习系统(ILS)处理的高级框图；
[0013]图4示出了根据一些实施例的用于用户任务演示(使用简单的步骤)的应用程序的示例流程；
[0014]图5示出了根据一些实施例的用于从系统和服务中过滤不想要的事件的ILS的高级组成部分流程；
[0015]图6示出了根据一些实施例的ILS过程的高级流程，所述ILS过程通过基于包，诸如图标、文本和描述的数据以及语义而对事件进行过滤并且对事件和文本/图像语义本体划分优先级来执行动态事件排序；
[0016]图7示出了根据一些实施例的用于在单个应用程序上进行ILS任务学习的示例过程流程图；
[0017]图8示出了根据一些实施例的用于在多于一个应用程序上进行ILS任务学习的另一个示例过程流程图；
[0018]图9A、图9B、图9C和图9D示出了根据一些实施例的在应用程序上学习发帖的示例；
[0019]图10A、图10B和图10C示出了根据一些实施例的在应用程序上学习机票预订的示例；
[0020]图11A、图11B和图11C示出了根据一些实施例的在应用程序上查找餐馆的示例；
[0021]图12A、图12B和图12C示出了根据一些实施例的从相册向云服务分享旅行图片的示例；
[0022]图13示出了根据一些实施例的用于任务学习的过程的框图；并且
[0023]图14是示出信息处理系统的高级框图，所述信息处理系统包括实现一个或多个实施例的计算系统。
具体实施方式
[0024]进行以下描述是为了说明一个或多个实施例的一般原理，并且不意味着限制本文所要求保护的专利技术构思。另外，本文描述的特定特征可以各种可能组合和置换中的每一者与其他描述的特征结合使用。除非本文另有明确定义，否则所有术语将被给予其最广泛的可能解释，包括从说明书中隐含的含义以及本领域技术人员所理解的含义和/或如字典、专
著等所定义的含义。
[0025]应注意，术语“中的至少一者”是指跟随元素中的一者或一者以上。例如，“a、b、c或其组合中的至少一者”可以被解释为单独的“a”、“b”或“c”；或组合在一起的“a”和“b”、组合在一起的“b”和“c”、组合在一起的“a”和“c”；或组合在一起的“a”、“b”和“c”。
[0026]在一个或多个实施例中，“任务”可以指代包括用于完成目标的一个或多个步骤的用户任务。一些任务可以经由与一个或多个app的交互来实现，诸如添加日历事件、发送消息、预订机票、预约出行等。一些任务可能涉及一个或多个装置或设备以及控制一个或多个装置或设备的一个或多个动作，诸如设置夜间的娱乐环境、安排晨间例行事务等。
[0027]一个或多个实施例提供了使用用于为至少一个应用程序生成任务命令的用户演示来为虚拟助理进行任务学习。在一些实施例中，一种用于学习任务的方法包括获得与由电子装置执行的至少一个应用程序相关联的第一信息。针对所述至少一个应用程序记录用户界面交互的序列。从所述用户界面交互的所述序列中提取第二信息。基于所述第一信息而从所述第二信息过滤事件或动作中的至少一者。对所述第一信息中所包括的每个元素执行辨别以生成语义本体。基于语义本体和经过滤的第二信息而生成用户界面交互的序列的任务命令。
[0028]图1是根据一个或多个实施例的通信系统10的示意图。通信系统10可以包括发起传出通信操作的通信装置(发射装置12)和通信网络110，本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于学习任务的方法，所述方法包括：获得与由电子装置执行的至少一个应用程序相关联的第一信息；记录关于所述至少一个应用程序的用户界面交互的序列；从所述用户界面交互的序列中提取第二信息；基于所述第一信息而从所述第二信息过滤事件或动作中的至少一者；对所述第一信息中所包括的每个元素执行辨别以生成语义本体；以及基于所述语义本体和经过滤的第二信息而生成所述用户界面交互的序列的任务命令。2.如权利要求1所述的方法，其中：所述第一信息包括以下各项中的至少一者：语音命令话语、来自会话的信息或上下文信息；并且所述任务命令被配置为在所述至少一个应用程序上执行以执行任务。3.如权利要求1所述的方法，其中所述第二信息包括系统信息或服务信息中的至少一者，并且处理所述第二信息以理解上下文和状态。4.如权利要求1所述的方法，还包括：从所述用户界面交互中提取元数据；在任务事件队列中对所述元数据和任务信息进行排队；以及基于所述任务事件队列而从所述第二信息进一步过滤事件或动作中的至少一者。5.如权利要求4所述的方法，还包括：向所述用户界面交互的序列的每个元素添加额外的语音或文本数据以获得额外的元数据。6.如权利要求1所述的方法，还包括：基于系统、服务和用于所述任务的脱离上下文的数据通过对文本、图像和用户界面元素进行分类而对所述用户界面交互的序列进行预处理。7.如权利要求1所述的方法，其中所述任务命令被制定为基于用户语音命令而在所述至少一个应用程序上重复地执行，并且所述任务命令包括使用逻辑数据的语义事件序列，所述语义事件序列在执行时在所述至少一个应用程序上实施所述任务。8.一种电子装置，所述电子装置包括：存储器，所述存储器存储指令；以及至少一个处理器，所述至少一个处理器执行包括过程的所述指令，所述过程被配置为：获得与由所述电子装置执行的至少一...

【专利技术属性】
技术研发人员：金红霞，S纳马，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：