一种用于联网设备的操纵方法技术

本发明专利技术公开了一种用于联网设备的操纵方法，该操纵方法系统架构，该系统架构包括智能大模型、能够与网络建立信号连接的联网设备。智能大模型具有操作脚本库及人工智能模块；联网设备下载并安装有多款应用程序APP和一智能代理，多款应用程序APP中，已授权APP一对一的配置有操作脚本且已授权APP与该已授权APP对应配置的操作脚本成对的安装于联网设备上，智能大模型和联网设备通过网络进行双向数据交互，联网设备与用户通过文本、语音、图像、物理按键中的一种或组合进行交互。本发明专利技术基于当前人工智能大模型技术，来替代人进行规划和信息汇总，从而大幅提升人完成日常任务的效率。从而大幅提升人完成日常任务的效率。从而大幅提升人完成日常任务的效率。

【技术实现步骤摘要】
一种用于联网设备的操纵方法


[0001]本专利技术涉及人机交互
，具体的说是涉及一种用于联网设备的操纵方法。

技术介绍

[0002]人对手机、电脑、平板等设备的操纵，最早是按键形式，后来发展出了触控交互技术。触控方式大大丰富了人对手机、电脑、平板等设备操纵的多样性和灵活性，引发了大量的关联衍生应用，是一场革命性的变化。
[0003]当前操纵设备的主要流程是，找到设备上相应的APP(安装在设备上的应用程序)，通过一系列的触控，必要时调用设备键盘(包含软键盘)进行一定的文本输入，从而准确的调用相应功能。例如对于“订机票”一般包含“身份确认”、“航班查询”、“订票”、“取消订票”等几个功能，这些功能是紧密围绕机票的多个功能。类似的，“订酒店”、“订车”等APP也具有类似的功能。
[0004]对于一个用户而言，他要完成一次出差，需要分别在这三个不同的APP上完成订机票、订酒店、打车等一系列的触控和文本输入操作，并且在操纵过程中要进行信息筛选和确认工作。
[0005]在上述过程中，人类主要工作分为如下内容：
[0006]1.规划APP的调用顺序，一般遵循“先订机票、再订酒店，然后订车”的顺序
[0007]2.找到APP在设备中的位置，并触控打开
[0008]3.定位相应的图形化按钮，并触控打开
[0009]4.然后进行信息的浏览和筛选，涉及文本图片识别和触控滚动操作
[0010]5.最后进行触控确定，执行相应的功能
[0011]上述工作内容中，2、3、5都属于设备本身的调用接口，而1和4属于人类智能的一些功能即规划和选择。如果新的人工智能技术能够帮助人类进行规划和选择，或者有效的辅助人类规划和选择，那么上述所有工作可以由设备本身来执行，给与人更大的便利性。
[0012]以GPT为代表的自然语言大模型已经展现了，可以进行较为复杂规划，以及根据人的要求进行选择的能力，也就是可以很大程度上替代工作内容1和4。因此结合设备操纵接口、APP调用接口、以及大模型的智能能力，可实现更智能化的基于日常任务的服务。相比传统的只能提供离散化的功能服务，并由人来组合搭配多个功能完成任务的方式，基于日常任务的服务可大幅提高人的工作效率。
[0013]现有的用人与设备的交互方式有：
[0014]1：物理按键方式：通过按钮、键盘、鼠标等进行设备操纵；设备上的屏幕或其他视觉显示器件展示操纵过程和效果，并通过屏幕或其他视觉显示器件向用户提供信息的展示。
[0015]2：触控方式：这种方式，将屏幕信息展示与操纵结合在一起，大幅减少了物理按键，简化了设备；并能在一个触控屏幕通过软件实现各类丰富多彩的操纵方式。这种方式相比第一种人机交互是一种革命性的进展。
[0016]现有的交互方案都是提供不太智能、程序化的功能服务，要完成一项日常任务，需要调用一个或多个APP的功能才能实现。这些功能调用的顺序，以及最终确定的过程都是由人来完成的，也就是由人来进行规划、信息汇总、最终决策等较为智能的工作。
[0017]某种意义上，上述人机交互方法，在针对简单、标准、程序化的功能上已经做的非常便利，但是针对日常任务，需要一些常识性的智能化决策时，一定要依赖人的执行，这使得日常任务的执行切分为多个环节，将相关的智能化工作交由人来处理。

技术实现思路

[0018]针对现有技术中的不足，本专利技术要解决的技术问题在于提供了一种用于联网设备的操纵方法，该方法基于当前已经初见端倪的人工智能大模型技术，来替代人进行规划和信息汇总，从而大幅提升人完成日常任务的效率。
[0019]为解决上述技术问题，本专利技术通过以下方案来实现：本专利技术的一种用于联网设备的操纵方法，该操纵方法系统架构，该系统架构包括：
[0020]智能大模型，具有操作脚本库及人工智能模块；
[0021]能够与网络建立信号连接的联网设备，所述联网设备下载并安装有多款应用程序APP和一智能代理，所述多款应用程序APP中，已授权APP一对一的配置有操作脚本且已授权APP与该已授权APP对应配置的操作脚本成对的安装于所述联网设备上，所述智能大模型和所述联网设备通过网络进行双向数据交互，所述联网设备与用户通过文本、语音、图像、物理按键中的一种或组合进行交互；
[0022]所述操纵方法还包括由所述系统架构所配置的使用训练方法、代理授权方法、实际使用方法；
[0023]所述使用训练方法：是训练智能代理在联网设备中找到其中的一个或多个APP，以及训练智能代理使用找到的APP完成一项或多项功能的能力，训练成功能够形成操作脚本存放到操作脚本库，供用户选择下载；
[0024]所述代理授权方法：用户设置智能代理并调用一个或多个APP的授权设置，相应被调用的APP对应的操作脚本下载到本地，同时要求用户提供APP对应的账户和密码信息，账户和密码信息是加密保存，仅当前用户的智能代理能够解密和读取；
[0025]所述实际使用方法：用户首先身份认证启动智能代理，由智能代理和人工智能模块协同处理，形成决策建议和操作，实现对用户指令的有效执行；
[0026]所述操纵方法还包括以下步骤：
[0027]S1，用户通过人机交互向联网设备上的智能代理下达用户指令，用户指令经网络传输给人工智能模块；
[0028]S2，人工智能模块判断用户指令需要规划后再执行，则产生搜集脚本，并发送智能代理直接调用相应APP执行
[0029]S3，智能代理根据搜集脚本找到APP，并确认操作脚本是否与APP201匹配，匹配执行后序操作；
[0030]S4，智能代理按照搜集脚本，打开被选中的APP，并通过APP的身份认证操作，进入APP；
[0031]S5，智能代理按照APP对应的操作脚本，对APP进行调用，完成相应的信息抓取操
作；
[0032]S6，智能代理将抓取的APP信息传递给人工智能模块，由人工智能模块根据这些信息进行智能规划，并产生决策建议，生成的决策建议构成一组执行脚本；
[0033]S7，智能代理接收人工智能模块提供的一组执行脚本，提示用户由用户选择后执行该组执行脚本中的一个脚本；
[0034]S8，智能代理根据用户选择的执行脚本中的一个脚本调用相应的APP的功能；
[0035]S9，在方案提供和方案执行阶段出现异常智能代理要提醒用户，并允许用户进行干预。
[0036]进一步的，所述操作脚本，其是联网设备状态读取和联网设备操纵动作组成的系列脚本；
[0037]其中，联网设备状态读取动作包含：基于联网设备屏幕截屏图片的APP图标的定位、虚拟按键定位、虚拟选择框定位、虚拟输入框定位，及联网设备的声音、震动、指示灯闪烁的状态读取的一种或组合；
[0038]联网设备操纵动作包括：物理按键操作、虚拟按键触控、虚拟选择框触控、文本输入的一种或组合。
[0039]进一步的，所述操作脚本，其能够保存在智能大模型中的操作脚本库，每个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于联网设备的操纵方法，其特征在于，该操纵方法系统架构，该系统架构包括：智能大模型(400)，具有操作脚本库(401)及人工智能模块(402)；能够与网络建立信号连接的联网设备(200)，所述联网设备(200)下载并安装有多款应用程序APP和一智能代理(202)，所述多款应用程序APP中，已授权APP(201)一对一的配置有操作脚本(203)且已授权APP(201)与该已授权APP(201)对应配置的操作脚本(203)成对的安装于所述联网设备(200)上，所述智能大模型(400)和所述联网设备(200)通过网络(500)进行双向数据交互，所述联网设备(200)与用户通过文本、语音、图像、物理按键中的一种或组合进行交互；所述操纵方法还包括由所述系统架构所配置的使用训练方法、代理授权方法、实际使用方法；所述使用训练方法：是训练智能代理(202)在联网设备(200)中找到其中的一个或多个APP(201)，以及训练智能代理(202)使用找到的APP(201)完成一项或多项功能的能力，训练成功能够形成操作脚本(203)存放到操作脚本库(401)，供用户选择下载；所述代理授权方法：用户(100)设置智能代理(202)并调用一个或多个APP(201)的授权设置，相应被调用的APP(201)对应的操作脚本(203)下载到本地，同时要求用户提供APP(201)对应的账户和密码信息，账户和密码信息是加密保存，仅当前用户(100)的智能代理(202)能够解密和读取；所述实际使用方法：用户(100)首先身份认证启动智能代理(202)，由智能代理(202)和人工智能模块(402)协同处理，形成决策建议和操作，实现对用户指令的有效执行；所述操纵方法还包括以下步骤：S1，用户(100)通过人机交互(300)向联网设备(200)上的智能代理(202)下达用户指令(501)，用户指令(501)经网络(500)传输给人工智能模块(402)；S2，人工智能模块(402)判断用户指令(501)需要规划后再执行，则产生搜集脚本(503)，并发送智能代理(202)直接调用相应APP(201)执行S3，智能代理(202)根据搜集脚本(503)找到APP(201)，并确认操作脚本(203)是否与APP201匹配，匹配执行后序操作；S4，智能代理(202)按照搜集脚本(503)，打开被选中的APP(201)，并通过APP(201)的身份认证操作，进入APP(201)；S5，智能代理(202)按照APP(201)对应的操作脚本(203)，对APP(201)进行调用，完成相应的信息抓取操作；S6，智能代理(202)将抓取的APP(201)信息传递给人工智能模块(402)，由人工智能模块(402)根据这些信息进行智能规划，并产生决策建议，生成的决策建议构成一组执行脚本(504)；S7，智能代理(202)接收人工智能模块(402)提供的一组执行脚本(504)，提示用户由用户选择后执行该组执行脚本(504)中的一个脚本；S8，智能代理(202)根据用户选择的执行脚本(504)中的一个脚本调用相应的APP(201)的功能；S9，在方案提供和方案执行阶段出现异常智能代理(202)要提醒用户(100)，并允许用
户(100)进行干预。2.根据权利要求1所述的一种用于联...

【专利技术属性】
技术研发人员：贺庆，
申请(专利权)人：贺庆，
类型：发明
国别省市：