【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及一种用多模态大模型智能体对具备人机接口的设备进行泛用性的无侵入自动操作的方法。
技术介绍
1、随着信息技术的迅猛发展，多数业务流程已实现从纸质文档作业向基于个人计算机、信息平台及互联网的电子化操作模式转型。此类业务以复杂且高度重复的操作为核心特征，典型范例包括：基于excel工具实施数据分类整理与运算处理后的数据库录入操作；大规模文件重命名及文件夹结构调整工程；以及软件应用程序功能测试的循环执行等。由于作业流程中涉及部分主观判断环节，实现完全自动化存在显著技术障碍，目前仍主要依赖人工操作完成。然而值得注意的是，尽管这类业务对专业技术要求相对有限，但其消耗的人力资源规模却呈现出异常庞大的特征，这在企业经营维度构成了显著的效率悖论。
2、特别需要指出的是，大中型企业所采用的定制化系统与专用平台因架构复杂性，往往要求新入职员工接受长达1—2个月的岗前培训方能胜任基础工作。当发生岗位交接时，同样会产生等量级的培训成本支出。这种系统性复杂度与人力资源投入之间的正相关关系，使得开发能够替代复杂业务流程的自...
【技术保护点】
1.一种用多模态大模型智能体对具备人机接口的设备进行泛用性的无侵入自动操作的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，在所述步骤1中，所述边缘计算设备获取/识别目标设备输出信号的方式包括：
3.根据权利要求1所述的方法，其特征在于，在所述步骤2中，通过将屏幕截图中的界面元素像素坐标映射至实际物理坐标实现操作定位，具体为：边缘计算设备向服务器传输截图时，需同步发送经过分辨率适配处理后的缩放比例系数，服务器基于接收的缩放后图像分析得出操作坐标后，利用该比例系数逆向计算出目标设备实际屏幕坐标系下的精确位置，从而规避不...
【技术特征摘要】
1.一种用多模态大模型智能体对具备人机接口的设备进行泛用性的无侵入自动操作的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，在所述步骤1中，所述边缘计算设备获取/识别目标设备输出信号的方式包括：
3.根据权利要求1所述的方法，其特征在于，在所述步骤2中，通过将屏幕截图中的界面元素像素坐标映射至实际物理坐标实现操作定位，具体为：边缘计算设备向服务器传输截图时，需同步发送经过分辨率适配处理后的缩放比例系数，服务器基于接收的缩放后图像分析得出操作坐标后，利用该比例系数逆向计算出目标设备实际屏幕坐标系下的精确位置，从而规避不同设备分辨率差异导致的定位偏差。
4.根据权利要求2所述的方法，其特征在于，该方法在边缘计算设备端需预先定义包含所有人机交互接口操作的基础动作指令集，通过将底层操作原子化，使得服务器能便捷调用组合指令。
5.根据权利要求4所述的方法，其特征在于，所述人机交互接口包括计算机类hid和物理控制面板，针对计算机类...
【专利技术属性】
技术研发人员：谭振祺，
申请(专利权)人：北协福建数字科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。