本发明公开了基于大模型与界面联合驱动的终端控制系统及控制方法，控制系统包括外设智能体载体、指令解析与任务生成模块、终端界面状态采集与反馈模块、任务执行控制模块，所述外设智能体载体包括输入感知单元、连接模块、处理芯片；本发明的终端控制系统...

本发明公开了一种基于语义意图与界面状态融合的多步骤任务生成方法，通过将用户自然语言指令与实时UI控件层级结构联合编码，引导大语言模型生成可跨应用执行的结构化操作序列。该方法包含异常状态反馈与增量重生成机制，可动态适应多变的界面环境，适用...