一种面向各类应用的软件机器人系统及其工作方法技术方案

本发明专利技术涉及一种面向各类应用的软件机器人系统及其工作方法，该系统通过对应用软件环境进行建模，然后采用深度强化学习方法设计和实现具有自我学习和决策能力的软件机器人，并提供人机交互接口。在学习完成后，根据用户下发的业务指令，软件机器人系统可以自动执行学习到的操作序列，以完成指定软件的指令任务。该系统可以应用到各类应用软件，能够简化用户的操作，使得用户在使用软件的某种功能时，无需关心具体的操作，只需要向系统下发指令，系统就能自动探索并生成最优操作序列，然后对软件进行操作完成对应的功能。

【技术实现步骤摘要】
一种面向各类应用的软件机器人系统及其工作方法
本专利技术涉及一种面向各类应用的软件机器人系统及其工作方法，属于软件机器人系统

技术介绍
伴随着信息科技的飞速发展，机器人技术的研究和应用引起了各国的重视，逐渐成为国家建设的重点领域。近年来，伴随着人工智能、大数据、云计算等新兴技术的提出，机器人流程自动化(RoboticProcessAutomation)出现在人们的视野，英文缩写为RPA，有关机器人流程自动化的讨论和研究甚嚣尘上。国际知名信息调查机构Gartner在“2020年的十大战略技术趋势”报告中预测，机器人流程自动化(RPA)的兴起是未来人类社会实现超自动化(HyperAutomation)大趋势的重要部分，同时预计到2024年，通过将超自动化技术与重新设计的操作流程相结合，企业将降低30％的运营成本。机器人流程自动化(RPA)是一种基于软件之上的自动化技术，这些工具可以像人那样在其他计算机系统的用户界面上操作。机器人流程自动化(RPA)是以机器人作为虚拟劳动力，模拟人在电脑上的不同系统之间操作行为，替代人在电脑前执行具本文档来自技高网...

【技术保护点】
1.一种面向各类应用的软件机器人系统，其特征在于，该系统包括软件环境模块、软件机器人模块和人机交互模块，/n软件环境模块用于根据软件下发的软件配置文件，构造软件模型，并将软件模型均输入到软件机器人模块和人机交互模块；/n人机交互模块用于识别用户的指令，并将用户的指令转化为软件模型中的目标状态，并将目标状态传递给软件机器人模块；/n软件机器人模块通过训练好的深度强化学习算法得到从当前状态到目标状态的最优操作序列，然后将最优操作序列返回给人机交互模块，并且将最优操作序列保存到知识库中；人机交互模块再根据软件机器人模块返回最优操作序列对软件进行操作，以完成目标指令，并将操作完成后的软件状态返回给用户...

【技术特征摘要】
1.一种面向各类应用的软件机器人系统，其特征在于，该系统包括软件环境模块、软件机器人模块和人机交互模块，
软件环境模块用于根据软件下发的软件配置文件，构造软件模型，并将软件模型均输入到软件机器人模块和人机交互模块；
人机交互模块用于识别用户的指令，并将用户的指令转化为软件模型中的目标状态，并将目标状态传递给软件机器人模块；
软件机器人模块通过训练好的深度强化学习算法得到从当前状态到目标状态的最优操作序列，然后将最优操作序列返回给人机交互模块，并且将最优操作序列保存到知识库中；人机交互模块再根据软件机器人模块返回最优操作序列对软件进行操作，以完成目标指令，并将操作完成后的软件状态返回给用户。


2.根据权利要求1所述的一种面向各类应用的软件机器人系统的工作方法，其特征在于，该方法包括步骤：
(1)根据软件下发的配置文件，软件环境模块构造软件模型,并将构造的软件模型输入到软件机器人模块和人机交互模块；
(2)人机交互模块识别用户的指令，并将用户的指令转化为软件模型中的一个目标状态，并将目标状态传递给软件机器人模块；
(3)在软件机器人模块中，将软件模型的当前状态及目标状态输入到训练好的深度强化学习算法模型中得到最优操作序列；将最优操作序列传递给人机交互模块，并且将最优操作序列保存到知识库中；
(4)人机交互模块根据软件机器人模块返回的最优操作序列对软件进行操作，以完成目标指令，并将操作完成后的软件状态返回给用户。


3.根据权利要求2所述的一种面向各类应用的软件机器人系统的工作方法，其特征在于，步骤(1)中，根据软件下发的配置文件，软件环境模块构造软件模型,并将构造的软件模型输入到软件机器人模块和人机交互模块，具体步骤为：
1-1、在软件环境模块中输入软件下发的软件配置文件，所述软件配置文件包括界面信息、菜单信息、弹窗信息和按钮信息；
1-2、根据软件配置文件，使用软件环境隐式规则和有限状态机构造机器人自主学习的软件模型，该软件模型包含各种状态的集合以及不同状态之间的转换关系，所述转换关系为执行动作，即软件在某个状态下，执行某种动作，到达另一个状态；所述软件环境隐式规则为软件状态在转换的过程中必须遵循的默认的规则；
1-3、将构造的软件模型传递给软件机器人模块和人机交互模块。


4.根据权利要求2所述的一种面向各类应用的软件机器人系统的工作方法，其特征在于，步骤(2)中，人机交互模块识别用户的指令，并将用户的指令转化为软件模型中的一个目标状态，并将目标状态传递给软件机器人模块，具体步骤包括：
2-1、将用户的指令输入到人机交互模块中；
2-2、使用训练好的自然语言处理模型将用户的指令转换为软件模型中的目标状态，目标状态为操作序列的目标状态；
2-3、将目标状态传递给软件机器人模块。


5.根据权利要求4所述的一种面向各类应用的软件机器人系统的工作方法，其特征在于，步骤2-2中，所述自然语言处理模型为词向量余弦算法，具体的操作为：
对于用户的指令和软件模型中的目标状态，用户的指令和目标状态都是一个句子，对用户的指令和目标状态进行下列操作：
1)使用已有的语料库对用户的指令和软件模型中的一个目标状态进行分词；
2)将用户的指令和一个目标状态的所有分词构成一个词集合，词集合大小为N；
3)使用0到N-1对词集合中的每个分词进行编码；
4)用户的指令和目标状态分别构...

【专利技术属性】
技术研发人员：王潇，李斌，辛国栋，黄俊恒，王佰玲，
申请(专利权)人：哈尔滨工业大学威海，
类型：发明
国别省市：山东;37