自动化流程的异常排除方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种自动化流程的异常排除方法、装置、设备及存储介质，所述方法包括：在自动化流程执行过程中，对当前界面的图像进行界面逻辑解析得到界面元素信息；根据界面元素信息在当前界面中匹配自动化流程当前的待操作元素；若在当前界面中未匹配到待操作元素，则根据界面元素信息中的元素间关系信息分析确定异常原因；采取与异常原因匹配的异常处理方式对当前界面进行处理。本发明专利技术中通过对当前界面的图像进行界面逻辑解析，根据解析得到的界面元素信息进行元素未匹配成功后的异常原因分析，使得在无法拿到网页源码、网页源码与页面显示不符以及软件不提供接口的情况下也可以正常处理流程执行过程中出现的异常，增大了流程的执行成功率。

Troubleshooting methods, devices, equipment and storage media for automated processes

【技术实现步骤摘要】
自动化流程的异常排除方法、装置、设备及存储介质
本专利技术涉及人工智能
，尤其涉及一种自动化流程的异常排除方法、装置、设备及存储介质。
技术介绍
机器人流程自动化(RoboticProcessAutomation，RPA)是以机器人作为虚拟劳动力，依据预先设定的程序与现有用户系统进行交互并完成预期的任务。现有的RPA技术一般包含三个步骤：录屏、流程制定和流程执行，通过录制操作者的鼠标和键盘的动作步骤形成自动化流程，再次运行自动化流程的时候就会重新执行录制过程中的这些操作，流程制定是指用户可以根据需要修改自动化流程的参数，比如鼠标点击的位置、键盘输入的值。流程的执行过程中，可能会出现因界面改版、弹窗等原因造成操作异常，目前有通过网页源码或者软件接口获取某些异常信息以解决异常的方案，但在无法拿到网页源码、网页脚本与页面显示不符以及软件不提供接口的情况下，无法正常获取到这些异常信息，导致无法排除异常只能中断流程，流程的执行成功率低。
技术实现思路
本专利技术的主要目的在于提供一种自动化流程的异常排除方法、装置、设备及存储介质，旨在解决在无法拿到网页源码、网页脚本与页面显示不符以及软件不提供接口的情况下，无法正常获取到异常信息从而无法解决异常的技术问题。为实现上述目的，本专利技术提供一种自动化流程的异常排除方法，所述自动化流程的异常排除方法包括：在自动化流程执行过程中，对当前界面的图像进行界面逻辑解析得到界面元素信息；根据所述界面元素信息在当前界面中匹配所述自动化流程当前的待操作元素；若在当前界面中未匹配到所述待操作元素，则根据所述界面元素信息中的元素间关系信息分析确定异常原因；采取与所述异常原因匹配的异常处理方式对当前界面进行处理。可选地，所述界面元素信息还包括当前界面中各元素的类别信息和属性信息，所述根据所述界面元素信息在当前界面中匹配所述自动化流程当前的待操作元素的步骤包括：从当前界面的各元素中查找类别信息和属性信息与所述自动化流程当前的待操作元素匹配的元素；若查找到，则确定在当前界面中匹配到所述待操作元素。可选地，所述采取与所述异常原因匹配的异常处理方式对当前界面进行处理的步骤包括：当所述异常原因是当前界面出现异常弹窗时，关闭所述异常弹窗；对关闭异常弹窗后的界面继续进行界面逻辑解析操作。可选地，所述对当前界面的图像进行界面逻辑解析得到界面元素信息的步骤之前，还包括：当在所述自动化流程执行过程中执行打开页面的操作后，对当前界面的图像进行界面初识别，确定当前界面是否正常；所述对当前界面的图像进行界面逻辑解析得到界面元素信息的步骤，包括：若确定当前界面正常，则对当前界面的图像进行界面逻辑解析得到界面元素信息。可选地，所述对当前界面进行界面初识别，确定当前界面是否正常的步骤包括：根据所打开页面的页面类型确定界面初识别的识别区域；在当前界面图像的所述识别区域内识别页面加载标识；若所述页面加载标识的类型是加载完成，则确定当前界面正常。可选地，所述若所述页面加载标识的类型是加载完成，则确定当前界面正常的步骤包括：若所述页面加载标识的类型是加载完成，则在当前界面的图像中查找是否存在页面丢失类信息；若在当前界面的图像中未查找到页面丢失类信息，则确定当前界面正常。可选地，所述采取与所述异常原因匹配的异常处理方式对当前界面进行处理的步骤包括：当根据所述异常原因确定无法自动处理异常时，中断所述自动化流程并输出携带所述异常原因的提示信息。此外，为实现上述目的，本专利技术还提供一种自动化流程的异常排除装置，所述自动化流程的异常排除装置包括：解析模块，用于在自动化流程执行过程中，对当前界面的图像进行界面逻辑解析得到界面元素信息；匹配模块，用于根据所述界面元素信息在当前界面中匹配所述自动化流程当前的待操作元素；分析模块，用于若在当前界面中未匹配到所述待操作元素，则根据所述界面元素信息中的元素间关系信息分析确定异常原因；处理模块，用于采取与所述异常原因匹配的异常处理方式对当前界面进行处理。此外，为实现上述目的，本专利技术还提供一种自动化流程的异常排除设备，所述自动化流程的异常排除设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的自动化流程的异常排除程序，所述自动化流程的异常排除程序被所述处理器执行时实现如上所述的自动化流程的异常排除方法的步骤。此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有自动化流程的异常排除程序，所述自动化流程的异常排除程序被处理器执行时实现如上所述的自动化流程的异常排除方法的步骤。本专利技术中，通过在自动化流程执行过程中，对当前界面的图像进行界面逻辑解析得到界面元素信息；根据界面元素信息在当前界面中匹配自动化流程当前的待操作元素；若在当前界面中未匹配到待操作元素，则根据界面元素信息中的元素间关系信息分析确定异常原因；采取与异常原因匹配的异常处理方式对当前界面进行处理，以排除异常。由于是对当前界面的图像进行界面逻辑解析，并根据解析得到的界面元素信息进行待操作元素的匹配，以及元素未匹配成功后的异常原因分析，使得在无法拿到网页源码、网页源码与页面显示不符以及软件不提供接口的情况下也可以正常处理流程执行过程中出现的异常，增大了流程的执行成功率。附图说明图1是本专利技术实施例方案涉及的硬件运行环境的结构示意图；图2为本专利技术自动化流程的异常排除方法第一实施例的流程示意图；图3为本专利技术实施例涉及的一种自动化流程执行流程示意图；图4为本专利技术自动化流程的异常排除装置较佳实施例的功能示意图模块图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术提供了一种自动化流程的异常排除设备，参照图1，图1是本专利技术实施例方案涉及的硬件运行环境的结构示意图。需要说明的是，图1即可为自动化流程的异常排除设备的硬件运行环境的结构示意图。本专利技术实施例自动化流程的异常排除设备可以是PC，也可以是智能手机、智能电视机、平板电脑、便携计算机等具有显示功能的终端设备。如图1所示，该自动化流程的异常排除设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例本文档来自技高网...

【技术保护点】
1.一种自动化流程的异常排除方法，其特征在于，所述自动化流程的异常排除方法包括：/n在自动化流程执行过程中，对当前界面的图像进行界面逻辑解析得到界面元素信息；/n根据所述界面元素信息在当前界面中匹配所述自动化流程当前的待操作元素；/n若在当前界面中未匹配到所述待操作元素，则根据所述界面元素信息中的元素间关系信息分析确定异常原因；/n采取与所述异常原因匹配的异常处理方式对当前界面进行处理。/n

【技术特征摘要】
1.一种自动化流程的异常排除方法，其特征在于，所述自动化流程的异常排除方法包括：
在自动化流程执行过程中，对当前界面的图像进行界面逻辑解析得到界面元素信息；
根据所述界面元素信息在当前界面中匹配所述自动化流程当前的待操作元素；
若在当前界面中未匹配到所述待操作元素，则根据所述界面元素信息中的元素间关系信息分析确定异常原因；
采取与所述异常原因匹配的异常处理方式对当前界面进行处理。


2.如权利要求1所述的自动化流程的异常排除方法，其特征在于，所述界面元素信息还包括当前界面中各元素的类别信息和属性信息，
所述根据所述界面元素信息在当前界面中匹配所述自动化流程当前的待操作元素的步骤包括：
从当前界面的各元素中查找类别信息和属性信息与所述自动化流程当前的待操作元素匹配的元素；
若查找到，则确定在当前界面中匹配到所述待操作元素。


3.如权利要求1所述的自动化流程的异常排除方法，其特征在于，所述采取与所述异常原因匹配的异常处理方式对当前界面进行处理的步骤包括：
当所述异常原因是当前界面出现异常弹窗时，关闭所述异常弹窗；
对关闭异常弹窗后的界面继续进行界面逻辑解析操作。


4.如权利要求1所述的自动化流程的异常排除方法，其特征在于，所述对当前界面的图像进行界面逻辑解析得到界面元素信息的步骤之前，还包括：
当在所述自动化流程执行过程中执行打开页面的操作后，对当前界面的图像进行界面初识别，确定当前界面是否正常；
所述对当前界面的图像进行界面逻辑解析得到界面元素信息的步骤，包括：
若确定当前界面正常，则对当前界面的图像进行界面逻辑解析得到界面元素信息。


5.如权利要求4所述的自动化流程的异常排除方法，其特征在于，所述对当前界面进行界面初识别，确定当前界面是否正常的步骤包括：
根据所打开页面的页面类型确定界面初识别的识别区域；
在当...

【专利技术属性】
技术研发人员：虢齐，刘梦尧，何元钦，吴子凡，张潮宇，黄阳琨，陈天健，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东;44