一种基于RPA实现智能录制的方法技术

本发明专利技术公开了一种基于RPA实现智能录制的方法，通过监控并跟随鼠标及键盘两个输入端在操作页面上的操作过程，由RPA机器人处理鼠标和键盘的监控消息，实现对键盘按键和鼠标消息的指令录制；所述键盘操作的监控通过键盘监控器负责监听键盘按键；所述鼠标的监控通过鼠标监控器负责监听鼠标消息；所述监控消息的处理是将按键消息和鼠标消息添加到全局消息队列中，然后RPA机器人启动线程，监控全局消息队列，并从全局消息队列里获取一条消息进行处理，将其转换为指令。本发明专利技术可以降低RPA指令集的搭建难度与使用门槛，能够实现指令的快速的搭建，省去繁琐的拖拽和捕获元素的过程。省去繁琐的拖拽和捕获元素的过程。

【技术实现步骤摘要】
一种基于RPA实现智能录制的方法


[0001]本专利技术涉及RPA
，具体涉及一种基于RPA实现智能录制的方法。

技术介绍

[0002]RPA的全称为机器人流程自动化(Robotic Process Automation)，主要的功能就是将工作信息与业务交互通过机器人来按照自先设计的流程去执行，对于一些大量重复的、有一定逻辑规则的流程都可以用RPA来处理。目前市面上大部分的RPA产品指令繁多，且搭建一个简单的网页搜索自动化流程过于繁琐，对于一个刚接触的小白用户，完成一个常规的自动化流程门槛较高。

技术实现思路

[0003]本专利技术的目的在于，提供一种基于RPA实现智能录制的方法。本专利技术可以降低RPA指令集的搭建难度与使用门槛，能够实现指令的快速的搭建，省去繁琐的拖拽和捕获元素的过程。
[0004]为解决上述技术问题，本专利技术提供的技术方案如下：一种基于RPA实现智能录制的方法，通过监控并跟随鼠标及键盘两个输入端在操作页面上的操作过程，由RPA机器人处理鼠标和键盘的监控消息，实现对键盘按键和鼠标消息的指令录制；所述键盘操作的监控通过键盘监控器负责监听键盘按键；所述键盘监控器内部设有键盘钩子，键盘钩子中设置键盘钩子回调函数，当有键盘按下时，触发键盘钩子回调函数来处理按键消息；
[0005]所述鼠标的监控通过鼠标监控器负责监听鼠标消息；所述鼠标监控器内设有鼠标钩子，鼠标钩子中设置有鼠标钩子回调函数；当有鼠标操作时，触发鼠标钩子回调函数来处理鼠标消息；
[0006]所述监控消息的处理是将按键消息和鼠标消息添加到全局消息队列中，然后RPA机器人启动线程，监控全局消息队列，并从全局消息队列里获取一条消息进行处理，将其转换为指令。
[0007]上述的基于RPA实现智能录制的方法，所述键盘钩子回调函数为HookFunc，设置方法是接收一个int类型的结构体，通过消息响应机制判断消息类型是否是按下键或者松开键，并获取到按下的虚拟按键值；
[0008]键盘钩子回调函数处理按键消息是通过注册Windows API来获取消息，然后利用当前应用程序所在路径及环境变量方法获取到进程模块，再通过SetWindowsHookEx方法获取到返回的句柄，使当前进程模块能够监视到Winddows的WH_KETBOARD_LL消息，当有键盘按下时，触发键盘钩子回调函数来处理按键消息，并向全局消息队列发送。
[0009]前述的基于RPA实现智能录制的方法，所述鼠标消息包括鼠标移动、鼠标滚轮、双击、按下中间按钮、松开中间按钮、按下鼠标右键、松开鼠标右键、按下鼠标左键和松开鼠标左键。
[0010]前述的基于RPA实现智能录制的方法，所述鼠标钩子回调函数为HookFunc，设置方
法是接收一个int类型的结构体，通过消息响应机制判断鼠标消息类型；
[0011]鼠标钩子回调函数处理鼠标消息是通过注册Windows API来获取消息，然后利用当前应用程序所在路径及环境变量方法获取到进程模块，再通过SetWindowsHookEx方法获取到返回的句柄，使当前进程模块能够监视到Winddows的WINDOWS_HOOK_ID.WH_MOUSE_LL消息，当有鼠标操作时，触发鼠标钩子回调函数来处理鼠标消息，并向全局消息队列发送。
[0012]前述的基于RPA实现智能录制的方法，在对监控消息的处理时，当消息类型为鼠标消息，且按下鼠标的左键、右键、中间键中的任意一个时，冻结键盘观察者的字符和热键输入序列，将捕获的按键信息添加到RPA机器人的指令列表，紧接着获取鼠标点击的坐标，通过函数获取窗口句柄，通过找出某个窗口的创建者方法传入窗口句柄拿到进程的ID，如果当前进程是为RPA机器人，则不做处理，如果是其他进程，则解析本次点击的动作：当按下鼠标的左键、右键、中间键中的任意一个时，获取点击的坐标，调用UIA探测进程，捕获点击位置的元素信息，再将刚才捕获的元素添加到指令列表。
[0013]前述的基于RPA实现智能录制的方法，在对监控消息的处理时，当消息类型为按键消息，对消息进行解析，若按键为Ctrl、Alt、Win且为按下键时，清空字符输入序列，调用UIA探测进程，将热键输入元素填充为捕获到的元素；
[0014]若热键序列为空且为松开时，则清除字符序列，将捕获的按键信息添加指令列表，将None键添加到热键序列，将捕获的按键信息添加指令列表并清除热键序列；
[0015]若热键序列不为空且为松开按键时，将捕获的按键信息添加指令列表，表示为常规的按键。
[0016]与现有技术相比，本专利技术简化流程的搭建过程，对于一系列的流程操作，通过智能录制，能够快速的搭建，省去繁琐的拖拽和捕获元素的过程；本专利技术的智能录制是通过对键盘操作和鼠标消息设置监控，采用更加便捷的程序方便使得键盘操作和鼠标消息更加容易的受到监控捕捉，也便于RPA机器人处理鼠标和键盘的监控消息。此外本专利技术相对于其他RPA繁琐的指令集，能够让用户更专注于流程逻辑的梳理，不用将精力花费在指令的寻找和搭配使用。本专利技术可以更快的搭建UI操作流程，降低开发门槛，智能录制能够识别人工的鼠标键盘操作，并自动转换成RPA机器人的指令，将原本繁琐的拖拽捕获的流程，能够一口气在网页中直接操作生成。
具体实施方式
[0017]下面结合实施例对本专利技术作进一步的说明，但并不作为对本专利技术限制的依据。
[0018]实施例：一种基于RPA实现智能录制的方法，包括RPA机器人，该RPA机器人为影刀机器人，可通过网页下载安装，所述RPA机器人由指令集，流程设计器，结果调试器，流程管理器，全局变量管理器以及工具栏组成。
[0019]指令集：用于存放管理RPA指令，用户可以选择需要的指令通过双击或者拖拽的方式添加到流程设计器，进行自由设计。
[0020]流程设计器：为用户提供可视化RPA流程编辑平台。
[0021]结果调试器：用于显示程序错误信息，日志信息以及其他调试数据。
[0022]流程管理器：管理RPA流程以及Python脚本等流程文件。
[0023]全局变量管理器：管理全局变量。
[0024]工具栏：包含了流程编排、调试功能和智能录制等功能。
[0025]本实施例中，利用影刀RPA机器人进行智能录制，即通过监控并跟随鼠标及键盘两个输入端在操作页面上的操作过程，由RPA机器人处理鼠标和键盘的监控消息，实现对键盘按键和鼠标消息的指令录制；
[0026]在录制模式下，鼠标悬停在某处0.5秒，会出现菜单图标，用户可以根据需要在菜单图标选择操作，具体操作可以参见表1：
[0027]菜单选项说明获取元素信息获取元素的文本内容、网页源代码、属性等获取相似元素信息用于获取一组元素的信息输入向输入框类型的元素输入内容鼠标移动到这里鼠标会悬停到指定位置或者指定元素上点击鼠标点击，支持单击、双击和右键点击勾选复选框元素可用，支持勾选、取消勾选和反选选择下拉框下拉框元素可用，悬停在想选择的选项点击并处理弹本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于RPA实现智能录制的方法，通过监控并跟随鼠标及键盘两个输入端在操作页面上的操作过程，由RPA机器人处理鼠标和键盘的监控消息，实现对键盘按键和鼠标消息的指令录制；其特征在于：所述键盘操作的监控通过键盘监控器负责监听键盘按键；所述键盘监控器内部设有键盘钩子，键盘钩子中设置键盘钩子回调函数，当有键盘按下时，触发键盘钩子回调函数来处理按键消息；所述鼠标的监控通过鼠标监控器负责监听鼠标消息；所述鼠标监控器内设有鼠标钩子，鼠标钩子中设置有鼠标钩子回调函数；当有鼠标操作时，触发鼠标钩子回调函数来处理鼠标消息；所述监控消息的处理是将按键消息和鼠标消息添加到全局消息队列中，然后RPA机器人启动线程，监控全局消息队列，并从全局消息队列里获取一条消息进行处理，将其转换为指令。2.根据权利要求1所述的基于RPA实现智能录制的方法，其特征在于：所述键盘钩子回调函数为HookFunc，设置方法是接收一个int类型的结构体，通过消息响应机制判断消息类型是否是按下键或者松开键，并获取到按下的虚拟按键值；键盘钩子回调函数处理按键消息是通过注册Windows API来获取消息，然后利用当前应用程序所在路径及环境变量方法获取到进程模块，再通过SetWindowsHookEx方法获取到返回的句柄，使当前进程模块能够监视到Winddows的WH_KETBOARD_LL消息，当有键盘按下时，触发键盘钩子回调函数来处理按键消息，并向全局消息队列发送。3.根据权利要求1所述的基于RPA实现智能录制的方法，其特征在于：所述鼠标消息包括鼠标移动、鼠标滚轮、双击、按下中间按钮、松开中间按钮、按下鼠标右键、松开鼠标右键、按下鼠标左键和松开鼠标左键。4.根据权利要求1所述的基于RPA实现智能录制的方法，其特征在于：所述鼠标钩子回调函数...

【专利技术属性】
技术研发人员：代培，
申请(专利权)人：杭州分叉智能科技有限公司，
类型：发明
国别省市：