一种基于图像匹配的模拟人工操作方法技术

本发明专利技术公开了一种基于图像匹配的模拟人工操作方法，包括：步骤1：选取操作界面的定位图像；所述定位图像为组件的截图；所述定位图像的特征元素唯一；步骤2：提供操作事件序列；所述操作事件序列包括对所述定位图像的操作行为；步骤3：重复步骤1、步骤2，组成一套任务脚本；步骤4：运行所述任务脚本，自动化完成办公行为。本发明专利技术提供的一种基于图像匹配的模拟人工操作方法，通过图像匹配来确定每个操作步骤，再根据指令文件来确定每个步骤如何模拟人工操作。由于每个步骤的操作区域是根据图像匹配定位，所以操作界面的位置区域变动无法对定位造成影响。位造成影响。位造成影响。

【技术实现步骤摘要】
一种基于图像匹配的模拟人工操作方法


[0001]本专利技术涉及办公自动化
，具体地说，特别涉及一种基于图像匹配的模拟人工操作方法。

技术介绍

[0002]随着现代信息技术的发展，办公与计算机技术结合而成的办公自动化技术是一种正在兴起的综合性技术。它不仅可以实现办公事务的自动化处理，而且可以极大地提高个人或者团队办公事务处理的效率。当前，无论是政府、企业还是个体经营者，可能都存在大量流程性、重复性的文档类工作，人工操作不仅枯燥无聊，还容易导致出错。自动化操作软件可以通过模拟人工操作的行为，通过计算机代替人工处理这类工作，将人从繁琐的重复性劳动中解救出来。同时机器操作可以极大降低人工操作的错误率。
[0003]目前一种主流的模拟人工操作的技术思路是通过代码记录人工操作时操作系统产生的相关事件(鼠标点击事件、键盘输入事件等)，在之后模拟人工操作过程中按序向操作系统发送已被记录的事件。这种技术一般会记录事件产生时对应的操作区域，操作区域的变化可能会导致机器模拟的行为失败。另一个问题是，对于某些前后步骤有时间要求的场景，人工在进行示范操作时，需要仔细考虑时间间隔等因素，避免出现待操作对象尚未出现而模拟事件已产生的现象，最终导致任务失败。

技术实现思路

[0004]为解决计算机模拟人工操作过程受操作区域变动和前后步骤时间差影响的问题，本专利技术实施例提供了一种基于图像匹配的模拟人工操作方法。所述技术方案如下：
[0005]一方面，提供了一种基于图像匹配的模拟人工操作方法，包括：
[0006]步骤1：选取操作界面的定位图像；所述定位图像为组件的截图；所述定位图像的特征元素唯一；
[0007]步骤2：提供操作事件序列；所述操作事件序列包括对所述定位图像的操作行为；
[0008]步骤3：重复步骤1、步骤2，组成一套任务脚本；
[0009]步骤4：运行所述任务脚本，自动化完成办公行为。
[0010]进一步地，步骤1中，选取操作界面的定位图像的具体步骤包括：
[0011]获取操作界面窗体图像；
[0012]然后通过图像比对算法计算所述窗体图像中是否存在满足所述定位图像特征的多个点位；若存在多个点位，所述定位图像的特征元素无法做到唯一定位，需要重新选择定位元素。
[0013]进一步地，步骤2中，提供操作事件序列的具体步骤包括：
[0014]先选择操作事件，再提供输入内容。
[0015]进一步地，步骤3中，组成一套任务脚本的具体步骤包括：
[0016]分解预设任务的操作步骤，按照分解顺序依次执行步骤1、步骤2，全部处理完成后
保存所述任务脚本。。
[0017]本专利技术实施例提供的技术方案带来的有益效果是：
[0018]本专利技术提供的一种基于图像匹配的模拟人工操作方法，通过图像匹配来确定每个操作步骤，再根据指令文件来确定每个步骤如何模拟人工操作。由于每个步骤的操作区域是根据图像匹配定位，所以操作界面的位置区域变动无法对定位造成影响。另外，如果软件未检测到某一步骤的定位图像，即认为当前步骤尚未开始，将会进入等待模式，等待下一步骤开始，不会模拟尚未出现的对象的待操作行为，保证任务连续和稳定。
附图说明
[0019]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1是本专利技术实施例的一种基于图像匹配的模拟人工操作方法的示意图。
具体实施方式
[0021]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地详细描述。
[0022]本实施例中提供了一种基于图像匹配的模拟人工操作方法，包括：
[0023]步骤1：选取定位图像A；定位图像A通常是某个按钮、文本框等组件的截图，需要尽可能保证A的图像特征唯一且明显。
[0024]具体地，定位检查需要先获取整个操作界面窗体图像称为S，定位元素称为A，然后通过图像比对算法计算S中是否存在满足A特征的多个点位。若存在多个点位，意味A特征元素无法做到唯一定位，需要重新选择定位元素。
[0025]步骤2：提供操作事件序列B；事件序列B中包含的内容是对定位图像A的操作行为，如按钮的点击、文本框的输入。
[0026]具体地，先选择操作事件，在提供输入内容；如键盘输入事件，可能需要提供待输入的文本。
[0027]步骤3：通过重复步骤1、2组成一套任务脚本，任务脚本的内容是为完成预设任务进行的一系列操作；
[0028]具体地，分解某个任务的操作步骤，按照分解顺序依次执行步骤1、步骤2，全部处理完成后保存该任务脚本文件。
[0029]本实施例中，以访问网页为例，访问网页需要：
[0030]1)点击浏览器；
[0031]2)地址栏中输入网址；
[0032]3)点击访问按钮。
[0033]对应的脚本是：
[0034]1)选取桌面中浏览器图标作为定位图像A1，鼠标点击事件作为事件序列B1内容，该步骤作为任务脚本的一部分称为T1。
[0035]2)选取地址栏图像作为定位图像A2，文本输入事件以及网址作为事件序列B2内容，该步骤作为任务脚本的一部分称为T2。
[0036]3)选取访问按钮图像作为定位图像A3，鼠标点击事件作为事件序列B3内容，该步骤作为任务脚本的一部分称为T3。
[0037]T1、T2、T3按序组成了访问网页的任务脚本T。
[0038]步骤4：执行任务脚本T时，桌面恢复初始图像P0，按照任务脚本T中的操作序列执行：
[0039]1)执行任务脚本T1，取出任务脚本T1中的定位图像A1，在图像P0中匹配搜索定位图像A1，当找到图像特征符合定位图像A1特征的区域，确定该区域在操作系统中的位置坐标(x1,y1)，模拟鼠标移动事件将鼠标移动到该位置(x1,y1)。通过操作系统提供的接口在该位置输入事件序列B1。全部结束后即完成了任务脚本T1执行。
[0040]2)任务脚本T1执行后桌面会形成新的图像P1。执行任务脚本T2，取出任务脚本T2中的定位图像A2，在图像P1中匹配搜索定位图像A2，找到定位图像A2后输入事件序列B2。全部结束后完成T2执行。
[0041]3)任务脚本T2执行后桌面形成新的图像P2。执行任务脚本T3，取出任务脚本T3中的定位图像A3，在图像P2中匹配搜索定位图像A3，找到定位图像A3后输入事件序列B3。全部结束后完成任务脚本T3执行。
[0042]任务脚本T1、T2、T3全部执行完成后即任务脚本T的任务完成，也就是访问某个网页这一任务完成。
[0043]具体操作时，参见图1：
[0044]1.用户打开软件，新建task文件，确定本次的办公任务，分解好任务的每个步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像匹配的模拟人工操作方法，其特征在于，包括：步骤1：选取操作界面的定位图像；所述定位图像为组件的截图；所述定位图像的特征元素唯一；步骤2：提供操作事件序列；所述操作事件序列包括对所述定位图像的操作行为；步骤3：重复步骤1、步骤2，组成一套任务脚本；步骤4：运行所述任务脚本，自动化完成办公行为。2.如权利要求1所述的一种基于图像匹配的模拟人工操作方法，其特征在于，步骤1中，选取操作界面的定位图像的具体步骤包括：获取操作界面窗体图像；然后通过图像比对算法计算所述窗体图...

【专利技术属性】
技术研发人员：吴清亮，张新鹏，李晓龙，钱振兴，秦川，
申请(专利权)人：东南数字经济发展研究院，
类型：发明
国别省市：