流程自动化文件生成方法技术

本说明书实施例提供流程自动化文件生成方法，所述流程自动化文件生成方法包括：获取用户针对目标任务的操作流程视频；对所述操作流程视频中的多个视频帧进行检测，得到各视频帧对应的操作位置信息和页面可操作区域；基于所述各视频帧对应的操作位置信息和页面可操作区域，确定多个初始操作；根据各初始操作分别对应的关联视频帧变化程度，从所述多个初始操作中筛选出目标操作；基于所述目标操作对应的操作顺序，生成所述目标任务对应的目标流程自动化文件。可以有效降低流程自动化文件生成的开发门槛，减少流程自动化文件生成的开发运维成本，提高流程自动化文件生成的开发效率，可以有效避免流程自动化文件失效的问题。可以有效避免流程自动化文件失效的问题。可以有效避免流程自动化文件失效的问题。

【技术实现步骤摘要】
流程自动化文件生成方法


[0001]本说明书实施例涉及计算机
，特别涉及一种流程自动化文件生成方法。

技术介绍

[0002]机器人流程自动化(RPA，RoboticProcessAutomation)是一种应用计算机技术和自动化程序完成各类企业办公需求，实现企业数字化转型的有效技术，目前被广泛运用在银行、保险、医疗、电商和物流等行业。
[0003]现有技术中，机器人流程自动化的实现，一般在RPA开发平台通过编写代码或者拖拽可视化组件方式，串联目标任务场景的操作路径，完成流程自动化脚本开发，使得脚本可以自动地完成预期操作。然而，该方法开发效率低。因此，亟需一种有效的方案以解决上述问题。

技术实现思路

[0004]有鉴于此，本说明书施例提供了一种流程自动化文件生成方法。本说明书一个或者多个实施例同时涉及一种流程自动化文件生成装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
[0005]根据本说明书实施例的第一方面，提供了一种流程自动化文件生成方法，包括：
[0006]获取用户针对目标任务的操作流程视频；
[0007]对所述操作流程视频中的多个视频帧进行检测，得到各视频帧对应的操作位置信息和页面可操作区域；
[0008]基于所述各视频帧对应的操作位置信息和页面可操作区域，确定多个初始操作；
[0009]根据各初始操作分别对应的关联视频帧变化程度，从所述多个初始操作中筛选出目标操作；
[0010]基于所述目标操作对应的操作顺序，生成所述目标任务对应的目标流程自动化文件。
[0011]根据本说明书实施例的第二方面，提供了一种流程自动化文件生成装置，包括：
[0012]获取模块，被配置为获取用户针对目标任务的操作流程视频；
[0013]检测模块，被配置为对所述操作流程视频中的多个视频帧进行检测，得到各视频帧对应的操作位置信息和页面可操作区域；
[0014]第一确定模块，被配置为基于所述各视频帧对应的操作位置信息和页面可操作区域，确定多个初始操作；
[0015]筛选模块，被配置为根据各初始操作分别对应的关联视频帧变化程度，从所述多个初始操作中筛选出目标操作；
[0016]生成模块，被配置为基于所述目标操作对应的操作顺序，生成所述目标任务对应的目标流程自动化文件。
[0017]根据本说明书实施例的第三方面，提供了一种计算设备，包括：
[0018]存储器和处理器；
[0019]所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述流程自动化文件生成方法的步骤。
[0020]根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述流程自动化文件生成方法的步骤。
[0021]根据本说明书实施例的第五方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述流程自动化文件生成方法的步骤。
[0022]本说明书提供了一种流程自动化文件生成方法，获取用户针对目标任务的操作流程视频；对所述操作流程视频中的多个视频帧进行检测，得到各视频帧对应的操作位置信息和页面可操作区域；基于所述各视频帧对应的操作位置信息和页面可操作区域，确定多个初始操作；根据各初始操作分别对应的关联视频帧变化程度，从所述多个初始操作中筛选出目标操作；基于所述目标操作对应的操作顺序，生成所述目标任务对应的目标流程自动化文件。通过视频理解的方式，得到用户操作路径，可以有效降低流程自动化文件生成的开发门槛，减少流程自动化文件生成的开发运维成本，提高流程自动化文件生成的开发效率，通过检测操作位置信息和页面可操作区域，可以有效避免流程自动化文件失效的问题，例如元素微调，页面变化和分辨率变化等。
附图说明
[0023]图1是本说明书一个实施例提供的一种流程自动化文件生成系统下流程自动化文件生成的处理流程图；
[0024]图2是本说明书一个实施例提供的另一种流程自动化文件生成系统的框架图；
[0025]图3是本说明书一个实施例提供的一种流程自动化文件生成方法的流程图；
[0026]图4A是本说明书一个实施例提供的一种流程自动化文件生成方法中对视频帧进行检测的流程图；
[0027]图4B是本说明书一个实施例提供的另一种流程自动化文件生成方法的流程图；
[0028]图4C是本说明书一个实施例提供的一种流程自动化文件生成方法中确定目标操作的流程图；
[0029]图5是本说明书一个实施例提供的一种流程自动化文件生成方法的处理过程流程图；
[0030]图6是本说明书一个实施例提供的一种流程自动化文件生成装置的结构示意图；
[0031]图7是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
[0032]在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
[0033]在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地
表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0034]应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0035]首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
[0036]机器人流程自动化(RPA，RoboticProcessAutomation)，通过程序自动地完成拟人操作，例如打开网页，点击按钮，输入信息等，实现办公自动化。
[0037]光学字符识别(OCR，Optical Character Recognition)，是一种有效的文字检测或文字识别技术。
[0038]自动操作路径：完成一件任务时的操作顺序和内容，例如“先输入文本，再点击查询按钮”。
[0039]视频理解：输入一段视频，通过计算机程序和算法理解视频内容，例如在什么时间点发生了什么事情。
[0040]页面元素检测：得到网页或客户端的元素位置和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种流程自动化文件生成方法，包括：获取用户针对目标任务的操作流程视频；对所述操作流程视频中的多个视频帧进行检测，得到各视频帧对应的操作位置信息和页面可操作区域；基于所述各视频帧对应的操作位置信息和页面可操作区域，确定多个初始操作；根据各初始操作分别对应的关联视频帧变化程度，从所述多个初始操作中筛选出目标操作；基于所述目标操作对应的操作顺序，生成所述目标任务对应的目标流程自动化文件。2.根据权利要求1所述的方法，所述根据各初始操作分别对应的关联视频帧变化程度，从所述多个初始操作中筛选出目标操作之前，还包括：将与指定视频帧相邻的预设数目视频帧，确定为指定初始操作对应的多个关联视频帧，其中，所述指定视频帧为所述指定初始操作的操作时间对应的视频帧，所述指定初始操作为任一初始操作。3.根据权利要求1或2所述的方法，所述关联视频帧包括参考视频帧和至少一个验证视频帧；所述根据各初始操作分别对应的关联视频帧变化程度，从所述多个初始操作中筛选出目标操作，包括：针对第一初始操作，根据所述第一初始操作对应的参考视频帧和至少一个验证视频帧，确定所述参考视频帧分别与各验证视频帧的差异度，其中，所述第一初始操作为任一初始操作，所述差异度表征所述变化程度；在所述差异度超过预设差异度阈值的情况下，确定所述第一初始操作为目标操作。4.根据权利要求1所述的方法，所述基于所述各视频帧对应的操作位置信息和页面可操作区域，确定多个初始操作，包括：基于所述各视频帧分别对应的操作位置信息和页面可操作区域，确定多个备选操作；根据所述各视频帧的排列顺序，对所述多个备选操作进行去重处理，得到多个初始操作。5.根据权利要求4所述的方法，所述基于所述各视频帧分别对应的操作位置信息和页面可操作区域，确定多个备选操作，包括：根据第一视频帧对应的操作位置信息，识别所述第一视频帧对应的操作是否位于所述第一视频帧对应的页面可操作区域内，其中，所述第一视频帧为任一视频帧；若是，则确定所述第一视频帧对应一个备选操作。6.根据权利要求4或5所述的方法，所述根据所述各视频帧的排列顺序，对所述多个备选操作进行去重处理，得到多个初始操作，包括：根据所述各视频帧的排列顺序，确定相邻的多个目标视频帧的相似度，其中，所述目标视频帧为对应有备选操作的视频帧；在所述相似度大于预设相似度阈值的情况下，对所述多个目标视频帧对应的备选操作进行去重处理，得到多个初始操作。7.根据权利要求6所述的方法，所述页面可操作区域携带有页面元素信息；所述确定相邻的多个目标视频帧的相似度，包括：
针对相邻的第一目标视频帧和第二目标视频帧，根据所述第一目标视频帧对应的第一操作位置信息和所述第二目标视频帧对应的第二操作位置信息，确定位置距离，和/或，根据所述第一目标视频帧对应的第...

【专利技术属性】
技术研发人员：熊紫华，郭胜，方珂，晋欢欢，林水镜，韩冰，
申请(专利权)人：浙江网商银行股份有限公司，
类型：发明
国别省市：