基于视觉的流程自动化方法、设备及可读存储介质技术

本发明专利技术公开了一种基于视觉的流程自动化方法、设备和可读存储介质，所述基于视觉的流程自动化方法包括：接收界面图像，并对所述界面图像进行解析，获得解析结果，基于预设知识图谱模板和所述解析结果，对所述界面图像中的界面元素进行关联关系梳理，以建立界面解析图数据库，基于所述界面解析图数据库，执行预设自动化流程。解决了现有技术中RPA适用性差的技术问题。

Visual based process automation method, equipment and readable storage medium

【技术实现步骤摘要】
基于视觉的流程自动化方法、设备及可读存储介质
本专利技术涉及金融科技(Fintech)的神经网络
，尤其涉及一种基于视觉的流程自动化方法、设备及可读存储介质。
技术介绍
随着金融科技，尤其是互联网科技金融的不断发展，越来越多的技术(如分布式、区块链Blockchain、人工智能等)应用在金融领域，但金融业也对技术提出了更高的要求，如对金融业对应待办事项的分发也有更高的要求。随着计算机软件和人工智能的不断发展，RPA在日常生活中应用越来越广泛，目前，RPA(RoboticProcessAutomation，机器人流程自动化)软件在使用时必须安装在被操作机器本地，以获取页面的状态以执行必要的输入，进而完成一些机械性工作，但是对于一些不允许第三方软件安装的系统，现有的RPA软件并不具备对应的工作能力，例如，某银行内部的财务系统，需要通过特定的硬件进行登陆操作，所以无法安装RPA软件来进行自动化流程，进一步地，导致人们只能依靠人力进行这些机械性工作，造成了不必要的人力资源浪费，所以，现有技术中存在RPA适用性差的技术问题。本文档来自技高网...

【技术保护点】
1.一种基于视觉的流程自动化方法，其特征在于，所述基于视觉的流程自动化方法包括：/n接收界面图像，并对所述界面图像进行解析，获得解析结果；/n基于预设知识图谱模板和所述解析结果，对所述界面图像中的界面元素进行关联关系梳理，以建立界面解析图数据库；/n基于所述界面解析图数据库，执行预设自动化流程。/n

【技术特征摘要】
1.一种基于视觉的流程自动化方法，其特征在于，所述基于视觉的流程自动化方法包括：
接收界面图像，并对所述界面图像进行解析，获得解析结果；
基于预设知识图谱模板和所述解析结果，对所述界面图像中的界面元素进行关联关系梳理，以建立界面解析图数据库；
基于所述界面解析图数据库，执行预设自动化流程。


2.如权利要求1所述基于视觉的流程自动化方法，其特征在于，所述基于预设知识图谱模板和所述解析结果，对所述界面图像中的界面元素进行关联关系梳理，以建立界面解析图数据库的步骤包括：
基于所述解析结果，对所述界面图像中的界面元素进行关联关系梳理，获得界面元素关联关系；
基于所述界面元素关联关系，将所述界面元素输入所述预设知识图谱模板，获得界面元素知识图谱；
建立所述界面元素知识图谱对应的搜索条件模块，以基于所述界面元素知识图谱和所述搜索条件模块建立所述界面解析图数据库。


3.如权利要求2所述基于视觉的流程自动化方法，其特征在于，所述界面元素包括界面、界面区域和区域元素，所述解析结果包括图像分类结果、语义分割结果和目标检测结果，
所述基于所述解析结果，对所述界面图像中的界面元素进行关联关系梳理，获得界面元素关联关系的步骤包括：
基于所述目标检测结果，对所述区域元素进行关联关系梳理，获得区域元素关联关系；
基于所述区域元素关联关系和所述语义分割结果，对所述界面区域进行关联关系梳理，获得界面区域关联关系；
基于所述界面区域关联关系和所述图像分类结果，对所述界面进行关联关系梳理，获得所述界面元素关联关系。


4.如权利要求1所述基于视觉的流程自动化方法，其特征在于，所述基于所述界面解析图数据库，执行预设自动化流程的步骤包括：
获取所述预设自动化流程对应的操作命令，并在预设输入信息数据库提取所述操作命令对应的输入信息；
基于所述界面解析图数据库，搜索所述输入信息对应的界面元素信息，以执行预设自动化流程。


5.如权利要求1所述基于视觉的流程自动化方法，其特征在于，所述解析结果包括图像分类结果、语义分割结果和目标检测结果，
所述对所述界面图像进行解析，获得解析结果的步骤包括：
将所述界面图像输入预设图像分类模型，以对所述界面图像进行识别，获得所述图像分类结果；
将所述界面图像输入预设语义分割模型，对所述界面图像...

【专利技术属性】
技术研发人员：吴子凡，张潮宇，何元钦，陈天健，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东;44