基于视觉的流程自动化方法、设备及可读存储介质技术

本发明专利技术公开了一种基于视觉的流程自动化方法、设备和可读存储介质，所述基于视觉的流程自动化方法包括：接收界面图像，并对所述界面图像进行解析，获得解析结果，基于预设知识图谱模板和所述解析结果，对所述界面图像中的界面元素进行关联关系梳理，以建立界面解析图数据库，基于所述界面解析图数据库，执行预设自动化流程。解决了现有技术中RPA适用性差的技术问题。

Visual based process automation method, equipment and readable storage medium

【技术实现步骤摘要】
基于视觉的流程自动化方法、设备及可读存储介质
本专利技术涉及金融科技(Fintech)的神经网络
，尤其涉及一种基于视觉的流程自动化方法、设备及可读存储介质。
技术介绍
随着金融科技，尤其是互联网科技金融的不断发展，越来越多的技术(如分布式、区块链Blockchain、人工智能等)应用在金融领域，但金融业也对技术提出了更高的要求，如对金融业对应待办事项的分发也有更高的要求。随着计算机软件和人工智能的不断发展，RPA在日常生活中应用越来越广泛，目前，RPA(RoboticProcessAutomation，机器人流程自动化)软件在使用时必须安装在被操作机器本地，以获取页面的状态以执行必要的输入，进而完成一些机械性工作，但是对于一些不允许第三方软件安装的系统，现有的RPA软件并不具备对应的工作能力，例如，某银行内部的财务系统，需要通过特定的硬件进行登陆操作，所以无法安装RPA软件来进行自动化流程，进一步地，导致人们只能依靠人力进行这些机械性工作，造成了不必要的人力资源浪费，所以，现有技术中存在RPA适用性差的技术问题。
技术实现思路
本专利技术的主要目的在于提供一种基于视觉的流程自动化方法、设备和可读存储介质，旨在解决现有技术中RPA适用性差的技术问题。为实现上述目的，本专利技术实施例提供一种基于视觉的流程自动化方法，所述基于视觉的流程自动化方法应用于基于视觉的流程自动化设备，所述基于视觉的流程自动化方法包括：接收界面图像，并对所述界面图像进行解析，获得解析结果；基于预设知识图谱模板和所述解析结果，对所述界面图像中的界面元素进行关联关系梳理，以建立界面解析图数据库；基于所述界面解析图数据库，执行预设自动化流程。可选地，所述基于预设知识图谱模板和所述解析结果，对所述界面图像中的界面元素进行关联关系梳理，以建立界面解析图数据库的步骤包括：基于所述解析结果，对所述界面图像中的界面元素进行关联关系梳理，获得界面元素关联关系；基于所述界面元素关联关系，将所述界面元素输入所述预设知识图谱模板，获得界面元素知识图谱；建立所述界面元素知识图谱对应的搜索条件模块，以基于所述界面元素知识图谱和所述搜索条件模块建立所述界面解析图数据库。可选地，所述界面元素包括界面、界面区域和区域元素，所述解析结果包括图像分类结果、语义分割结果和目标检测结果，所述基于所述解析结果，对所述界面图像中的界面元素进行关联关系梳理，获得界面元素关联关系的步骤包括：基于所述目标检测结果，对所述区域元素进行关联关系梳理，获得区域元素关联关系；基于所述区域元素关联关系和所述语义分割结果，对所述界面区域进行关联关系梳理，获得界面区域关联关系；基于所述界面区域关联关系和所述图像分类结果，对所述界面进行关联关系梳理，获得所述界面元素关联关系。可选地，所述基于所述界面解析图数据库，执行预设自动化流程的步骤包括：获取所述预设自动化流程对应的操作命令，并在预设输入信息数据库提取所述操作命令对应的输入信息；基于所述界面解析图数据库，搜索所述输入信息对应的界面元素信息，以执行预设自动化流程。可选地，所述解析结果包括图像分类结果、语义分割结果和目标检测结果，所述对所述界面图像进行解析，获得解析结果的步骤包括：将所述界面图像输入预设图像分类模型，以对所述界面图像进行识别，获得所述图像分类结果；将所述界面图像输入预设语义分割模型，对所述界面图像进行语义分割，获得所述语义分割结果；将语义分割后的所述界面图像输入预设目标检测模型，对所述界面图像进行目标检测，获得所述目标检测结果。可选地，所述将所述界面图像输入预设图像分类模型，以对所述界面图像进行识别，获得所述图像分类结果的步骤包括：将所述界面图像输入所述预设图像分类模型，以对所述界面图像进行预设次数的卷积和池化交替处理，获得所述界面图像对应的多个图像分类特征图；对所述多个图像分类特征图进行全连接，获得图像分类特征向量，并提取所述图像分类特征向量中的界面信息，以获得所述图像分类结果。可选地，所述将所述界面图像输入预设语义分割模型，对所述界面图像进行语义分割，获得所述语义分割结果的步骤包括：将所述界面图像输入所述预设语义分割模型，以对所述界面图像进行编码，获得编码结果；对所述编码结果进行解码，获得所述语义分割结果。可选地，所述将语义分割后的所述界面图像输入预设目标检测模型，对所述界面图像进行目标检测，获得所述目标检测结果的步骤包括：将语义分割后的所述界面图像输入所述预设目标检测模型，以对所述界面图像中的候选区域进行框选，获得各所述候选区域对应的目标框；对各所述目标框进行预设次数的卷积和池化交替处理，获得各所述目标框对应的多个目标框特征图；对所述多个目标框特征图进行全连接，获得各所述目标框对应的目标特征向量，并提取各所述目标特征向量中的目标信息，以获得所述目标检测结果。本专利技术还提供一种基于视觉的流程自动化装置，所述基于视觉的流程自动化装置应用于基于视觉的流程自动化设备，所述基于视觉的流程自动化装置包括：解析模块，用于所述接收界面图像，并对所述界面图像进行解析，获得解析结果；梳理模块，用于所述基于预设知识图谱模板和所述解析结果，对所述界面图像中的界面元素进行关联关系梳理，以建立界面解析图数据库；执行模块，用于所述基于所述界面解析图数据库，执行预设自动化流程。可选地，所述梳理模块包括：梳理单元，用于所述基于所述解析结果，对所述界面图像中的界面元素进行关联关系梳理，获得界面元素关联关系；输入单元，用于所述基于所述界面元素关联关系，将所述界面元素输入所述预设知识图谱模板，获得界面元素知识图谱；匹配单元，用于所述建立所述界面元素知识图谱对应的搜索条件模块，以基于所述界面元素知识图谱和所述搜索条件模块建立所述界面解析图数据库。可选地，所述梳理单元包括：第一梳理子单元，用于所述基于所述目标检测结果，对所述区域元素进行关联关系梳理，获得区域元素关联关系；第二梳理子单元，用于所述基于所述区域元素关联关系和所述语义分割结果，对所述界面区域进行关联关系梳理，获得界面区域关联关系；第三梳理子单元，用于所述基于所述界面区域关联关系和所述图像分类结果，对所述界面进行关联关系梳理，获得所述界面元素关联关系。可选地，所述执行模块包括：提取单元，用于所述获取所述预设自动化流程对应的操作命令，并在预设输入信息数据库提取所述操作命令对应的输入信息；搜索单元，用于所述基于所述界面解析图数据库，搜索所述输入信息对应的界面元素信息，以执行预设自动化流程。可选地，所述解析模块包括：图像识别单元，用于所述将所述界面图像输入预设图像分类模型，以对所述界面图像进行识别，获得所述图像分类结果；语义分割单元，用于所述将所述界面图像输入本文档来自技高网...

【技术保护点】
1.一种基于视觉的流程自动化方法，其特征在于，所述基于视觉的流程自动化方法包括：/n接收界面图像，并对所述界面图像进行解析，获得解析结果；/n基于预设知识图谱模板和所述解析结果，对所述界面图像中的界面元素进行关联关系梳理，以建立界面解析图数据库；/n基于所述界面解析图数据库，执行预设自动化流程。/n

【技术特征摘要】
1.一种基于视觉的流程自动化方法，其特征在于，所述基于视觉的流程自动化方法包括：
接收界面图像，并对所述界面图像进行解析，获得解析结果；
基于预设知识图谱模板和所述解析结果，对所述界面图像中的界面元素进行关联关系梳理，以建立界面解析图数据库；
基于所述界面解析图数据库，执行预设自动化流程。


2.如权利要求1所述基于视觉的流程自动化方法，其特征在于，所述基于预设知识图谱模板和所述解析结果，对所述界面图像中的界面元素进行关联关系梳理，以建立界面解析图数据库的步骤包括：
基于所述解析结果，对所述界面图像中的界面元素进行关联关系梳理，获得界面元素关联关系；
基于所述界面元素关联关系，将所述界面元素输入所述预设知识图谱模板，获得界面元素知识图谱；
建立所述界面元素知识图谱对应的搜索条件模块，以基于所述界面元素知识图谱和所述搜索条件模块建立所述界面解析图数据库。


3.如权利要求2所述基于视觉的流程自动化方法，其特征在于，所述界面元素包括界面、界面区域和区域元素，所述解析结果包括图像分类结果、语义分割结果和目标检测结果，
所述基于所述解析结果，对所述界面图像中的界面元素进行关联关系梳理，获得界面元素关联关系的步骤包括：
基于所述目标检测结果，对所述区域元素进行关联关系梳理，获得区域元素关联关系；
基于所述区域元素关联关系和所述语义分割结果，对所述界面区域进行关联关系梳理，获得界面区域关联关系；
基于所述界面区域关联关系和所述图像分类结果，对所述界面进行关联关系梳理，获得所述界面元素关联关系。


4.如权利要求1所述基于视觉的流程自动化方法，其特征在于，所述基于所述界面解析图数据库，执行预设自动化流程的步骤包括：
获取所述预设自动化流程对应的操作命令，并在预设输入信息数据库提取所述操作命令对应的输入信息；
基于所述界面解析图数据库，搜索所述输入信息对应的界面元素信息，以执行预设自动化流程。


5.如权利要求1所述基于视觉的流程自动化方法，其特征在于，所述解析结果包括图像分类结果、语义分割结果和目标检测结果，
所述对所述界面图像进行解析，获得解析结果的步骤包括：
将所述界面图像输入预设图像分类模型，以对所述界面图像进行识别，获得所述图像分类结果；
将所述界面图像输入预设语义分割模型，对所述界面图像...

【专利技术属性】
技术研发人员：吴子凡，张潮宇，何元钦，陈天健，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东;44