使用深度学习用于有人值守的机器人的面部识别框架制造技术

面部识别框架可以被配置用于机器人过程自动化(RPA)以使针对应用接口的工作流自动化。在机器人被发起用于自动化工作流之后，用户的图像集可以被捕获。图像集可以由深度学习神经网络模型利用以标识面部特性。自动化工作流可以由有人值守的机器人基于具有面部特性的用户的成功验证和用户针对有人值守的机器人的凭证而被执行。人的凭证而被执行。人的凭证而被执行。

【技术实现步骤摘要】
【国外来华专利技术】使用深度学习用于有人值守的机器人的面部识别框架
[0001]相关申请的交叉引用
[0002]本申请要求于2019年10月8日提交的美国申请号16/595,694的权益，该申请的内容通过引入方式并入本文。

技术介绍

[0003]机器人过程自动化(RPA)可以使得企业平台、虚拟机(VM)配置、远程桌面、云计算、桌面应用、移动应用等中的重复操作、功能或工作流自动化。与其它数字环境类似，RPA的数据或安全漏洞可能由于诸如雇员疏忽、意外泄漏、不注意、病毒等弱点而发生。在有人值守的机器人处理机密数据的数字环境中，数据破坏风险可能特别高。
[0004]安全和认证过程可以被配置为防止数据破坏。基于面部或其它生物指标识别的认证可以被用于基于有人值守的机器人的RPA，以允许某些受限用户管理机器人。可能特别期望，为有人值守的机器人RPA使用面部识别框架和深度学习。

技术实现思路

[0005]使用针对独立或附加安全层的面部识别以用于有人值守的机器人操作的认证的方法和装置可以被配置或利用。当工作流的过程针对机器人过程自动化(RPA)而被发起时，人、用户或操作员的面部识别认证可以被执行以保护敏感数据、信息、系统等。
附图说明
[0006]从以下结合附图以示例方式给出的描述中可以得到更详细的理解，其中附图中相同的附图标记指示相同的元素，并且其中：
[0007]图1A是机器人过程自动化(RPA)开发、设计、操作或执行的图示；
[0008]图1B是RPA开发、设计、操作或执行的另一图示；
[0009]图1C是计算系统或环境的图示；
[0010]图2A是用于有人值守的机器人的RPA的面部识别框架的训练的图示；
[0011]图2B是使用面部识别框架来执行有人值守的机器人的RPA的安全层的图示；
[0012]图3是用于移动或企业RPA的验证应用的示例；
[0013]图4是监测事件来触发RPA的面部识别框架的系统的示例；
[0014]图5是用于RPA的面部识别框架的购买订单创建的示例；以及
[0015]图6是用于RPA的面部识别框架的过程。
具体实施方式
[0016]对于在本文中所描述的方法和过程，所记载的步骤可以以任何顺序无序地执行，并且未明确描述或示出的子步骤可以被执行。附加地，“耦合”或“可操作地耦合”可以指对象被链接，但在所链接的对象之间可以具有零个或多个中间对象。而且，所公开的特性/元素的任何组合可以在一个或多个实施例中被使用。当涉及使用“A或B”时，它可以包括A、B或
A和B，这可以类似地扩展到更长的列表。当使用符号X/Y时，它可以包括X或Y。备选地，当使用符号X/Y时，它可以包括X和Y。X/Y符号可以类似地被扩展到具有相同解释逻辑的较长列表。
[0017]图1A是机器人过程自动化(RPA)开发、设计、操作或执行100的图示。有时被称为工作室、开发平台、开发环境等的设计器102可以被配置为生成用于机器人执行或自动化一个或多个工作流的代码、指令、命令等。根据计算系统可以提供给机器人的(多个)选择，机器人可以确定由用户或操作员所选择的视觉显示的(多个)区域的代表数据。作为RPA的一部分，诸如正方形、矩形、圆形、多边形、自由形式等的多维形状可以被用于与计算机视觉(CV)操作或机器学习(ML)模型相关的UI机器人开发和运行时间。
[0018]可以由工作流完成的操作的非限制性示例可以是执行登录、填写表格、信息技术(IT)管理等中的一项或多项。不论应用访问或应用开发如何，为了运行用于UI自动化的工作流，机器人可能需要唯一地标识特定的屏幕元素，诸如按钮、复选框、文本字段、标签等。应用访问的示例可以是本地、虚拟、远程、云、应用访问的示例可以是本地、虚拟、远程、云、远程桌面、虚拟桌面基础结构(VDI)等。应用开发的示例可以是WIN32、Java、Flash、超文本标记语言(HTML)、HTML5、可扩展标记语言(XML)、Javascript、C#、C++、Silverlight等。
[0019]工作流可以包括但不限于任务序列、流程图、有限状态机(FSM)、全局异常处理程序等。任务序列可以是用于处理一个或多个应用或窗口之间的线性任务的线性过程。流程图可以被配置为处理复杂的业务逻辑，通过多个分支逻辑运算符、以更多样的方式来实现集成决策和连接活动。FSM被配置用于大工作流。FSM可以在其执行中使用有限数目的状态，其执行可以由条件、转换、活动等触发。全局异常处理程序可以被配置为在遇到执行错误时，确定工作流行为，以用于调试过程等。
[0020]机器人可以是应用、小应用程序、脚本等，其可以使得对底层操作系统(OS)或硬件透明的UI自动化。在部署时，一个或多个机器人可以由有时被称为编排器的指引器104管理、控制等。指引器104可以指示或命令(多个)机器人或自动化执行器106执行或监测主机、web、虚拟机、远程机器、虚拟桌面、企业平台、(多个)桌面应用、浏览器等客户端、应用或程序中的工作流。指引器104可以用作中心或半中心点，以指示或命令多个机器人使得计算平台自动化。
[0021]在某些配置中，指引器104可以被配置用于供应、部署、配置、排队、监测、日志记录和/或提供互连性。供应可以包括创建和维护(多个)机器人或自动化执行器106和指引器104之间的连接或通信。部署可以包括确保向所分配的机器人交付程序包版本以用于执行。配置可以包括机器人环境和过程配置的维护和交付。排队可以包括提供对队列和队列项的管理。监测可以包括跟踪机器人标识数据并且维护用户权限。日志记录可以包括将日志存储和索引到数据库(例如，SQL数据库)和/或另一存储机制(例如，其提供存储和快速查询大数据集的能力)。指引器104可以通过充当第三方解决方案和/或应用的集中式通信点来提供互连性。
[0022](多个)机器人或自动化执行器106可以被配置为无人值守108或有人值守110。对于无人值守的108操作，自动化可以在没有第三方输入或控制的情况下被执行。对于有人值
守的操作110，自动化可以通过从第三方组件接收输入、命令、指令、指导等而被执行。无人值守的108或有人值守的110机器人可以在移动计算或移动设备环境上运行或执行。
[0023](多个)机器人或自动化执行器106可以是运行设计器102中构建的工作流的执行代理。用于UI或软件自动化的(多个)机器人的商业示例是uipathRobots
TM
。在一些实施例中，(多个)机器人或自动化执行器106可以默认地安装微软窗口服务控制管理器(SCM)管理的服务。结果，这样的机器人可以在本地系统帐户下打开交互式窗口会话，并且具有窗口服务的权限。
[0024]在一些实施例中，(多个)机器人或自动化执行器106可以以用户模式被安装。这些机器人可以具有与安装给定机器人的用户相同的权限。该特性还可用于高密度(HD)机器人，该机器人确保在诸如HD环境中的最大性能下完全利用每个机器。
[0025]在某些配置本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算设备，包括：处理器，所述处理器被配置为操作有人值守的机器人，其中所述有人值守的机器人使针对应用接口的工作流自动化；图像传感器，所述图像传感器被配置为在所述有人值守的机器人被发起之后，捕获靠近所述计算设备的用户的图像集，其中所述图像集被提供至深度学习神经网络模型以标识面部特性；所述处理器被配置为：在由所述有人值守的机器人执行所述工作流的所述自动化的命令之后，接收所捕获的所述用户的图像；以及所述处理器被配置为处理所述工作流的所述自动化，其中所述工作流的所述自动化基于所述用户的所述面部特性的成功验证并且基于所述用户针对所述有人值守的机器人的凭证。2.根据权利要求1所述的计算设备，其中所述用户的所述面部特性和所述用户的生物指标信息的所述成功验证与安全层有关。3.根据权利要求2所述的计算设备，其中所述安全层是针对所述应用接口的所述工作流的所述自动化的一部分。4.根据权利要求1所述的计算设备，其中所述图像集在框架中被利用以更新所述深度学习神经网络模型。5.根据权利要求1所述的计算设备，其中所述图像集在框架中被利用以创建所述用户的面部生物指标信息。6.根据权利要求1所述的计算设备，其中所述图像集在框架中被利用以更新所述用户的面部生物指标信息。7.一种由计算设备执行的方法，所述方法包括：由所述计算设备操作有人值守的机器人，其中所述有人值守的机器人使针对应用接口的工作流自动化；在所述有人值守的机器人被发起之后，由所述计算设备捕获靠近所述计算设备的用户的图像集，其中所述图像集被提供至深度学习神经网络模型以标识面部特性；在由所述有人值守的机器人执行所述工作流的所述自动化的命令之后，由所述计算设备接收所捕获的所述用户的图像；以及由所述计算设备处理所述工作流的所述自动化，其中所述工作流的所述自动化基于所述用户的所述面部特性的成功验证并且基于所述用户针对所述有人值...

【专利技术属性】
技术研发人员：RA，
申请(专利权)人：尤帕斯公司，
类型：发明
国别省市：