认知虚拟检测器制造技术

本发明专利技术的各方面公开了一种用于检测和减轻对抗虚拟交互的方法、计算机程序产品和系统。该方法包括一个或多个处理器检测与虚拟代理交互的用户通信。该方法还包括一个或多个处理器基于由检测到的用户在与虚拟代理交互时执行的一个或多个动作来确定与检测到的用户通信相关联的风险水平。该方法还包括一个或多个处理器响应于确定与检测到的用户通信相关联的所确定的风险水平超过风险水平阈值，发起关于检测到的用户与虚拟代理之间的交互的缓解协议，其中缓解协议基于由检测到的用户在与虚拟代理交互时执行的动作。

Cognitive virtual detector

【技术实现步骤摘要】
【国外来华专利技术】认知虚拟检测器
本专利技术一般地涉及控制论领域，更具体地涉及人工智能。
技术介绍
在人工智能中，智能代理(IA)是自主实体，其通过传感器观察并使用致动器对环境进行作用(即，其是代理)，并将其活动引向实现目标(即，其是“合理的”，如经济学中所定义的)。智能代理还可以学习或使用知识来实现其目标。它们可以非常简单或非常复杂：反射机器，例如恒温器，是智能代理。简单的反射代理仅基于当前感知起作用，忽略感知历史的其余部分。代理功能基于条件-动作规则：如果条件，则动作。这个代理功能只有在环境完全可观察时才成功。一些反射代理还可以包含关于它们的当前状态的信息，这允许它们忽略其致动器已经被触发的条件。对于在部分可观察环境中运行的简单反射代理，无限循环通常是不可避免的。基于模型的代理可以处理部分可观察环境。其当前状态被存储在代理内部，维持描述世界上不能被看到的部分的某种结构。这种关于“世界如何工作”的知识被称为世界的模型，因此被称为“基于模型的代理”。基于模型的反射代理应当保持某种内部模型，该内部模型取决于感知历史，并且由此反映当前状态的至少一些未被观察的方面。可以通过使用内部模型来确定感知历史和动作对环境的影响。然后，它以与反射代理相同的方式选择动作。基于目标的代理通过使用“目标”信息进一步扩展基于模型的代理的能力。目标信息描述了期望的情况。这允许代理在多种可能性中进行选择的方式，选择达到目标状态的一个可能性。搜索和规划是人工智能的子域，其致力于寻找实现代理目标的动作序列。基于目标的代理更灵活，因为支持其决定的知识被明确地表示并且可以被修改。基于目标的代理仅在目标状态与非目标状态之间进行区分。可以定义特定状态的期望程度的度量。这个度量可以通过使用将状态映射到该状态的效用度量的效用函数来获得。更一般的性能度量应该允许根据不同世界状态使代理准确地有多快乐来比较这些不同世界状态。术语“效用”可用于描述代理“快乐”的程度。基于合理效用的代理选择最大化动作结果的预期效用的动作，即，给定每个结果的概率和效用，代理平均预期得出什么。基于效用的代理需要建模并跟踪其环境、涉及对感知、表示、推理和学习的大量研究的任务。学习具有的优点是，其允许代理最初在未知环境中操作，并且变得比其初始知识单独可能允许的更有能力。最重要的区别在于负责进行改进的“学习元件”和负责选择外部动作的“性能元件”之间。学习元件使用来自“评论者”的关于代理如何做的反馈，并确定在将来应如何修改性能元件以做得更好。性能元件是我们先前认为是整个代理的元件：它接收感知并决定动作。学习代理的最后一个组件是“问题产生器”，它负责建议将导致新的和信息丰富的体验的动作。虚拟代理正越来越多地部署在企业中以处理与客户或与雇员的交互。随着这些虚拟代理在企业中承担更多的功能，它们正日益成为攻击(例如，垃圾邮件、提取、中毒和规避攻击)的目标。因此，在本领域中需要解决上述问题。
技术实现思路
从第一方面来看，本专利技术提供了一种用于检测和减轻对抗虚拟交互的计算机实现的方法，该方法包括：由一个或多个处理器检测与虚拟代理交互的用户通信；由一个或多个处理器基于由检测到的用户在与虚拟代理交互时执行的一个或多个动作来确定与检测到的用户通信相关联的风险水平；以及响应于确定与检测到的用户通信相关联的所确定的风险水平超过风险水平阈值，由一个或多个处理器发起关于检测到的用户与虚拟代理之间的交互的缓解协议，其中缓解协议基于由检测到的用户在与虚拟代理交互时执行的动作。从第一方面来看，本专利技术提供了一种用于检测和减轻对抗虚拟交互的计算机系统，该计算机系统包括：一个或多个计算机处理器；一个或多个计算机可读存储介质；以及存储在一个或多个计算机可读存储介质上以供一个或多个计算机处理器中的至少一个计算机处理器执行的程序指令，程序指令包括：用于检测与虚拟代理交互的用户通信的程序指令；用于基于由检测到的用户在与虚拟代理交互时执行的一个或多个动作来确定与检测到的用户通信相关联的风险水平的程序指令；以及用于响应于确定与检测到的用户通信相关联的所确定的风险水平超过风险水平阈值而发起关于检测到的用户与虚拟代理之间的交互的缓解协议的程序指令，其中缓解协议基于由检测到的用户在与虚拟代理交互时执行的动作。从另一方面来看，本专利技术提供了一种用于检测和减轻对抗虚拟交互的计算机程序产品，该计算机程序产品包括计算机可读存储介质，该计算机可读存储介质可由处理电路读取并且存储用于由处理电路执行以执行用于执行本专利技术的步骤的方法的指令。从另一方面来看，本专利技术提供了一种存储在计算机可读介质上并且可加载到数字计算机的内部存储器中的计算机程序，包括软件代码部分，当所述程序在计算机上运行时，用于执行本专利技术的步骤。根据本专利技术的一个实施例，提供了一种用于检测和减轻对抗虚拟交互的方法。用于检测和减轻对手虚拟交互的方法可以包括一个或多个处理器检测与虚拟代理交互的用户通信。该方法还包括一个或多个处理器基于由检测到的用户在与虚拟代理交互时执行的一个或多个动作来确定与检测到的用户通信相关联的风险水平。该方法还包括一个或多个处理器响应于确定与检测到的用户通信相关联的所确定的风险水平超过风险水平阈值，发起关于检测到的用户与虚拟代理之间的交互的缓解协议，其中缓解协议基于由检测到的用户在与虚拟代理交互时执行的动作。附图说明现在，将参考优选实施例仅通过示例的方式描述本专利技术，如以下附图所示：图1是示出根据本专利技术实施例的分布式数据处理环境的功能框图。图2是描述根据本专利技术的实施例的用于检测和减轻与虚拟代理的对抗会话的程序的操作步骤的流程图。图3示出了根据本专利技术的实施例的用于检测和减轻与虚拟代理的对抗会话的程序的示例。图4是根据本专利技术实施例的计算机系统(例如图1的服务器计算机)的组件的框图。具体实施方式本专利技术的实施例认识到，虚拟代理(例如，虚拟智能代理)正越来越多地部署在企业中以处理与客户或与雇员的交互。虚拟代理正日益成为攻击和滥用的目标，例如，由机器人生成的垃圾邮件流量使带宽饱和或抬高操作成本。后端专有虚拟代理模型易受提取攻击，以便反向工程专有模型功能或从训练数据提取专有信息。持续从生产使用中学习的虚拟代理是中毒攻击的目标。在这种情况下，训练数据中的移位分布被用于驱使会话偏离路线。命令控制情形中使用的虚拟代理是攻击者学习和利用底层模型中的弱点来误导或欺骗虚拟代理的攻击目标。这样的一个例子是经由隐藏的语音命令将用户电话的控制隐蔽地接管到语音控制聊天机器人。本专利技术的实施例认识到，当前检测对虚拟代理的攻击的方法不足以检测语义应用层攻击，例如提取、中毒和规避攻击，以及对人类行为建模并以较低量进行的更复杂的垃圾邮件攻击。本专利技术的实施例提供了一种与虚拟代理一起构建的系统，该系统使用采用三个子系统的方法来监督虚拟代理的工作。本专利技术的实施例提供了一种用于分析话语并检测可疑用户行为的检测子系统。该系统包括用于检查用户行为的检测模型的集合。本专利技术的实施例提供了一种用于在提升的怀疑级别上本文档来自技高网...

【技术保护点】
1.一种用于检测和减轻对抗虚拟交互的计算机实现的方法，所述方法包括：/n由一个或多个处理器检测与虚拟代理交互的用户通信；/n由一个或多个处理器基于由检测到的用户在与所述虚拟代理交互时执行的一个或多个动作来确定与检测到的用户通信相关联的风险水平；以及/n响应于确定与检测到的用户通信相关联的所确定的风险水平超过风险水平阈值，由一个或多个处理器发起关于所述检测到的用户与所述虚拟代理之间的交互的缓解协议，其中缓解协议基于由所述检测到的用户在与所述虚拟代理交互时执行的动作。/n

【技术特征摘要】
【国外来华专利技术】20171018 US 15/786,8881.一种用于检测和减轻对抗虚拟交互的计算机实现的方法，所述方法包括：
由一个或多个处理器检测与虚拟代理交互的用户通信；
由一个或多个处理器基于由检测到的用户在与所述虚拟代理交互时执行的一个或多个动作来确定与检测到的用户通信相关联的风险水平；以及
响应于确定与检测到的用户通信相关联的所确定的风险水平超过风险水平阈值，由一个或多个处理器发起关于所述检测到的用户与所述虚拟代理之间的交互的缓解协议，其中缓解协议基于由所述检测到的用户在与所述虚拟代理交互时执行的动作。


2.根据权利要求1所述的方法，其中，发起所述缓解协议还包括：
由一个或多个处理器改变从所述虚拟代理到所述用户的通信响应；以及
由一个或多个处理器将所述用户与所述虚拟代理之间的会话引导到预定会话树中，其中所述预定会话树是隐藏与所述虚拟代理相关联的机密数据的响应协议。


3.根据权利要求1所述的方法，其中，发起所述缓解协议还包括：
由一个或多个处理器终止所述用户与所述虚拟代理之间的交互；
由一个或多个处理器向一个或多个企业网络数据库报告所述交互的数据；以及
由一个或多个处理器存储所述交互的数据，其中会话的数据可以包括一个或多个频繁使用的术语，以及被设计为从所述虚拟代理提取信息的技术。


4.根据前述权利要求中任一项所述的方法，其中，发起所述缓解协议还包括：
由一个或多个处理器确定与所述用户相关联的所述风险水平正在增加；以及
由一个或多个处理器与和所述用户相关联的所述增加的风险水平成比例地延迟从所述虚拟代理到所述用户的所述响应的时间段。


5.根据前述权利要求中任一项所述的方法，其中，发起所述缓解协议还包括：
由一个或多个处理器生成从所述虚拟代理到所述用户的较低保真度响应，其中所述较低保真度响应是在所述检测到的用户超过所述风险水平阈值之前从所述虚拟代理到所述用户的原始响应的语言精度的渐进式减弱。


6.根据前述权利要求中的任一项所述的方法，其中，发起所述缓解阈值还包括：
由一个或多个处理器识别所述用户的签名，其中所述签名与对所述虚拟代理的提取攻击相关联；以及
由一个或多个处理器生成与所述用户的通信相关联的机密信息的诱饵模型，其中所述机密信息的诱饵模型的格式化匹配机密信息的实际实例的格式化；
由一个或多个处理器将所述诱饵模型呈现给所述用户；以及
由一个或多个处理器从所述用户提取数据，其中从所述用户提取的所述数据包括由所述用户使用以提取专有数据的过程。


7.根据前述权利要求中的任一项所述的方法，其中，基于由所述检测到的用户在与所述虚拟代理交互时执行的一个或多个动作来确定与所述检测到的用户通信相关联的所述风险水平还包括：
由一个或多个处理器激活探测器以从所述用户检索更多信息；以及
由一个或多个处理器基于来自所述探测器的所述信息来更新与所述用户通信相关联的所述风险水平。


8.根据前述权利要求中任一项所述的方法，还包括：
响应于确定与检测到的用户通信相关联的所确定的风险水平超过所述风险水平阈值，由一个或多个处理器组合地发起多个减轻动作，其中，所述减轻动作是从由以下各项组成的组中选择的：生成从所述虚拟代理到所述用户的较低保真度响应，终止所述用户与所述虚拟代理之间的交互，激活探测器以从所述用户检索信息，延迟从所述虚拟代理到所述用户的响应的时间段，以及生成机密信息的诱饵模型。


9.一种用于检测和减轻对手虚拟交互的计算机程序产品，所述计算机程序产品包括：
一种计算机可读存储介质，所述计算机可读存储介质可由处理电路读取并且存储用于由所述处理电路执行以用于执行根据权利要求1至8中任一项所述的方法的指令。


10.一种存储在计算机可读介质上并且可加载到数字计算机的内部存储器中的计算机程序，包括软件代码部分，当所述程序在计算机上运行时，用于执行根据权利要求1至8中任一项所述的方法。


11.一种用于检测和减轻对手虚拟交互的计...

【专利技术属性】
技术研发人员：E杜斯特瓦尔德，GA鲍达尔特，DJ皮奥科夫斯基，JT杜比，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国;US