自动化的预测性建模与框架制造技术

提供了预测性框架的系统和方法。该预测性框架包括可适应的、可执行的神经元的多个神经层。神经元接受一个或多个输入信号，并产生可以由上层神经层使用的输出信号。输入信号由编码神经层接收，在编码神经层中，输入信号和编码神经元之间存在1：1的对应关系。输入信号在编码层处被接收，并由各种神经层连续处理。目标函数利用最顶层神经层的输出信号，根据目标来生成针对数据集的预测性结果。在一个实施例中，目标是：确定用户关于搜索结果集中的特定内容项的交互的可能性，或者确定用户关于搜索结果集中的任何内容项的交互的可能性。

【技术实现步骤摘要】
【国外来华专利技术】自动化的预测性建模与框架
技术介绍
对于搜索引擎提供商的一个挑战是要能够预测一个人与给定内容项的交互的可能性，或者，在搜索结果页面的多个项的上下文的情况下，在搜索结果页面中的所有搜索结果和/或内容项中，此人会选择哪一个或与哪一个进行交互？为了生成关于用户与搜索结果页面上的任何给定内容项、或者特定内容项的交互的概率/可能性，搜索引擎提供商在公式(或公式集)中利用并组合广泛的标准、条件和/或因素，以生成用户交互的各种概率和可能性。然而，虽然公式的结果(概率性确定)根据查询日志和训练模型而被确定，但公式是一个或多个人的人工产物。这些“编码员”从各种信号(即，对于搜索引擎可用的、与接收查询有关的标准、条件和/或因素)中选择，并且基于他们的专业知识和直觉，确定如何对所选信号进行解释、限制、组合并加权，然后产生公式(或多个公式)，该公式(或多个公式)生成表示用户交互的概率或可能性的数。显然，当公式是根据特定的人(或一组人)的专业知识、经验和直觉而被生成的时候，扩展和修改也是直觉和实验的产物。此外，如果编码员离开该组或公司，则会产生空白，并且通常会丢失关于公式“如何”和“为何”以某种方式被制定的原理知识。例如，如果一个特定信号不再可用，或者如果有附加的信号变为可用，则修改给定公式需要最初生成公式所需的专业知识、实验方法和直觉，然而最初制定公式的人员可能会或可能不会依旧能够提供帮助。简而言之，这些人工制定的公式脆弱并且无法管理。
技术实现思路
以下
技术实现思路
被提供，用于以简化的形式介绍所选择的概念，这些概念将在下文的具体实施方式中被进一步描述。该
技术实现思路
不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。根据所公开的主题的各个方面，提供了用于提供预测性框架的系统和方法。该预测性框架包括可适应的、可执行的神经元的多个神经层。神经元接受一个或多个输入信号，并产生可以由上层神经层使用的输出信号。输入信号由编码神经层接收，在编码神经层中，输入信号和编码神经元之间存在1：1的对应关系。针对数据集的输入信号在编码层处被接收，并由多个神经层连续地处理。目标函数利用最顶层神经层的输出信号，根据目标生成针对数据集的预测性结果。在一个实施例中，目标是：确定用户关于搜索结果集中的特定内容项的交互的可能性，或者确定用户关于搜索结果集中的任何内容项的交互的可能性。根据所公开的主题的附加方面，呈现了用于提供预测结果的计算机实现的框架。该框架包括多个神经层，多个神经层包括多个中间神经层和编码层。该框架还包括目标函数。关于多个神经层，每个神经层包括多个神经元，其中每个神经元是可执行对象，可执行对象接受一个或多个输入并生成输出。编码层是第一神经层，并且包括多个编码神经元，多个编码神经元具有与针对用于评估的数据集的多个输入信号的1：1的对应关系。在执行中，目标函数根据预定目标，从多个神经层中最顶层神经层的输出信号来确定预测结果。在运算中，目标函数根据预定目标，从最顶层神经层的输出信号确定预测结果，并将预测结果提供给请求方。根据所公开的主题的另外的方面，呈现了一种计算机系统，该计算机系统被配置为生成关于基础数据的预测结果。该计算机系统包括处理器和存储器，其中处理器执行在存储器中存储的、作为附加的可执行组件的一部分或与附加的可执行组件相结合的指令，来生成预测结果。附加的组件包括可执行预测性框架和结果分析模块。关于框架，该框架包括多个神经层，多个神经层中包括多个中间神经层和编码层。每个神经层包括多个神经元，其中每个神经元是可执行对象，该可执行对象接受一个或多个输入，并生成输出。编码层是第一神经层，并且包括多个编码神经元，多个编码神经元具有与针对用于评估的数据集的多个输入信号的1：1的对应关系。目标函数根据预定目标从框架的最顶层神经层的输出信号来确定预测结果。在运算中，框架通过编码层来获取输入信号，并且连续地通过多个神经层至最顶层神经层来处理输入信号，在最顶层的神经层，目标函数获取输出信号，并生成预测性数据。此外，结果分析模块获取针对数据集的预测结果，根据关于数据集的实际结果来确定预测结果的准确性，并根据预测结果和实际结果生成针对框架的校正数据。校正数据随后被反向传播通过框架，以更新预测性框架的当前模型。根据所公开主题的又一些方面，呈现了一种计算机实现方法，用于确定针对数据集的预测结果。该方法包括提供可执行的预测性框架的步骤，其中该框架根据经验证的模型来运算。该框架包括多个神经层，多个神经层中包括多个中间神经层和编码层。每个神经层包括多个神经元，其中每个神经元是可执行对象，该可执行对象接受一个或多个输入，并生成输出。编码层是第一神经层，并且包括多个编码神经元，多个编码神经元具有与针对用于评估的数据集的多个输入信号的1：1的对应关系。目标函数根据预定目标，从多个神经层的最顶层神经层的输出信号来确定预测结果。在执行中，框架通过编码层获取针对用于评估的数据集的输入信号，并且连续地通过多个神经层至最顶层神经层来处理输入信号。该方法还包括获取与数据集对应的输入信号，用于由预测性框架处理。该数据集由预测性框架处理。预测结果从目标函数被获取，并被提供给请求方。附图说明所公开的主题的前述方面和许多伴随的优点将变得更容易理解，因为通过结合以下附图来参考以下描述，它们被更好地理解，其中：图1是图示了适于实现所公开主题的各个方面的示例性网络环境的示意图；图2是图示了示例性框架关于框架的训练和验证的框图；图3是图示了示例性环境的框图，在该环境中，预测性结果关于请求数据集而被提供给计算机用户；图4是图示了适于训练根据所公开主题的各方面的预测性框架(诸如图1的框架)的示例性例程的流程图；图5是图示了用于关于实际数据集提供预测性结果的示例性例程的流程图；图6是图示了编码有用于生成请求数据集的预测性结果的指令的示例性计算机可读介质的框图；以及图7是图示了被配置为提供根据所公开主题的各方面的、用于生成预测性结果的框架的示例性计算设备的框图。具体实施方式为了清楚和定义的目的，本文档中使用的术语“示例性”应被解释为用作某事物的说明或示例，并且不应将其解释为该事物的理想或主要说明。在文体上，当词语或术语前跟“(多个)”时，该含义应被解释为表示该单词或术语的单数或复数形式，这取决于该术语或项是否只存在一个实例，或存在一个或多个实例。例如，术语“(多个)用户”应当被解释为一个或多个用户。根据本文使用的定义，术语“神经元”指的是可执行对象(软件对象、硬件对象、或两者的组合)，该可执行对象接受一个或多个输入，并生成输出。一般而言，神经元对各种输入信号执行解释性、组合性和变换性操作，以产生和输出信号。每个神经元根据预定的函数集(函数集可以是唯一的，也可以在该神经元所驻留的神经层的其他神经元之间被共享)执行，以便于标识来自输入的某些特性。每个神经元还包括状态信息，反映功能的当前状态，以及分配给输入信号的权重。神经元还可以包括先前状态信息，反映神经元的先前状态。整体而言，每个神经层的神经元共同构成预测性框架的当前模型，该模型支配了如何从输入信号生成预测数据。术语“神经层”是指神经元的布置或聚集，该布置或聚集接受来自较低层的神经元的输入/信号(或尚未被神经层处理的输入/信号)，本文档来自技高网...

【技术保护点】
1.一种用于提供预测结果的计算机实现的框架，包括：多个神经层，包括多个中间神经层和编码层，其中：每个神经层包括多个神经元，每个神经元包括可执行对象，所述可执行对象接受一个或多个输入并生成输出；以及所述编码层是第一神经层，所述编码层包括多个编码神经元，所述多个编码神经元具有与针对用于评估的数据集的多个输入信号的1：1的对应关系；以及目标函数，所述目标函数在执行中根据预定目标，从所述多个神经层的最顶层神经层的输出信号来确定预测结果；其中，在执行中，所述框架通过所述编码层来获取针对用于评估的数据集的输入信号，并且连续地通过所述多个神经层至最顶层神经层来处理所述输入信号；以及其中，所述目标函数根据所述预定目标，从所述最顶层神经层的所述输出信号来确定所述预测结果，并将所述预测结果提供给请求方。

【技术特征摘要】
【国外来华专利技术】2016.02.12 US 62/294,792;2016.08.02 US 15/226,1961.一种用于提供预测结果的计算机实现的框架，包括：多个神经层，包括多个中间神经层和编码层，其中：每个神经层包括多个神经元，每个神经元包括可执行对象，所述可执行对象接受一个或多个输入并生成输出；以及所述编码层是第一神经层，所述编码层包括多个编码神经元，所述多个编码神经元具有与针对用于评估的数据集的多个输入信号的1：1的对应关系；以及目标函数，所述目标函数在执行中根据预定目标，从所述多个神经层的最顶层神经层的输出信号来确定预测结果；其中，在执行中，所述框架通过所述编码层来获取针对用于评估的数据集的输入信号，并且连续地通过所述多个神经层至最顶层神经层来处理所述输入信号；以及其中，所述目标函数根据所述预定目标，从所述最顶层神经层的所述输出信号来确定所述预测结果，并将所述预测结果提供给请求方。2.根据权利要求1所述的计算机实现的框架，其中，在执行中，所述框架还：迭代地处理多个训练数据集，并且将来自每个训练数据集的预测结果提供给结果分析过程；接收来自所述结果分析过程的校正数据；以及反向传播所述校正数据通过所述框架，以更新所述框架的当前模型。3.根据权利要求2所述的计算机实现的框架，其中所述框架的所述当前模型是满足预定准确度阈值的、经验证的模型。4.根据权利要求3所述的计算机实现的框架，其中第二神经层包括压缩层，所述压缩层包括多个压缩神经元，所述多个压缩神经元具有与来自所述编码层的所述多个编码神经元的多个输出信号的1：1的对应关系，来自所述编码层的所述多个编码神经元的所述多个输出信号作为到所述压缩神经元的输入信号。5.根据权利要求4所述的计算机实现的框架，其中每个压缩神经元被配置为将所述输入信号的维度降低到更密集的形式。6.根据权利要求4所述的计算机实现的框架，其中第三神经层包括残差层，所述残差层包括多个残差神经元，所述多个残差神经元具有与来自所述压缩层的所述多个压缩神经元的多个输出信号的1：1的对应关系，来自所述压缩层的所述多个压缩神经元的所述多个输出信号作为到所述残差神经元的输入信号。7.根据权利要求6所述的计算机实现的框架，其中每个残差神经元被配置为在两层修正线性操作(ReLU)被应用到所述输入信号之后，加回所述输入信号的元素，从而标识每元素的最大值运算符。8.根据权利要求1所述的计算机实现的框架，其中所述目标函数的预先确定的目标是：确定用户关于搜索结果集中的特定内容项的交互的可能性。9.根据权利要求1所述的计算机实现的框架，其中所述搜索结果集的所述特定内容项包括所述搜索结果集中的广告。10.根据权利要求1所述的计算机实现的框架，其中所述搜索结果集中的所述特定内容项包括所述搜索结果集中的赞助搜索结果。11.根据权利要求1所述的计算机实现的框架，其中所述目标函数的所述预定目标是：确定用户关于搜...

【专利技术属性】
技术研发人员：单瀛，T·R·霍恩斯，焦健，王海晶，俞栋，J·毛，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US