【技术实现步骤摘要】
将外部应用程序集成到深度神经网络中
本专利技术涉及深度神经网络(DNN)领域。
技术介绍
DNN的端到端学习在过去几年中已经占据了一席之地，在包括计算机视觉、文本分析和语音识别在内的多个领域实现了最先进的性能。在端到端学习中，学习过程可以在单个端到端步骤中训练分类器，这消除了对复杂的多阶段机器学习流水线的需要。行业面临的挑战之一是将DNN与外部应用程序集成。使DNN能够(例如，通过应用程序编程接口(API))使用外部应用程序或与外部应用程序交互可以产生优越的解决方案，因为外部应用程序提供的功能或逻辑可以被包括在DNN中，或者成为DNN的一部分。访问API是经由API的输入和输出参数完成的。例如，考虑简单的问题：“7.2大于4.5吗？”。可以通过让DNN处理自然语言处理部分并访问简单的API(例如通过运行确定哪个值更大的简单函数)来解决逻辑部分来回答该问题。这可以被称为“混合”解决方案。通过使用已经在外部应用程序中实现的分析技术和封闭算法，该类型的解决方案可以胜过纯DNN模型。这样的外部应用程序不需要学习，因此使用它们...
【技术保护点】
1.一种方法，包括：/n在深度神经网络DNN的端到端训练期间，操作可微分的估计器子网以估计外部软件应用程序的功能。/n
【技术特征摘要】
20180614 US 16/008,0581.一种方法，包括：
在深度神经网络DNN的端到端训练期间，操作可微分的估计器子网以估计外部软件应用程序的功能。
2.如权利要求1所述的方法，还包括：
在所训练的DNN进行推理期间，通过启用所述DNN与所述外部软件应用程序之间的API通信，将所述可微分的估计器子网替换为所述外部软件应用程序的功能。
3.如权利要求2所述的方法，其中所述端到端训练具有随机梯度下降SGD。
4.如权利要求2所述的方法，其中所述外部软件应用程序的所述功能是不可微分的。
5.如权利要求2所述的方法，其中所述外部软件应用程序的所述功能是可微分的。
6.如权利要求2所述的方法，还包括操作至少一个选择器子网以：
确定对所述外部软件应用程序的应用程序编程接口API调用；以及
从到所述DNN的输入中提取合适的API自变量。
7.如权利要求6所述的方法，还包括操作适应函数以：
使所述选择器子网的输出格式适应所述API所需的输入格式；以及
在推理期间，使所述API的输出格式适应所述DNN的更高网络层所需的输入格式。
8.如权利要求2所述的方法，其中所述可微分的估计器子网将不同的数据表示嵌入到相同的向量空间中，以使所述DNN能够互换地处理所述不同的数据表示。
9.如权利要求8所述的方法，其中，所述不同的数据表示包括数字和文本。
10.如权利要求2所述的方法，其中：
在所述DNN的端到端训练期间，所述可...
【专利技术属性】
技术研发人员：B·卡尔梅丽，G·哈达什，E·科尔曼伊，O·拉维，G·雷维，O·萨尔沙尔罗姆，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。