集束搜索中的动态高速缓存管理制造技术

描述了用于动态修改与自然语言生成器的神经网络模型相关联的高速缓存的系统和方法。在示例中，神经网络模型在对输出进行解码并生成预测输出候选时在解码器处采用集束搜索算法。解码器利用高速缓存技术来提高神经网络操作的速度。当由神经网络模型的一个或多个高速缓存所利用的存储器量被确定为超过阈值存储器大小时，与神经网络模型的层相关联的高速缓存的层特定部分被标识。当由神经网络模型的高速缓存所利用的存储器量超过阈值存储器大小时，可以删除高速缓存的所标识的层特定部分。在示例中，高速缓存中的数据被去重复和/或删除。除。除。

【技术实现步骤摘要】
【国外来华专利技术】集束搜索中的动态高速缓存管理

技术介绍

[0001]序列到序列的生成任务，诸如文章摘要的生成、图像字幕的生成以及机器翻译，涉及多个符号序列的生成。在多个实例中，编码器是在特定词汇集上训练的。因此，已经开发了机器学习模型来解决这些任务，并且常常通过在给定的输出词的词汇表上生成概率分布来进行操作。也就是说，解码算法对概率分布进行采样并基于此类概率分布来生成最可能的词序列。解码最可能的输出序列涉及搜索所有可能的输出序列——基于它们的可能性来搜索。词汇表的大小往往是几万、几十万甚至几百万。因此，搜索问题在输出序列的长度上是指数级的。
[0002]集束搜索是一种探索广阔搜索空间以找到最有希望的解决方案的搜索算法。与贪婪解码算法不同，集束搜索算法不是仅在每个预测步骤处选择最可能的标记，而是选择具有较高概率的前k个标记来考虑。因此，在大多数情况下，利用集束搜索导致比贪婪搜索更好的结果，这使得集束搜索成为自然语言生成(NLG)任务中广泛使用的算法，诸如但不限于文本摘要、语言翻译、问题生成、回答和释义等，其中每个任务都包括集束搜索的各种应用。虽然集束搜索算法倾向于提供比贪婪搜索更本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于动态修改与自然语言生成器的神经网络模型相关联的高速缓存的系统，所述系统包括：高速缓存；处理器；以及包括指令的存储器，所述指令在由所述处理器执行时使所述处理器：确定由神经网络模型的所述高速缓存利用的存储器量超过阈值存储器大小；标识与所述神经网络模型的层相关联的所述高速缓存的层特定部分；在由所述神经网络模型的所述高速缓存利用的所述存储器量超过所述阈值存储器大小时，通过重新利用和丢弃被存储在所述高速缓存的所标识的所述层特定部分中的数据来修改所述高速缓存；以及使用经修改的所述高速缓存、利用集束搜索算法来对自然语言生成器的经编码的输入进行解码。2.根据权利要求1所述的系统，还包括指令，所述指令在由所述处理器执行时，使所述处理器：确定由所述神经网络模型的经修改的所述高速缓存利用的所述存储器量小于所述阈值存储器大小；标识与经修改的所述高速缓存中的数据不关联的所述神经网络模型的层；以及针对所标识的所述层生成数据，其中所生成的所述数据被存储在经修改的所述高速缓存的与所标识的所述层相关联的层特定部分中。3.根据权利要求2所述的系统，其中针对所标识的所述层生成数据包括：对被存储在经修改的所述高速缓存的与所标识的所述层相关联的所述层特定部分中的数据进行去重复。4.根据权利要求3所述的系统，还包括指令，所述指令在由所述处理器执行时，使所述处理器利用被存储在经修改的所述高速缓存的与所标识的所述层相关联的层特定部分中的所述数据来生成输出候选。5.根据权利要求1所述的系统，其中重新利用和丢弃被存储在所述高速缓存的所标识的所述层特定部分中的数据包括：对被存储在所述高速缓存的所述层特定部分中的数据进行去重复。6.根据权利要求5所述的系统，还包括指令，所述指令在由所述处理器执行时，使所述处理器：接收针对所述集束搜索算法中的第一集束的与所述高速缓存的所述层特定部分中的条目相关联的数据；利用所述高速缓存的所述层特定部分中的所述条目来生成第一输出候选；接收针对所述集束搜索算法中的第二集束的与所述高速缓存的所述层特定部分中的所述条目相关联的所述数据；以及利用所述高速缓存的所述层特定部分中的所述条目来生成第二输出候选。7.根据权利要求5所述的系统，其中与所述神经网络模型的层相关联的所述高速缓存的集束特定部分的数目小于由所述集束搜索算法采用的集束宽度。8.根据权利要求1所述的系统，其中所述高速缓存的所标识的所述层特定部分与所述神经网络模型的最低层相关联。
9.一种用于使用集束搜索算法并且利用自然语言生成器的神经网络模型来生成输出候选的方法，所述方法包括：在神经网络模型的编码器处接收输入；在所述神经网络模型的所述编码...

【专利技术属性】
技术研发人员：晏宇，陈久生，张若非，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：