训练任务优化系统、方法及其非暂态电脑可读媒体技术方案

一训练任务优化系统，包含一处理器。该处理器用以接收一训练任务的一训练环境信息。该训练环境信息包含对应于该训练任务中的多个训练样本的信息。该处理器用以依据多个存储器影响因子、所述多个训练样本以及一神经网络计算该训练任务的一存储器分配，并判断配适于该存储器分配的一小批次尺寸。响应于该训练环境信息，该处理器用以输出该小批次尺寸，使该训练任务被执行。本公开可为该训练任务选择合适的小批次尺寸，借此实现更佳的训练效率。

【技术实现步骤摘要】
训练任务优化系统、方法及其非暂态电脑可读媒体
本公开涉及一种计算系统、计算方法以及用以计算的非暂态电脑可读媒体。详细而言，本公开涉及一种用以优化训练任务的系统、方法以及非暂态电脑可读媒体。
技术介绍
近期以来，神经网络以及深度学习被有效地应用于不同的
，例如，其可应用于机器视觉、语音辨识以及机器翻译等领域当中。然而，在以巨量的训练数据进行训练时，需同时考量计算速度以及系统限制，否则系统执行训练任务的效率将降低。
技术实现思路
本公开的一方面涉及一种训练任务优化系统。该训练任务优化系统包含一处理器。该处理器用以接收一训练任务的一训练环境信息。该训练环境信息至少包含对应于该训练任务中的多个训练样本的信息。该处理器用以依据多个存储器影响因子、所述多个训练样本以及一神经网络计算该训练任务的一存储器分配。该处理器用以判断配适于该存储器分配的一小批次尺寸。响应于该训练环境信息，该处理器用以输出该小批次尺寸。在一实施例中，该训练任务优化系统还包含一存储器。该存储器用以存储多个小批次尺寸以及多个运算效率之间对应关系的一信息，其中该小批次尺寸是依据所述多个运算效率自所述多个小批次尺寸当中选择的。在另一实施例中，该训练任务优化系统还包含一互动接口。该互动接口用以输入该训练环境信息，其中该训练环境信息还包含对应于所述多个存储器影响因子以及该神经网络的信息。在又一实施例中，该神经网络包含多个层，该处理器用以计算一第一需求空间，该第一需求空间包含指派予所述多个训练样本的空间以及指派予所述多个层对应的输出信息的空间。在再一实施例中，该处理器用以自该神经网络获取多个模型参数，该处理器并计算一第二需求空间，该第二需求空间包含指派予所述多个模型参数的空间以及指派予多个梯度值的空间。在一实施例中，所述多个层分别对应多个候选演算法，该处理器用以自所述多个候选演算法中为所述多个层中的每一者选择一演算法，该处理器并计算一第三需求空间，该第三需求空间包含指派予被选择的该演算法的运算缓冲空间。在另一实施例中，该处理器用以依据所述多个存储器影响因子、该第一需求空间、该第二需求空间以及该第三需求空间计算该存储器分配。在又一实施例中，该训练环境信息还包含该训练任务中的多个图形处理器的信息以及一预期效率的信息，该处理器用以依据该预期效率于所述多个图形处理器当中判断出一数量，并输出所述多个图形处理器的该数量。在再一实施例中，该训练环境信息还包含该训练任务中的多个图形处理器的一数量的信息、多个参数服务器的信息以及一网络频宽的信息，该处理器用以依据所述多个图形处理器的该数量以及该网络频宽于所述多个参数服务器当中判断出一数量，并输出所述多个参数服务器的该数量。本公开的另一方面涉及一种训练任务优化方法。该训练任务优化方法由一处理器所执行。该训练任务优化方法包含下列步骤：接收一训练任务的一训练环境信息，其中该训练环境信息至少包含对应于该训练任务中的多个训练样本的信息；依据多个存储器影响因子、所述多个训练样本以及一神经网络计算该训练任务的一存储器分配；判断配适于该存储器分配的一小批次尺寸；以及响应于该训练环境信息，输出该小批次尺寸。在一实施例中，该训练任务优化方法还包含：获取多个小批次尺寸以及多个运算效率之间对应关系的一信息，其中该小批次尺寸是依据所述多个运算效率自所述多个小批次尺寸当中选择的。在另一实施例中，该神经网络包含多个层，且该训练任务优化方法还包含：计算一第一需求空间，该第一需求空间包含指派予所述多个训练样本的空间以及指派予所述多个层对应的输出信息的空间。在又一实施例中，该训练任务优化方法还包含：自该神经网络获取多个模型参数；以及计算一第二需求空间，该第二需求空间包含指派予所述多个模型参数的空间以及指派予多个梯度值的空间。在再一实施例中，所述多个层分别对应多个候选演算法，且该训练任务优化方法还包含：自所述多个候选演算法中为所述多个层中的每一者选择一演算法；以及计算一第三需求空间，该第三需求空间包含指派予被选择的该演算法的运算缓冲空间。在一实施例中，该训练任务优化方法还包含：依据所述多个存储器影响因子、该第一需求空间、该第二需求空间以及该第三需求空间计算该存储器分配。在另一实施例中，该训练环境信息还包含该训练任务中的多个图形处理器的信息以及一预期效率的信息，且该训练任务优化方法还包含：依据该预期效率于所述多个图形处理器当中判断出一数量；以及输出所述多个图形处理器的该数量，使该训练任务被执行。在又一实施例中，该训练环境信息还包含该训练任务中的多个图形处理器的一数量的信息、多个参数服务器的信息以及一网络频宽的信息，且该训练任务优化方法还包含：依据所述多个图形处理器的该数量以及该网络频宽于所述多个参数服务器当中判断出一数量；以及输出所述多个参数服务器的该数量，使该训练任务被执行。本公开的又一方面涉及一种用以训练任务优化的非暂态电脑可读媒体。该非暂态电脑可读媒体包含多个电脑指令以执行下列程序：接收一训练任务的一训练环境信息，其中该训练环境信息至少包含对应于该训练任务中的多个训练样本的信息；依据多个存储器影响因子、所述多个训练样本以及一神经网络计算该训练任务的一存储器分配；判断配适于该存储器分配的一小批次尺寸；以及响应于该训练环境信息，输出该小批次尺寸。应注意的是，前述的
技术实现思路
以及后述的实施方式皆仅是举例说明而已，其主要目的为详细地解释本公开权利要求当中的内容。附图说明参照后续段落中的实施方式以及下列附图，当可更佳地理解本公开的内容：图1为根据本公开一实施例示出的训练任务优化系统的示意图；图2为根据本公开一实施例示出的不同小批次尺寸所对应的系统收敛性的示意图；图3为根据本公开一实施例示出的不同小批次尺寸所对应的系统通量的示意图；图4为根据本公开一实施例示出的训练任务优化系统的示意图；图5为根据本公开一实施例示出的训练任务优化方法的步骤流程图；图6为根据本公开一实施例示出的训练任务优化系统的示意图；以及图7为根据本公开一实施例示出的训练任务优化系统的示意图。附图标记说明：10：训练任务优化系统100：设置模块110：存储器120：处理器200：训练端200a～200d：训练端210：存储装置220：主存储器230：中央处理器240：图形处理器241～244：图形处理器300：互动接口400：训练端410；存储装置420：主存储器430：中央处理器440：图形处理器500：训练任务优化方法S510～S540：步骤流程610～640：参数服务器具体实施方式以下将以附图及详细叙述清楚说明本公开的构思，任何所属
中技术人员在了解本公开的实施例后，当可由本公开所教示的技术，加以改变及修饰，其并不脱离本公开的构思与范围。本文的用语只为描述特定实施例，而无意为本公开的限制。单数形式如“一”、“这”、“此”、“本”以及“该”，如本文所用，同样也包含多个形式。关于本文中所使用的“耦接”或“连接”，均可指两个或多个元件或装置相互直接作实体接触，或是相互间接作实体接触，亦可指两个或多个元件或装置相互操作或动作。关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。关于本文中所使用的“及/或”，是包括所述事物的任一或全部组合。本文档来自技高网...

【技术保护点】
1.一种训练任务优化系统，其特征在于，包含：一处理器，用以接收一训练任务的一训练环境信息，其中该训练环境信息包含对应于该训练任务中的多个训练样本的信息，该处理器用以依据多个存储器影响因子、所述多个训练样本以及一神经网络计算该训练任务的一存储器分配，该处理器用以判断配适于该存储器分配的一小批次尺寸，响应于该训练环境信息，该处理器用以输出该小批次尺寸。

【技术特征摘要】
2017.06.09 US 62/517,1891.一种训练任务优化系统，其特征在于，包含：一处理器，用以接收一训练任务的一训练环境信息，其中该训练环境信息包含对应于该训练任务中的多个训练样本的信息，该处理器用以依据多个存储器影响因子、所述多个训练样本以及一神经网络计算该训练任务的一存储器分配，该处理器用以判断配适于该存储器分配的一小批次尺寸，响应于该训练环境信息，该处理器用以输出该小批次尺寸。2.如权利要求1所述的训练任务优化系统，其特征在于，还包含：一存储器，用以存储多个小批次尺寸以及多个运算效率之间对应关系的一信息，其中该小批次尺寸是依据所述多个运算效率自所述多个小批次尺寸当中选择的。3.如权利要求1所述的训练任务优化系统，其特征在于，还包含：一互动接口，用以输入该训练环境信息，其中该训练环境信息还包含对应于所述多个存储器影响因子以及该神经网络的信息。4.如权利要求1所述的训练任务优化系统，其特征在于，该神经网络包含多个层，该处理器用以计算一第一需求空间，该第一需求空间包含指派予所述多个训练样本的空间以及指派予所述多个层对应的输出信息的空间。5.如权利要求4所述的训练任务优化系统，其特征在于，该处理器用以自该神经网络获取多个模型参数，该处理器并计算一第二需求空间，该第二需求空间包含指派予所述多个模型参数的空间以及指派予多个梯度值的空间。6.如权利要求5所述的训练任务优化系统，其特征在于，所述多个层分别对应多个候选演算法，该处理器用以自所述多个候选演算法中为所述多个层中的每一者选择一演算法，该处理器并计算一第三需求空间，该第三需求空间包含指派予被选择的该演算法的运算缓冲空间。7.如权利要求6所述的训练任务优化系统，其特征在于，该处理器用以依据所述多个存储器影响因子、该第一需求空间、该第二需求空间以及该第三需求空间计算该存储器分配。8.如权利要求1所述的训练任务优化系统，其特征在于，该训练环境信息还包含该训练任务中的多个图形处理器的信息以及一预期效率的信息，该处理器用以依据该预期效率于所述多个图形处理器当中判断出一数量，并输出所述多个图形处理器的该数量。9.如权利要求1所述的训练任务优化系统，其特征在于，该训练环境信息还包含该训练任务中的多个图形处理器的一数量的信息、多个参数服务器的信息以及一网络频宽的信息，该处理器用以依据所述多个图形处理器的该数量以及该网络频宽于所述多个参数服务器当中判断出一数量，并输出所述多个参数服务器的该数量。10.一种训练任务优化方法，由一处理器所执行，其特征在于，该训练任务优化方法包含：接收一训练任务的一训练环境信息...

【专利技术属性】
技术研发人员：陈俊延，邹尚轩，吴瑞琳，周俊男，童冠杰，曹嘉庆，林廷韦，宋政隆，张智威，
申请(专利权)人：宏达国际电子股份有限公司，
类型：发明
国别省市：中国台湾,71