应用于在线系统中的神经网络处理方法及装置制造方法及图纸

本发明专利技术公开了应用于在线系统中的神经网络处理方法及装置，所述方法包括：获取神经网络模型和训练样本，基于所述训练样本训练所述神经网络模型以得到目标网络；通过固化模型图的方式得到所述目标网络对应的模型文件，所述模型文件包括所述目标网络的网络结构和网络参数；在在线系统中加载并运行所述模型文件，所述在线系统包括所述模型文件的运行环境。本发明专利技术通过在神经网络的离散训练、固化加载、在线应用等各个环节均进行改进，保证了线上系统所应用的神经网络和离散环境训练得到的神经网络的一致性，降低了在线开发成本，缩短离散环境训练得到的神经网络的上线开发周期，并且显著提升了其线上响应速度。

【技术实现步骤摘要】
应用于在线系统中的神经网络处理方法及装置
本专利技术涉及神经网络领域，尤其涉及应用于在线系统中的神经网络处理方法及装置。
技术介绍
随着神经网络在学术研究领域的不断发展，其能够使用的应用场景也越来越多，但是神经网络结构复杂，其原生的离线训练环境并不能被直接移植到业务环境之中，因此难以将训练好的神经网络直接应用于业务场景之中去进行前向预测。神经网络的离线训练和前向预测在工程上的分离为其应用带来了新的问题。为了解决这一技术问题，现有技术可以使用开源框架进行神经网络的离线训练，并通过在实际的业务场景中重构训练好的神经网络，并基于矩阵运算库执行前向预测。但是基于矩阵库实现网络结构灵活性不够，很难保证业务场景中的神经网络与离线训练的神经网络的一致性，且耗时较大。
技术实现思路
本专利技术提供了应用于在线系统中的神经网络处理方法、装置及基于神经网络的推荐系统。第一方面，本专利技术提供了一种应用于在线系统中的神经网络处理方法，所述方法包括：获取神经网络模型和训练样本，基于所述训练样本训练所述神经网络模型以得到目标网络；通过固化模型图的方式得到所述目标网络对应的模型文件，所述模型文件包括所述目标网络的网络结构和网络参数；在在线系统中加载并运行所述模型文件，所述在线系统包括所述模型文件的运行环境。第二方面提供了一种应用于在线系统中的神经网络处理装置，所述装置包括：离散训练模块，用于获取神经网络模型和训练样本，基于所述训练样本训练所述神经网络模型以得到目标网络；固化模块，用于通过固化模型图的方式得到所述目标网络对应的模型文件，所述模型文件包括所述目标网络的网络结构和网络参数；运行模块，用于在在线系统中加载并运行所述模型文件，所述在线系统包括所述模型文件的运行环境。第三方面提供了一种基于神经网络的推荐系统，所述系统包括：离散训练模块，用于获取神经网络模型和训练样本，基于所述训练样本训练所述神经网络模型以得到目标网络；固化模块，用于通过固化模型图的方式得到所述目标网络对应的模型文件，所述模型文件包括所述目标网络的网络结构和网络参数；运行模块，用于在推荐系统的线上组件中加载并运行所述模型文件，所述推荐系统的线上组件包括所述模型文件的运行环境。第四方面提供了一种计算机可读存储介质，用于存储程序，所述程序被执行时实现一种应用于在线系统中的神经网络处理方法。本专利技术提供的应用于在线系统中的神经网络处理方法、装置及基于神经网络的推荐系统，通过在神经网络的离散训练、固化加载、在线应用等各个环节均进行改进，保证了线上系统所应用的神经网络和离散环境训练得到的神经网络的一致性，降低了在线开发成本，缩短离散环境训练得到的神经网络的上线开发周期，并且显著提升了其线上响应速度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。图1是本专利技术提供的一种应用于在线系统中的神经网络处理方法的流程图；图2是本专利技术提供的一种在线系统构建方法流程图；图3是本专利技术提供的一种基于多进程的神经网络加载及运行方法流程图；图4是本专利技术提供的由加载线程加载新的模型文件的流程图；图5是本专利技术提供的基于所述训练样本训练所述神经网络模型以得到离散训练目标网络的流程示意图；图6是本专利技术提供的一种应用于在线系统中的神经网络处理装置框图；图7是本专利技术提供的离散训练模块框图；图8是本专利技术提供的推荐系统模块交互图；图9是本专利技术提供的Tensorflow集群的基础结构示意图；图10是本专利技术提供的固化模块框图；图11是本专利技术提供的运行模块框图；图12是本专利技术提供的工作模块框图；图13是本专利技术提供的在线推荐的流程示意图；图14是本专利技术提供的一种基于神经网络的推荐系统为用户进行视频推荐的推荐结果示意图。图15是本专利技术提供的一种用于实现本专利技术实施例所提供的方法的设备的硬件结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。离线环境下训练的神经网络难以被直接应用于业务环境，其原因可能是多种多样的，以深度学习模型应用于在线推荐系统为例，在将离线环境下的神经网络应用于业务环境过程中需要克服构建离线环境下的神经网络的编程语言与业务环境无法兼容，离线环境下的神经网络难以加载到线上，使用线上重构的离线神经网络无法达到业务的耗时要求等诸多问题。为了解决在业务环境中难以使用离线环境下训练的神经网络的技术问题，本专利技术实施例提供了一种应用于在线系统中的神经网络处理方法，如图1所示，所述方法包括：S101.获取神经网络模型和训练样本，基于所述训练样本训练所述神经网络模型以得到目标网络。具体地，本专利技术实施例并不限定神经网络模型的具体类型，所述神经网络模型包括但不限于深度学习神经网络模型、强化学习神经网络模型、迁移学习神经网络模型或深度强化学习神经网络模型，各种神经网络模型所适用的业务环境以及解决的问题可能各不相同，可以根据实际的业务场景进行选用。进一步地，每个神经网络模型都可能包括一个或多种具体的网络结构，在选定神经网络模型的基础上，还可以根据实际的业务场景选择具体的某种网络结构，以深度学习神经网络模型为例，其可以为Wide&Deep、DeepFM、LSTM等具体网络结构。在Wide&Deep模型中包括两个部分，分别为Wide部分和Deep部分，旨在使得训练得到的模型能够同时获得记忆(memorization)和泛化(generalization)能力。DeepFM模型包含两部分：神经网络部分与因子分解机部分，分别负责低阶特征的提取和高阶特征的提取。这两部分共享同样的输入，在推荐系统中，其适合于更好的挖掘用户喜好。LSTM是长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。在推荐系统中，其适合应用于序列化的预测场景。步骤S101可以在离散环境下执行，为了能够连续得到目标网络，可以按照固定频率执行步骤S101，具体的执行方法在将下文详述。S103.通过固化模型图的方式得到所述目标网络对应的模型文件，所述模型文件包括所述目标网络的网络结构和网络参数。所述离散训练目标网络的网络结构中可能包括多个神经节点，而每个神经节点都有其自身对应本文档来自技高网...

【技术保护点】
1.一种应用于在线系统中的神经网络处理方法，其特征在于，所述方法包括：获取神经网络模型和训练样本，基于所述训练样本训练所述神经网络模型以得到目标网络；通过固化模型图的方式得到所述目标网络对应的模型文件，所述模型文件包括所述目标网络的网络结构和网络参数；在在线系统中加载并运行所述模型文件，所述在线系统包括所述模型文件的运行环境。

【技术特征摘要】
1.一种应用于在线系统中的神经网络处理方法，其特征在于，所述方法包括：获取神经网络模型和训练样本，基于所述训练样本训练所述神经网络模型以得到目标网络；通过固化模型图的方式得到所述目标网络对应的模型文件，所述模型文件包括所述目标网络的网络结构和网络参数；在在线系统中加载并运行所述模型文件，所述在线系统包括所述模型文件的运行环境。2.根据权利要求1所述方法，其特征在于，还包括对所述在线系统进行构建的步骤，所述对所述在线系统进行构建包括：提取神经网络模型所需算子，并根据提取结果生成算子库；提取神经网络模型的网络结构，并根据提取结果和所述算子库构建应用基础库。3.根据权利要求1所述的方法，其特征在于，所述在在线系统中加载并运行所述模型文件，包括：由运行线程基于所述在线系统的当前模型文件提供服务，并由加载线程加载新的模型文件；所述运行线程用于获取用户的相关信息，根据所述相关信息构建特征，并基于所述特征和模型文件提供服务；若所述新的模型文件被加载完毕，所述加载线程触发所述运行线程使用所述新的模型文件提供业务服务。4.根据权利要求3所述方法，其特征在于，所述由加载线程加载新的模型文件，包括：获取所述模型文件的第一摘要；提取所述模型文件的关键参数，判断所述关键参数的值是否在预设的合法阈值内以得到第一预判结果；获取所述在线系统中的模型文件的第二摘要，比较所述第一摘要和所述第二摘要以得到第二预判结果；根据所述第一预判结果和所述第二预判结果，判断所述模型文件是否为待加载模型文件；若是，则加载所述模型文件。5.根据权利要求1所述的方法，其特征在于，所述基于所述训练样本训练所述神经网络模型以得到目标网络，包括：获取训练数据；根据获取到的神经网络模型对所述训练数据进行采样；提取采样结果中的信息构建特征，并基于所述特征训练所述神经网络模型，所述特征的构建方法与所述在线系统中使用的特征的构建方法相同。6.一种应用于在线系统中的神经网络处理装置，其...

【专利技术属性】
技术研发人员：李天浩，崔瑞，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44