一种针对客户端深度学习的在线定制化方法及系统技术方案

本发明专利技术提供一种针对客户端深度学习的在线定制化方法及系统，包括服务器、至少一个客户端，所述方法包括：所述服务器利用公共数据集对预设机器学习模型进行训练，获得公共模型；所述客户端从所述服务器获取所述公共模型；所述客户端获取用户个性化数据；所述客户端利用所述用户个性化数据对所述公共模型进行训练，得到定制化模型。本发明专利技术采用服务器端‑客户端协同训练的方式，在计算资源较强的服务器端先利用大量的公共数据集进行预训练，将模型的参数调整到合适的位置；然后将模型下发到各个移动设备，利用本地产生的数据进行定制化训练。在客户端进行预测和定制化训练的过程中，无需上传训练数据，从而保证了隐私信息不会被泄露。

An Online Customization Method and System for Client-side Deep Learning

The invention provides an on-line customization method and system for client in-depth learning, including a server and at least one client. The method includes: the server trains the preset machine learning model with a common data set to obtain a common model; the client obtains the common model from the server; and the client obtains user personalized data. The client uses the user's personalized data to train the common model and get the customized model. The invention adopts the method of server side and client side collaborative training. At the server side with strong computing resources, a large number of common data sets are used for pre-training, and the parameters of the model are adjusted to the appropriate position. Then the model is sent to various mobile devices and customized training is carried out using locally generated data. In the process of client prediction and customization training, there is no need to upload training data, thus ensuring that privacy information will not be disclosed.

【技术实现步骤摘要】
一种针对客户端深度学习的在线定制化方法及系统
本专利技术涉及软件
，特别涉及一种针对客户端深度学习的在线定制化方法及系统。
技术介绍
深度学习(DeepLearning)是一种机器学习算法，同时也是人工智能领域的一个重要分支。从快速发展到实际应用，短短几年时间里，深度学习颠覆了语音识别、图像分类、文本理解等众多领域的算法设计思路，渐渐形成了一种从训练数据出发，经过一个端到端(end-to-end)的模型，然后直接输出得到最终结果的一种新模式。在移动平台上，深度学习技术也获得了广泛的应用。例如，在智能眼镜中依靠深度学习进行高准确率的人脸识别；在智能手机中通过深度学习进行精确的文本翻译等。现有的应用方案，通常是在云端服务器训练一个通用的模型，将模型嵌入到应用或者在应用首次打开时通过网络下载到本地，然后利用这个通用模型展开预测任务。这种做法的好处是将计算量最大的训练过程放在云端，在本地只需进行计算需求较小的预测，从而保证了延迟和能耗在计算资源受限的移动设备上可以满足。然而，在许多场景下，需要对模型根据用户使用行为的不同进行定制。例如在输入法的输入词预测中，普遍采用了LSTM深度学习模型，但不同用户的输入习惯可能有较大的区别，表现在同样的前缀输入条件下，可能有完全不同的下一个词的输入概率分布，为此，需要对不同用户进行模型的定制(personalization)。然而，在云端进行模型定制有以下几个限制。云端的模型定制需要用户上传所有的个人数据，用以定制化训练。这些上传的个人数据可能包含了大量的隐私信息，例如前述的例子中需要上传个人输入文字数据，其中可能包含了银行卡密码，个人身份信息等。上传此类数据将不可避免地导致安全隐患。云端的模型定制对服务器端的负载很大。虽然现有的服务器在深度学习模型的训练中表现良好(例如GPU服务器)，但面临大量用户模型的定制时，如百万级用户应用，其训练量的符合可能需要上千块GPU数十天的训练，以及超过1000TB的存储空间。为了让模型的定制化效果对用户有实时的响应，云端定制策略需要将用户的数据实时上传用以模型训练，并将模型下发到本地。深度学习模型的体积通常较大，从而占据大量的网络带宽。
技术实现思路
基于此，一方面，本专利技术提供了一种针对客户端深度学习的在线定制化方法，所述方法包括：所述服务器利用公共数据集对预设机器学习模型进行训练，获得公共模型；所述客户端从所述服务器获取所述公共模型；所述客户端获取用户个性化数据；所述客户端利用所述用户个性化数据对所述公共模型进行训练，得到定制化模型。可选的，所述服务器利用公共数据集对预设机器学习模型进行训练，获得公共模型包括：所述服务器获取公共数据集；所述服务器对公共数据集进行预处理；所述服务器利用所述公共数据集对预设机器学习模型进行训练，获得公共模型。可选的，所述客户端获取用户个性化数据包括：客户端通过用户的输入获取用户的个人数据；所述用户的个性化数据包括用户的个人数据；所述用户的个人数据包括用户的输入，以及针对所述输入，公共模型给出的预测输出。可选的，所述客户端利用所述用户个性化数据对所述公共模型进行训练，获取定制化模型包括：当用户的个性化数据达到预先设定的数量时，利用所述用户的个性化数据构建训练集；对训练集进行预处理；利用预处理后的训练集对所述公共模型进行训练，得到定制化模型。可选的，利用预处理后训练集对所述公共模型进行训练，得到定制化模型包括：利用所述预处理后的训练集和预设的观测输出训练所述公共模型，调整所述公共模型的参数，得到定制化模型。另一方面，本专利技术还提供了一种针对客户端深度学习的在线定制化系统，包括服务器、至少一个客户端，所述系统包括：公共模型训练模块，用于在服务器中，利用公共数据集对预设机器学习模型进行训练，获得公共模型；获取公共模型模块，用于利用客户端从所述服务器获取所述公共模型；个性化数据获取模块，用于利用所述客户端获取用户个性化数据；定制化模型获取模块，用于在客户端中，利用所述用户个性化数据对所述公共模型进行训练，得到定制化模型。可选的，所述公共模型训练模块包括：公共数据集获取子模块，利用服务器获取公共数据集；第一预处理子模块，利用所述服务器对公共数据集进行预处理；公共模型获得子模块，用于在所述服务器中，利用所述预处理后的公共数据集对预设机器学习模型进行训练，获得公共模型。可选的，所述个性化数据获取模块包括：个性化数据获取子模块：用于通过用户的输入获取用户的个人数据；所述用户的个性化数据包括用户的个人数据；所述用户的个人数据包括用户的输入，以及针对所述输入，公共模型给出的预测输出。可选的，所述定制化模型获取模块包括：训练集构建子模块，用于当用户的个性化数据达到预先设定的数量时，利用所述用户的个性化数据构建训练集；对训练集进行预处理；第二预处理子模块，用于对训练集进行预处理；定制化模型获取子模块，用于利用预处理后的训练集对所述公共模型进行训练，得到定制化模型。可选的，所述定制化模型获取子模块包括：定制化模型获取单元，用于利用所述预处理后的训练集和预设的观测输出训练所述公共模型，调整所述公共模型的参数，得到定制化模型。本专利技术具有以下有益效果：本专利技术采用服务器端-客户端协同训练的方式，在计算资源较强的服务器端先利用大量的公共数据集进行预训练，将模型的参数调整到合适的位置；然后将模型下发到各个移动设备，利用本地产生的数据进行定制化训练。在客户端进行预测和定制化训练的过程中，无需上传训练数据，从而保证了隐私信息不会被泄露。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例一的一种针对客户端深度学习的在线定制化方法的步骤流程图；图2是本专利技术实施例二的一种针对客户端深度学习的在线定制化方法的步骤流程图；图3是本专利技术实施例二示例的客户端在线学习中的使用预测结果复用技术的示意图；图4是本专利技术实施例三一种针对客户端深度学习的在线定制化方法的示意图；图5是本专利技术实施例四的一种针对客户端深度学习的在线定制化系统的结构框图；图6是本专利技术实施例四的一种针对客户端深度学习的在线定制化系统的具体结构框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。【方法实施例一】参照图1，示出了本专利技术实施例中的一种针对客户端深度学习的在线定制化方法的步骤流程图，所述方法包括服务器和至少一个终端，具体步骤包括：步骤101、利用公共数据集对预设机器学习模型进行训练，获得公共模型。在本专利技术实施例中，服务器端负责预训练获得一个参数被正确初始化公共模型本文档来自技高网...

【技术保护点】
1.一种针对客户端深度学习的在线定制化方法，其特征在于，包括服务器、至少一个客户端，所述方法包括：所述服务器利用公共数据集对预设机器学习模型进行训练，获得公共模型；所述客户端从所述服务器获取所述公共模型；所述客户端获取用户个性化数据；所述客户端利用所述用户个性化数据对所述公共模型进行训练，得到定制化模型。

【技术特征摘要】
1.一种针对客户端深度学习的在线定制化方法，其特征在于，包括服务器、至少一个客户端，所述方法包括：所述服务器利用公共数据集对预设机器学习模型进行训练，获得公共模型；所述客户端从所述服务器获取所述公共模型；所述客户端获取用户个性化数据；所述客户端利用所述用户个性化数据对所述公共模型进行训练，得到定制化模型。2.根据权利要求1所述的方法，其特征在于：所述服务器利用公共数据集对预设机器学习模型进行训练，获得公共模型包括：所述服务器获取公共数据集；所述服务器对公共数据集进行预处理；所述服务器利用所述公共数据集对预设机器学习模型进行训练，获得公共模型。3.根据权利要求1所述的方法，其特征在于，所述客户端获取用户个性化数据包括：客户端通过用户的输入获取用户的个人数据；所述用户的个性化数据包括用户的个人数据；所述用户的个人数据包括用户的输入，以及针对所述输入，公共模型给出的预测输出。4.根据权利要求3所述的方法，其特征在于：所述客户端利用所述用户个性化数据对所述公共模型进行训练，获取定制化模型包括：当用户的个性化数据达到预先设定的数量时，利用所述用户的个性化数据构建训练集；对训练集进行预处理；利用预处理后的训练集对所述公共模型进行训练，得到定制化模型。5.根据权利要求4所述的方法，其特征在于，利用预处理后训练集对所述公共模型进行训练，得到定制化模型包括：利用所述预处理后的训练集和预设的观测输出训练所述公共模型，调整所述公共模型的参数，得到定制化模型。6.一种针对客户端深度学习的在线定制化系统，其特征在于，包括服务器、至少一个客户端；所述服务器包括公共模型训练模块；所述客户端包...

【专利技术属性】
技术研发人员：黄罡，刘譞哲，徐梦炜，马郓，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京,11