一种数据处理方法、装置和电子设备制造方法及图纸

本发明专利技术实施例提供了一种数据处理方法、装置和电子设备，其中，所述方法包括：获取训练数据；判断所述训练数据是否具有训练共享语言模型的训练价值；若所述训练数据具有训练价值，则通过所述训练数据训练所述共享语言模型更新所述共享语言模型的模型参数，并将更新的模型参数上传至服务器；从而减少终端设备计算量，以及终端设备与服务器之间的数据传输量，达到降低资源消耗的效果。

【技术实现步骤摘要】
一种数据处理方法、装置和电子设备
本专利技术涉及数据处理
，特别是涉及一种数据处理方法、装置和电子设备。
技术介绍
随着计算机技术的发展，诸如手机、平板电脑等电子设备越来越普及，给人们的生活、学习、工作带来了极大的便利。这些电子设备通常安装有输入法应用程序(简称输入法)，使得用户可使用该输入法进行信息输入。其中，为了提高用户的输入效率，输入法通常采用语言模型预测候选，供用户直接输入。传统的训练语言模型方法是，将训练数据集中于某一台机器或是单个数据中心里(也可以称为云端)，然后采用集中的训练数据对语言模型进行训练；其中，这里所说的训练数据一般都是通过跟用户签署协议，将用户数据汇集得到的。但随着用户隐私问题越来越得到重视，这种训练数据收集方法收到了限制；因此提出了一种联邦学习的方法：将“模型训练”与“云端存储”二者解绑，即在终端设备上采用用户数据进行训练模型，只将模型更新的参数上传至云端，从而为解决了用户隐私数据问题。然而，随着用户设备数量以及每个用户设备中用户数据的不断扩大，联邦学习中本地训练计算量，以及需要上传的模型参数的本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n获取训练数据；/n判断所述训练数据是否具有训练共享语言模型的训练价值；/n若所述训练数据具有训练价值，则通过所述训练数据训练所述共享语言模型更新所述共享语言模型的模型参数，并将更新的模型参数上传至服务器。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
获取训练数据；
判断所述训练数据是否具有训练共享语言模型的训练价值；
若所述训练数据具有训练价值，则通过所述训练数据训练所述共享语言模型更新所述共享语言模型的模型参数，并将更新的模型参数上传至服务器。


2.根据权利要求1所述的方法，其特征在于，所述训练数据包括训练文本和参考结果；所述判断所述训练数据是否具有训练共享语言模型的训练价值，包括：
将所述训练文本输入至所述共享语言模型中进行前向计算，得到预测结果；
依据所述预测结果和所述参考结果，判断所述训练数据是否具有训练共享语言模型的训练价值。


3.根据权利要求2所述的方法，其特征在于，所述预测结果包括预测文本和对应的预测概率；所述依据所述预测结果和所述参考结果，判断所述训练数据是否具有训练共享语言模型的训练价值，包括：
判断预测概率最大的预测文本与参考样本是否匹配；
若预测概率最大的预测文本与参考文本不匹配，则确定所述训练数据具有训练共享语言模型的训练价值。


4.根据权利要求3所述的方法，其特征在于，所述参考结果还包括参考文本对应的参考概率，所述通过所述训练数据训练所述共享语言模型更新所述共享语言模型的模型参数，包括：
确定与参考文本匹配的预测文本的预测概率，以及所述匹配的预测文本的预测概率与参考文本对应参考概率的误差；
依据所述误差对所述共享语言模型进行反向学习，更新所述共享语言模型的模型参数。


5.根据权利要...

【专利技术属性】
技术研发人员：黄海兵，邱晓杰，
申请(专利权)人：北京搜狗科技发展有限公司，
类型：发明
国别省市：北京;11