一种数据处理方法、装置及设备制造方法及图纸

本申请提供一种数据处理方法、装置及设备，该方法包括：从服务器获取初始基线模型和样本数据对应的第一特征分布信息；获取初始噪声数据，将初始噪声数据输入给初始基线模型，得到初始噪声数据对应的第二特征分布信息；基于第一特征分布信息和第二特征分布信息对初始噪声数据进行训练，得到目标噪声数据；基于目标噪声数据和终端设备的场景数据对初始基线模型进行优化，得到优化后的目标基线模型；在所述终端设备部署所述目标基线模型，以通过所述目标基线模型对所述终端设备的应用数据进行处理。通过本申请的技术方案，目标噪声数据能够反映样本数据的特性，从而基于样本数据的特性对初始基线模型进行优化，解决样本数据缺失的问题。

【技术实现步骤摘要】
一种数据处理方法、装置及设备
本申请涉及人工智能
，尤其是一种数据处理方法、装置及设备。
技术介绍
机器学习是实现人工智能的一种途径，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习用于研究计算机如何模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习更加注重算法设计，使计算机能够自动地从数据中学习规律，并利用规律对未知数据进行预测。机器学习已经有了十分广泛的应用，如深度学习、数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA序列测序、语音和手写识别、战略游戏和机器人运用等。为了采用机器学习实现人工智能处理，服务器需要获取大量样本数据，并基于这些样本数据训练出机器学习模型，并将该机器学习模型部署到终端设备(如摄像机等)，以使终端设备基于该机器学习模型实现人工智能处理。由于数据隐私性，终端设备不会将自身所处环境的数据提供给服务器，服务器无法基于终端设备所处环境的数据训练机器学习模型，导致部署到终端设备的机器学习模型无法匹配终端设备所处环境，机器学习模型的性能较低。
技术实现思路
本申请提供一种数据处理方法，应用于终端设备，所述方法包括：从服务器获取初始基线模型和样本数据对应的第一特征分布信息；其中，所述初始基线模型是基于所述样本数据或所述样本数据的同源数据训练得到的，所述第一特征分布信息是将所述样本数据输入给所述初始基线模型后得到的；获取初始噪声数据，将所述初始噪声数据输入给所述初始基线模型，得到所述初始噪声数据对应的第二特征分布信息；基于所述第一特征分布信息和所述第二特征分布信息对所述初始噪声数据进行训练，得到目标噪声数据；基于所述目标噪声数据和所述终端设备的场景数据对所述初始基线模型进行优化，得到优化后的目标基线模型；在所述终端设备部署所述目标基线模型，以通过所述目标基线模型对所述终端设备的应用数据进行处理。本申请提供一种据处理方法，应用于服务器，所述方法包括：将样本数据输入给初始基线模型，得到所述样本数据对应的第一特征分布信息；其中，所述初始基线模型是基于所述样本数据或所述样本数据的同源数据训练得到的；获取初始噪声数据，将所述初始噪声数据输入给所述初始基线模型，得到所述初始噪声数据对应的第二特征分布信息；基于所述第一特征分布信息和所述第二特征分布信息对所述初始噪声数据进行训练，得到目标噪声数据；将所述初始基线模型和所述目标噪声数据发送给终端设备，以使所述终端设备基于所述目标噪声数据和所述终端设备的场景数据对所述初始基线模型进行优化，得到优化后的目标基线模型。本申请提供一种数据处理装置，应用于终端设备，所述装置包括：获取模块，用于从服务器获取初始基线模型和样本数据对应的第一特征分布信息；其中，所述初始基线模型是基于所述样本数据或所述样本数据的同源数据训练得到的，所述第一特征分布信息是将所述样本数据输入给所述初始基线模型后得到的；数据训练模块，用于获取初始噪声数据，将初始噪声数据输入给所述初始基线模型，得到所述初始噪声数据对应的第二特征分布信息；基于第一特征分布信息和第二特征分布信息对所述初始噪声数据进行训练，得到目标噪声数据；模型训练模块，用于基于所述目标噪声数据和所述终端设备的场景数据对所述初始基线模型进行优化，得到优化后的目标基线模型；部署模块，用于在所述终端设备部署所述目标基线模型，以通过所述目标基线模型对所述终端设备的应用数据进行处理。本申请提供一种终端设备，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现如下的步骤：从服务器获取初始基线模型和样本数据对应的第一特征分布信息；其中，所述初始基线模型是基于所述样本数据或所述样本数据的同源数据训练得到的，所述第一特征分布信息是将所述样本数据输入给所述初始基线模型后得到的；获取初始噪声数据，将所述初始噪声数据输入给所述初始基线模型，得到所述初始噪声数据对应的第二特征分布信息；基于所述第一特征分布信息和所述第二特征分布信息对所述初始噪声数据进行训练，得到目标噪声数据；基于所述目标噪声数据和所述终端设备的场景数据对所述初始基线模型进行优化，得到优化后的目标基线模型；在所述终端设备部署所述目标基线模型，以通过所述目标基线模型对所述终端设备的应用数据进行处理。本申请提供一种数据处理装置，应用于服务器，所述装置包括：获取模块，用于将样本数据输入给初始基线模型，得到所述样本数据对应的第一特征分布信息；其中，所述初始基线模型是基于所述样本数据或所述样本数据的同源数据训练得到的；以及，获取初始噪声数据，将所述初始噪声数据输入给所述初始基线模型，得到所述初始噪声数据对应的第二特征分布信息；训练模块，用于基于所述第一特征分布信息和所述第二特征分布信息对所述初始噪声数据进行训练，得到目标噪声数据；发送模块，用于将所述初始基线模型和所述目标噪声数据发送给终端设备，以使所述终端设备基于所述目标噪声数据和所述终端设备的场景数据对所述初始基线模型进行优化，得到优化后的目标基线模型。本申请提供一种服务器，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现如下的步骤：将样本数据输入给初始基线模型，得到所述样本数据对应的第一特征分布信息；其中，所述初始基线模型是基于所述样本数据或所述样本数据的同源数据训练得到的；获取初始噪声数据，将所述初始噪声数据输入给所述初始基线模型，得到所述初始噪声数据对应的第二特征分布信息；基于所述第一特征分布信息和所述第二特征分布信息对所述初始噪声数据进行训练，得到目标噪声数据；将所述初始基线模型和所述目标噪声数据发送给终端设备，以使所述终端设备基于所述目标噪声数据和所述终端设备的场景数据对所述初始基线模型进行优化，得到优化后的目标基线模型。由以上技术方案可见，本申请实施例中，终端设备根据场景数据(即自身所处环境的数据)和目标噪声数据对初始基线模型进行优化，得到目标基线模型，由于场景数据反映终端设备所处环境，因此，目标基线模型能够匹配终端设备所处环境，提升目标基线模型的性能，目标基线模型的智能分析结果的准确度较高。由于目标噪声数据对应的特征分布信息能够反映样本数据对应的特征分布信息的特性，即目标噪声数据能够反映样本数据的特性，因此，基于样本数据(服务器使用样本数据训练得到初始基线模型)的特性对初始基线模型进行优化，解决样本数据缺失的问题，将样本数据的特征分布信息调制到目标噪声数据，使用目标噪声数据对初始基线模型进行优化。附图说明为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，应用于终端设备，所述方法包括：/n从服务器获取初始基线模型和样本数据对应的第一特征分布信息；其中，所述初始基线模型是基于所述样本数据或所述样本数据的同源数据训练得到的，所述第一特征分布信息是将所述样本数据输入给所述初始基线模型后得到的；/n获取初始噪声数据，将所述初始噪声数据输入给所述初始基线模型，得到所述初始噪声数据对应的第二特征分布信息；基于所述第一特征分布信息和所述第二特征分布信息对所述初始噪声数据进行训练，得到目标噪声数据；/n基于所述目标噪声数据和所述终端设备的场景数据对所述初始基线模型进行优化，得到优化后的目标基线模型；/n在所述终端设备部署所述目标基线模型，以通过所述目标基线模型对所述终端设备的应用数据进行处理。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于终端设备，所述方法包括：
从服务器获取初始基线模型和样本数据对应的第一特征分布信息；其中，所述初始基线模型是基于所述样本数据或所述样本数据的同源数据训练得到的，所述第一特征分布信息是将所述样本数据输入给所述初始基线模型后得到的；
获取初始噪声数据，将所述初始噪声数据输入给所述初始基线模型，得到所述初始噪声数据对应的第二特征分布信息；基于所述第一特征分布信息和所述第二特征分布信息对所述初始噪声数据进行训练，得到目标噪声数据；
基于所述目标噪声数据和所述终端设备的场景数据对所述初始基线模型进行优化，得到优化后的目标基线模型；
在所述终端设备部署所述目标基线模型，以通过所述目标基线模型对所述终端设备的应用数据进行处理。


2.根据权利要求1所述的方法，其特征在于，
所述基于所述第一特征分布信息和所述第二特征分布信息对所述初始噪声数据进行训练，得到目标噪声数据，包括：
基于所述第一特征分布信息和所述第二特征分布信息，确定预配置的损失函数的目标损失值，并基于所述目标损失值确定所述损失函数是否已收敛；
若是，则将当前的初始噪声数据确定为所述目标噪声数据；
若否，则对当前的初始噪声数据进行调整，得到调整后的初始噪声数据；
基于调整后的初始噪声数据，返回执行将所述初始噪声数据输入给所述初始基线模型，得到所述初始噪声数据对应的第二特征分布信息的操作。


3.根据权利要求2所述的方法，其特征在于，所述基于所述第一特征分布信息和所述第二特征分布信息，确定预配置的损失函数的目标损失值，包括：
若所述第一特征分布信息包括第一特征值，所述第二特征分布信息包括第二特征值，则基于所述第一特征值和所述第二特征值确定特征损失值，并根据所述特征损失值确定所述目标损失值；或者，
若所述第一特征分布信息包括第一统计值，所述第二特征分布信息包括第二统计值，则基于所述第一统计值和所述第二统计值确定统计损失值，并根据所述统计损失值确定所述目标损失值；或者，
若所述第一特征分布信息包括第一特征值和第一统计值，所述第二特征分布信息包括第二特征值和第二统计值，基于所述第一特征值和所述第二特征值确定特征损失值，基于所述第一统计值和所述第二统计值确定统计损失值，并根据所述特征损失值和所述统计损失值确定所述目标损失值。


4.根据权利要求3所述的方法，其特征在于，所述方法还包括：基于所述初始噪声数据中的最大噪声值和最小噪声值，确定范围损失值；
所述根据所述特征损失值确定所述目标损失值，包括：
根据所述特征损失值和所述范围损失值确定所述目标损失值；
所述根据所述统计损失值确定所述目标损失值，包括：
根据所述统计损失值和所述范围损失值确定所述目标损失值；
所述根据所述特征损失值和所述统计损失值确定所述目标损失值，包括：
根据所述特征损失值，所述统计损失值和所述范围损失值确定目标损失值。


5.根据权利要求1所述的方法，其特征在于，
所述基于所述目标噪声数据和所述终端设备的场景数据对所述初始基线模型进行优化，得到优化后的目标基线模型，包括：
基于所述终端设备的场景数据对所述初始基线模型内的各网络参数进行参数值训练，得到已训练基线模型；
基于所述目标噪声数据和所述终端设备的场景数据对所述已训练基线模型内的各网络参数进行参数值量化，得到所述目标基线模型。


6.一种数据处理方法，其特征在于，应用于服务器，所述方法包括：
将样本数据输入给初始基线模型，得到所述样本数据对应的第一特征分布信息；其中，所述初始基线模型是基于所述样本数据或所述样本数据的同源数据训练得到的；
获取初始噪声数据，将所述初始噪声数据输入给所述初始基线模型，得到所述初始噪声数据对应的第二特征分布信息；基于所述第一特征分布信息和所述第二特征分布信息对所述初始噪声数据进行训练，得到目标噪声数据；
将所述初始基线模型和所述目标噪声数据发送给终端设备，以使所述终端设备基于所述目标噪声数据和所述终端设备的场景数据对所述初始基线模型进行优化，得到优化后的目标基线模型。


7.根据权利要求6所述的方法，其特征在于，
所述基于所述第一特征分布信息和所述第二特征分布信息对所述初始噪声数据进行训练，得到目标噪声数据，包括：
基于所述第一特征分布信息和所述第二特征分布信息，确定预配置的损失函数的目标损失值，并基于所述目标损失值确定所述损失函数是否已收敛；
若是，则将当前的初始噪声数据确定为所述目标噪声数据；
...

【专利技术属性】
技术研发人员：林晨，彭博，李哲暘，谭文明，任烨，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33