一种数据处理方法、装置及设备制造方法及图纸

本申请提供一种数据处理方法、装置及设备，该方法包括：获取初始基线模型；通过所述初始基线模型对终端设备当前获得的流式数据进行处理，得到与所述流式数据对应的训练数据；所述训练数据包括与所述流式数据对应的数据特征，及所述数据特征对应的标签信息；通过所述训练数据对初始基线模型进行训练，得到训练后的目标基线模型；在所述终端设备部署所述初始基线模型或所述目标基线模型，以通过所述初始基线模型或所述目标基线模型对所述终端设备的应用数据进行处理。通过本申请的技术方案，提升目标基线模型的性能，目标基线模型的智能分析结果的准确度较高。

【技术实现步骤摘要】
一种数据处理方法、装置及设备
本申请涉及人工智能
，尤其是一种数据处理方法、装置及设备。
技术介绍
机器学习是实现人工智能的一种途径，是一门多领域的交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习用于研究计算机如何模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习更加注重算法设计，使计算机能够自动地从数据中学习规律，并利用规律对未知数据进行预测。机器学习已经有了十分广泛的应用，如深度学习、数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA序列测序、语音和手写识别、战略游戏和机器人运用等。为了采用机器学习实现人工智能处理，服务器需要获取大量样本数据，并基于这些样本数据训练出机器学习模型，并将该机器学习模型部署到终端设备(如摄像机等)，以使终端设备基于该机器学习模型实现人工智能处理。由于终端设备采集的流式数据不会发送给服务器，因此，无法基于流式数据对机器学习模型进行训练，导致无法充分利用终端设备采集的流式数据，使得机器学习模型无法匹配终端设备所处环境，机器学习模型的性能比较低。
技术实现思路
本申请提供一种数据处理方法，应用于终端设备，所述方法包括：获取初始基线模型；通过所述初始基线模型对所述终端设备当前获得的流式数据进行处理，得到与所述流式数据对应的训练数据；其中，所述训练数据包括与所述流式数据对应的数据特征，及所述数据特征对应的标签信息；通过所述训练数据对初始基线模型进行训练，得到训练后的目标基线模型；在所述终端设备部署所述初始基线模型或所述目标基线模型，以通过所述初始基线模型或所述目标基线模型对所述终端设备的应用数据进行处理。本申请提供一种数据处理装置，应用于终端设备，所述装置包括：获取模块，用于获取初始基线模型；处理模块，用于通过所述初始基线模型对所述终端设备当前获得的流式数据进行处理，得到与所述流式数据对应的训练数据；其中，所述训练数据包括与所述流式数据对应的数据特征，及所述数据特征对应的标签信息；训练模块，用于通过所述训练数据对初始基线模型进行训练，得到训练后的目标基线模型；部署模块，用于在终端设备部署所述初始基线模型或所述目标基线模型，以通过所述初始基线模型或所述目标基线模型对终端设备的应用数据进行处理。本申请提供一种终端设备，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现如下的步骤：获取初始基线模型；通过所述初始基线模型对所述终端设备当前获得的流式数据进行处理，得到与所述流式数据对应的训练数据；其中，所述训练数据包括与所述流式数据对应的数据特征，及所述数据特征对应的标签信息；通过所述训练数据对初始基线模型进行训练，得到训练后的目标基线模型；在所述终端设备部署所述初始基线模型或所述目标基线模型，以通过所述初始基线模型或所述目标基线模型对所述终端设备的应用数据进行处理。由以上技术方案可见，本申请实施例中，可以利用终端设备当前获得的流式数据对初始基线模型进行训练，得到训练后的目标基线模型，目标基线模型能够匹配终端设备所处环境，提升目标基线模型的性能，目标基线模型的智能分析结果的准确度较高。在得到目标基线模型后，通过比较初始基线模型的性能和目标基线模型的性能，决策在终端设备部署初始基线模型还是目标基线模型，保证在终端设备部署的是性能较好的基线模型，避免将性能较差的基线模型部署到终端设备，使得终端设备部署的基线模型不断迭代更新，不断提升基线模型的性能，基线模型的性能更优，基线模型的智能分析结果更准确，目标基线模型的智能分析结果随着时间推移逐步提高。由于流式数据不在终端设备保存，因此，能够节约终端设备的存储资源，提高终端设备的存储寿命，且在不保存流式数据的前提下，仍然可以利用流式数据进行模型训练。附图说明为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其他的附图。图1是本申请一种实施方式中的数据处理方法的流程图；图2A-图2C是本申请一种实施方式中的初始输出数据划分示意图；图3是本申请一种实施方式中的基于流式数据进行训练的系统示意图；图4是本申请一种实施方式中的数据处理装置的结构图；图5是本申请一种实施方式中的终端设备的结构图。具体实施方式在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。在介绍本申请的技术方案之前，先介绍与本申请实施例有关的概念。机器学习：机器学习是实现人工智能的一种途径，用于研究计算机如何模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身性能。深度学习属于机器学习的子类，是一种使用数学模型对真实世界中的特定问题进行建模，以解决该领域内相似问题的过程。神经网络是深度学习的实现方式，为了方便描述，本文以神经网络为例，介绍神经网络的结构和功能，对于机器学习的其它子类，与神经网络的结构和功能类似。神经网络：神经网络可以包括但不限于卷积神经网络(简称CNN)、循环神经网络(简称RNN)、全连接网络等，神经网络的结构单元可以包括但不限于卷积层(Conv)、池化层(Pool)、激励层、全连接层(FC)等，对此不做限制。在实际应用中，可以根据不同需求，将一个或多个卷积层，一个或多个池化层，一个或多个激励层，以及一个或多个全连接层进行组合构建神经网络。在卷积层中，通过使用卷积核对输入数据特征进行卷积运算，使输入数据特征增强，该卷积核可以是m*n大小的矩阵，卷积层的输入数据特征与卷积核进行卷积，可以得到卷积层的输出数据特征，卷积运算实际是一个滤波过程。在池化层中，通过对输入数据特征(如卷积层的输出)进行取最大值、取最小值、取平均值等操作，从而利用局部相关性的原理，对输入数据特征进行子抽样，减少处理量，并保持特征不变性，池化层运算实际是一个降采样过程。在激励层中，可以使用激活函数本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，应用于终端设备，所述方法包括：/n获取初始基线模型；/n通过所述初始基线模型对所述终端设备当前获得的流式数据进行处理，得到与所述流式数据对应的训练数据；其中，所述训练数据包括与所述流式数据对应的数据特征，及所述数据特征对应的标签信息；/n通过所述训练数据对初始基线模型进行训练，得到训练后的目标基线模型；/n在所述终端设备部署所述初始基线模型或所述目标基线模型，以通过所述初始基线模型或所述目标基线模型对所述终端设备的应用数据进行处理。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于终端设备，所述方法包括：
获取初始基线模型；
通过所述初始基线模型对所述终端设备当前获得的流式数据进行处理，得到与所述流式数据对应的训练数据；其中，所述训练数据包括与所述流式数据对应的数据特征，及所述数据特征对应的标签信息；
通过所述训练数据对初始基线模型进行训练，得到训练后的目标基线模型；
在所述终端设备部署所述初始基线模型或所述目标基线模型，以通过所述初始基线模型或所述目标基线模型对所述终端设备的应用数据进行处理。


2.根据权利要求1所述的方法，其特征在于，所述初始基线模型包括第一子网络模型，所述第一子网络模型是用于生成标签信息的网络模型；
所述通过所述初始基线模型对所述终端设备当前获得的流式数据进行处理，得到与所述流式数据对应的训练数据，包括：
将所述流式数据输入给所述第一子网络模型，通过所述第一子网络模型对所述流式数据进行处理，得到与所述流式数据对应的数据特征；
通过所述第一子网络模型生成所述数据特征对应的标签信息；
基于所述数据特征和所述标签信息生成所述训练数据。


3.根据权利要求1所述的方法，其特征在于，所述初始基线模型包括第二子网络模型，所述第二子网络模型是需要进行增量训练的网络模型；所述通过所述训练数据对初始基线模型进行训练，得到训练后的目标基线模型，包括：
将所述训练数据存储到数据缓存队列；
在数据缓存队列中的训练数据数量达到预设阈值时，将数据缓存队列中的训练数据输入给所述第二子网络模型，通过所述数据缓存队列中的训练数据对所述第二子网络模型进行训练，得到训练后的第二子网络模型；
基于训练后的第二子网络模型获取所述目标基线模型；其中，所述目标基线模型包括所述训练后的第二子网络模型。


4.根据权利要求3所述的方法，其特征在于，所述初始基线模型包括第一子网络模型，所述基于训练后的第二子网络模型获取所述目标基线模型，包括：
将所述第一子网络模型和所述训练后的第二子网络模型组合在一起，得到所述目标基线模型；或者，
通过所述数据缓存队列中的训练数据对所述第一子网络模型进行训练，得到训练后的第一子网络模型；将所述训练后的第一子网络模型和所述训练后的第二子网络模型组合在一起，得到所述目标基线模型。


5.根据权利要求3所述的方法，其特征在于，所述第二子网络模型包括至少一个网络层，所述通过所述数据缓存队列中的训练数据对所述第二子网络模型进行训练，得到训练后的第二子网络模型，包括：
针对所述第二子网络模型的每个网络层，通过所述网络层对输入数据进行处理，得到初始输出数据，并将所述初始输出数据划分为至少两个初始子矩阵；对每个初始子矩阵进行归一化处理，得到与所述初始子矩阵对应的目标子矩阵，并根据得到的所有目标子矩阵生成所述网络层的目标输出数据；
其中，所述数据缓存队列中的训练数据作为所述第二子网络模型的第一个网络层的输入数据，每个网络层的目标输出数据作为本网络层的下一个网络层的输入数据；最后一个网络层的目标输出数据用于对所述第二子网络模型的网络参数进行调整，得到训练后的第二子网络模型。


6.根据权利要...

【专利技术属性】
技术研发人员：郭阶添，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33