一种数据处理方法、装置、设备及介质制造方法及图纸

本申请提供了一种数据处理方法，包括：第一设备获取多个数据，然后第一设备基于多个数据获得目标拟合模型，接着第一设备向第二设备发送目标拟合模型，该目标拟合模型用于恢复多个数据中的至少一个数据。如此，可以减少传输的数据量以及第二设备存储的数据量，从而缓解数据传输压力和数据存储压力。

【技术实现步骤摘要】
一种数据处理方法、装置、设备及介质
本申请涉及计算机
，尤其涉及一种数据处理方法、装置、设备以及计算机可读存储介质。
技术介绍
随着信息时代的来临，海量数据也随之产生。为了充分利用上述海量数据，常常需要对数据进行传输以及存储。以物联网(theInternetofthings，IoT)为例，越来越多的设备如电视、空调、音箱、路由器、摄像机等能够被独立寻址形成互联互通的网络，进而实现对设备的智能化识别、定位、跟踪、监控和管理。为了实现智能化感知、识别、定位、跟踪、监控或管理，IoT设备产生大量的时序数据。所谓时序数据是指按照时间进行统计的指标数据。该时序数据可以是资源使用率、心电图、股价等等。在实际应用中，IoT设备每分钟产生的时序数据的数据量可以达到上亿条，如此导致数据传输和存储压力较大。基于此，业界亟需提供一种数据处理方法，以缓解数据传输和存储压力。
技术实现思路
本申请提供了一种数据处理方法，该方法通过对数据进行模型拟合，实现数据压缩，解决了数据传输和存储压力较大的问题。本申请还提供了对应的装置、设备、计算机可读存储介质以及计算机程序产品。第一方面，本申请提供了一种数据处理方法。具体地，作为数据发送方的第一设备，可以获取多个数据，然后基于多个数据获得目标拟合模型，接着向第二设备发送上述目标拟合模型，代替直接发送多个数据，第二设备可以根据需求通过上述目标拟合模型恢复多个数据中的至少一个。如此，可以减少传输的数据量以及第二设备存储的数据量，从而缓解数据传输压力和数据存储压力。在一些可能的实现方式中，第一设备可以通过如下方式获得目标拟合模型。具体地，第一设备可以根据多个数据对多个拟合模型进行模型拟合，以从多个拟合模型选择一个拟合模型来作为目标拟合模型。其中，多个拟合模型可以是第一设备和第二设备预先协商的模型，第一设备可以将多个数据作为训练数据对多个拟合模型进行训练，直至满足训练结束条件。训练结束条件可以是参数迭代次数达到最大次数，或者是基于损失函数确定的损失值小于预设值。在结束训练后，第一设备根据各拟合模型的损失值确定目标拟合模型。在具体实现时，第一设备可以将损失值最小的拟合模型作为目标拟合模型，也可以将损失值小于预设值的拟合模型作为目标拟合模型，或者是将损失值趋于收敛的拟合模型作为目标拟合模型。在一些可能的实现方式中，多个拟合模型具体可以是线性模型、多项式模型和神经网络模型中的至少两个。考虑到模型的适用范围，多个拟合模型可以包括线性模型、多项式模型和神经网络模型，如此，通过对较多的模型进行拟合，可以提高拟合精度，有利于提高数据传输准确度。在一些可能的实现方式中，第一设备在向第二设备发送目标拟合模型时，可以向第二设备发送该第一设备选择的拟合模型的标识以及对应的模型参数。具体地，第一设备和第二设备在协商模型时，可以预先约定模型标识modelID，如线性模型的modelID可以为1，多项式模型的modelID可以为2，神经网络模型的modelID可以为3。模型一般可以通过函数进行表征，模型参数即为函数表达式的参数。以线性模型为例，其函数表达式为y＝ax+b。其中，x为自变量，y为函数值，a和b即为该线性模型的参数。当目标拟合模型为线性模型时，第一设备可以发送拟合模型的标识“1”以及模型参数“a”、“b”至第二设备。发送模型标识和参数可以进一步减少传输的数据量和存储的数据量，减少传输资源开销和存储资源开销，节省成本。在一些可能的实现方式中，当第一设备获取的多个数据与其它数据存在关联时，第一设备还可以确定多个数据与其他数据的关联关系，该关联关系可以用关系函数表征。基于此，第一设备可以向第二设备发送与目标拟合模型关联的关系函数，如此，该关系函数可以用于基于目标拟合模型确定另一个目标拟合模型，通过该另一个目标拟合弄下可以恢复多个数据关联的其它数据中的至少一个数据。通过发送上述关系函数代替直接发送多个数据关联的其它数据，进一步减少了传输的数据量和存储的数据量，提高了压缩性能，减轻了传输压力和存储压力。在一些可能的实现方式中，第一设备还可以向所述第二设备发送差值。所述差值是所述第一设备获取的所述多个数据与所述第一设备基于所述目标拟合模型恢复的多个数据的差值。所述差值可以用于结合所述目标拟合模型来恢复所述多个数据中的至少一个数据。其中，在目标拟合模型恢复数据基础上叠加上述差值，可以实现数据无损恢复，提高了传输数据的精确度。在一些可能的实现方式中，上述多个数据可以是时间窗内的多个时序数据。其中，时间窗可以根据实际需求而设置，例如可以设置为一分钟。时序数据是指时间序列数据，即同一指标按时间顺序记录的数据列。在一个示例中，时间窗为一分钟，采集周期为一秒，则一个时间窗内可以采集60个数据。第二方面，本申请提供了一种数据处理方法。具体地，作为数据接收方的第二设备，其接收来自第一设备的目标拟合模型，该目标拟合模型由第一设备基于获取的多个数据获得，第二设备根据目标拟合模型恢复多个数据中的至少一个数据。相较于直接接收多个数据，接收目标拟合模型以及存储目标拟合模型大幅减轻了数据传输压力和数据存储压力。而且，第二设备可以选择恢复多个数据中的至少一个数据，如此，可以满足不同用户的个性化需求。在一些可能的实现方式中，第二设备还可以接收与目标拟合模型关联的关系函数，基于该关系函数和目标拟合模型确定另一个目标拟合模型，如此，第二设备可以根据该另一个目标拟合模型恢复多个数据关联的其他数据中的至少一个数据。相比于直接接收关联指标的多个数据，接收与目标拟合模型关联的关系函数，可以进一步减少传输的数据量和存储的数据量，从而减轻数据传输压力和数据存储压力。在一些可能的实现方式中，第二设备可以根据需求选择对数据进行无损恢复或者有损恢复。其中，对于数据精度要求较高的数据，可以选择无损恢复，对于数据精度要求相对较低的数据，可以选择有损恢复，节省成本。在具体实现时，第二设备根据目标拟合模型直接恢复数据，属于有损恢复。当第二设备还接收来自第一设备的差值，该差值是第一设备获取的所述多个数据与所述第一设备基于所述目标拟合模型恢复的多个数据的差值，第二设备可以根据目标拟合模型和差值恢复多个数据中的至少一个。具体地，第二设备可以根据目标拟合模型先进行数据恢复，然后在此基础上叠加上述差值，得到原始数据，如此实现数据无损恢复。第三方面，本申请提供了一种数据处理装置，该数据处理装置包括：通信模块，用于获取多个数据；拟合模块，用于基于所述多个数据获得目标拟合模型；所述通信模块，还用于向第二设备发送所述目标拟合模型，所述目标拟合模型用于恢复所述多个数据中的至少一个数据。在一些可能的实现方式中，所述拟合模块具体用于：根据所述多个数据对多个拟合模型进行模型拟合，以从所述多个拟合模型选择一个拟合模型来作为所述目标拟合模型。在一些可能的实现方式中，所述多个拟合模型包括线性模型、多项式模型和神经网络模型中的本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n第一设备获取多个数据；/n所述第一设备基于所述多个数据获得目标拟合模型；/n所述第一设备向第二设备发送所述目标拟合模型，所述目标拟合模型用于恢复所述多个数据中的至少一个数据。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
第一设备获取多个数据；
所述第一设备基于所述多个数据获得目标拟合模型；
所述第一设备向第二设备发送所述目标拟合模型，所述目标拟合模型用于恢复所述多个数据中的至少一个数据。


2.根据权利要求1所述的方法，其特征在于，所述第一设备基于所述多个数据获得目标拟合模型，包括：
根据所述多个数据对多个拟合模型进行模型拟合，以从所述多个拟合模型选择一个拟合模型来作为所述目标拟合模型。


3.根据权利要求2所述的方法，其特征在于，所述多个拟合模型包括线性模型、多项式模型和神经网络模型中的至少两个。


4.根据权利要求2所述的方法，其特征在于，所述第一设备向第二设备发送所述目标拟合模型，包括：
所述第一设备向第二设备发送所述第一设备选择的拟合模型的标识以及对应的模型参数。


5.根据权利要求1至4任意一项所述的方法，其特征在于，所述方法还包括：
所述第一设备向所述第二设备发送与所述目标拟合模型关联的关系函数，所述关系函数用于基于所述目标拟合模型确定另一个目标拟合模型，所述另一个目标拟合模型用于恢复所述多个数据关联的其它数据中的至少一个数据。


6.根据权利要求1至4任意一项所述的方法，其特征在于，所述方法还包括：
所述第一设备向所述第二设备发送差值，所述差值用于结合所述目标拟合模型来恢复所述多个数据中的至少一个数据，所述差值是所述第一设备获取的所述多个数据与所述第一设备基于所述目标拟合模型恢复的多个数据的差值。


7.根据权利要求1至4任意一项所述的方法，其特征在于，所述多个数据包括时间窗内的多个时序数据。


8.一种数据处理方法，其特征在于，所述方法包括：
第二设备接收来自第一设备的目标拟合模型，所述目标拟合模型由所述第一设备基于获取的多个数据获得；
所述第二设备根据所述目标拟合模型恢复所述多个数据中的至少一个数据。


9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
所述第二设备接收与所述目标拟合模型关联的关系函数；
所述第二设备根据所述关系函数和所述目标拟合模型确定另一个目标拟合模型；
所述第二设备根据所述另一个目标拟合模型恢复所述多个数据关联的其它数据中的至少一个数据。


10.根据权利要求8或9所述的方法，其特征在于，所述方法还包括：
所述第二设备接收来自第一设备的差值，所述差值是所述第一设备获取的所述多个数据与所述第一设备基于所述目标拟合模型恢复的多个数据的差值；
所述第二设备根据所述目标拟合模型恢复所述多个数据中的至少一个数据，包括：
所述第二设备根据所述目标拟合模型和所述差值恢复所述多个数据中的至少一个数据。


11.一种数据处理装置，其特征在于，所述装置包括：
通信模块，用于获取多个数据；
拟合模块，用于基于所述多个数据获...

【专利技术属性】
技术研发人员：夏伊·霍罗威茨，雅尔·埃瑞恩，诺阿姆·佩雷斯，王琛，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44