一种数据处理方法及装置、存储介质制造方法及图纸

本申请实施例公开了一种数据处理方法及装置、存储介质，包括：对数据传输通道缓存区中的待传输数据进行冗余监测；在待传输数据中存在冗余数据的情况下，对待传输数据进行去冗余处理，得到传输数据；向云端发送传输数据。向云端发送传输数据。向云端发送传输数据。

【技术实现步骤摘要】
一种数据处理方法及装置、存储介质


[0001]本申请涉及数据处理
，尤其涉及一种数据处理方法及装置、存储介质。

技术介绍

[0002]在边缘计算场景中，云边数据传输是监控运维边侧设备的重要一环。轻边缘设备每天会产生大量数据，并上传至云端，供云端分析。
[0003]相关技术中，边侧在得到需要向云端传输的数据的情况下，会现将需要传输的数据放入缓存区中，待缓存区中的数据量达到缓存数据阈值的情况下，就将缓存中的全部数据传输至云端。由于缓存区中的数据中有部分数据是相同的数据，即边侧向云端传输的数据中存在重复的部分，造成不必要的数据流量开销，提高了云边数据的传输量。

技术实现思路

[0004]为解决上述技术问题，本申请实施例期望提供一种数据处理方法及装置、存储介质，能够降低云边数据的传输量。
[0005]本申请的技术方案是这样实现的：
[0006]本申请实施例提供一种数据处理方法，所述数据处理方法包括：
[0007]对数据传输通道缓存区中的待传输数据进行冗余监测；
[0008]在所述待传输数据中存在冗余数据的情况下，对所述待传输数据进行去冗余处理，得到传输数据；
[0009]向云端发送所述传输数据。
[0010]本申请实施例提供了一种数据处理装置，所述装置包括：
[0011]监测单元，用于对数据传输通道缓存区中的待传输数据进行冗余监测；
[0012]处理单元，用于在所述待传输数据中存在冗余数据的情况下，对所述待传输数据进行去冗余处理，得到传输数据；
[0013]发送单元，用于向云端发送所述传输数据。
[0014]本申请实施例提供了一种数据处理装置，所述装置包括：
[0015]存储器、处理器和通信总线，所述存储器通过所述通信总线与所述处理器进行通信，所述存储器存储所述处理器可执行的数据处理的程序，当所述数据处理的程序被执行时，通过所述处理器执行上述所述的数据处理方法。
[0016]本申请实施例提供了一种存储介质，其上存储有计算机程序，应用于数据处理装置，其特征在于，该计算机程序被处理器执行时实现上述所述的数据处理方法。
[0017]本申请实施例提供了一种数据处理方法及装置、存储介质，数据处理方法包括：对数据传输通道缓存区中的待传输数据进行冗余监测；在待传输数据中存在冗余数据的情况下，对待传输数据进行去冗余处理，得到传输数据；向云端发送传输数据。采用上述方法实现方案，数据处理装置通过对待传输数据进行冗余监测，以确定待传输数据中是否存在冗余数据，在确定出待传输数据中存在冗余数据的情况下，对该待传输数据进行去冗余处理，
得到传输数据，即向云端传输的数据为不存在冗余的数据，减少了不必要的数据流量开销，降低了云边数据的传输量。
附图说明
[0018]图1为本申请实施例提供的一种数据处理方法流程图；
[0019]图2为本申请实施例提供的一种示例性的边侧设备与云端交互示意图一；
[0020]图3为本申请实施例提供的一种示例性的边侧设备与云端交互示意图二；
[0021]图4为本申请实施例提供的一种示例性的数据处理方法流程图；
[0022]图5为本申请实施例提供的一种数据处理装置的组成结构示意图一；
[0023]图6为本申请实施例提供的一种数据处理装置的组成结构示意图二。
具体实施方式
[0024]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0025]本申请实施例提供了一种数据处理方法，一种数据处理方法应用于数据处理装置，图1为本申请实施例提供的一种数据处理方法流程图，如图1所示，数据处理方法可以包括：
[0026]S101、对数据传输通道缓存区中的待传输数据进行冗余监测。
[0027]本申请实施例提供的一种数据处理方法适用于待传输数据进行冗余监测，并在确定出待传输数据中存在冗余的情况下，对待传输数据进行去冗余传输的场景下。
[0028]在本申请实施例中，数据处理装置可以为边侧设备，可以以各种形式来实施。例如，本申请中描述的数据处理装置可以包括诸如手机、照相机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等装置，以及诸如数字TV、台式计算机、服务器等装置。
[0029]在本申请实施例中，数据处理方法具体适用于云边通信中，用于将边侧中的待传输数据进行去冗余处理后传输至云端。
[0030]在本申请实施例中，云边通信，通常会有多种不同的互连方式，如kafka，NATS，websocket等，具体的可以根据实际情况进行确定，本申请实施例对此不作限定。
[0031]在本申请实施例中，数据传输装置中设置有数据传输通道缓存区，用于缓存待传输数据，在待传输数据的数据量达到预设数据量阈值的情况下，向云端设备发送满足该预设数据量阈值的数据。
[0032]需要说明的是，待传输数据的个数可以根据实际情况进行确定，本申请实施例对此不作限定。
[0033]在本申请实施例中，数据传输装置中设置有监测装置(也称之为数据校验器)，用于监测边侧通道缓存区中维度的部分，当特定维度检测出有重复(即待传输数据中存在冗余数据)，则对消息中该字段将新生成的数据(待传输的新数据)中重复部分剔除，将该消息对应的实际数据部分(剔除的数据)指向已存在缓冲区中的数据位置(第一条数据的位置)，
达到减少消息数量大小的目的。
[0034]在本申请实施例中，监测装置可以一直对数据传输通道缓存区中的待传输数据进行冗余监测，也可以在检测到数据传输通道缓存区中存在待传输数据的情况下，就开始对待传输数据进行冗余监测；具体的监测装置对数据传输通道缓存区中的待传输数据进行冗余监测的方式可以根据实际情况进行确定，本申请实施例对此不作限定。
[0035]在本申请实施例中，监测装置可以为现有技术中的可以对待传输数据进行冗余监测的装置，也可以为专为云边通信而适配的可以对待传输数据进行冗余监测的装置，具体的可以根据实际情况进行确定，本申请实施例对此不作限定。
[0036]在本申请实施例中，数据传输装置对数据传输通道缓存区中的待传输数据进行冗余监测之前，还会向云端发送通信通道建立请求，以根据通信通道建立请求建立与云端之间的通信信道；在通信信道建立成功的情况下，向云端发送缓存区的配置信息。
[0037]在本申请实施例中，根据消息接收者(云端)和消息生产者(边端)数量配置通道partition，以建立边端与云端之间的通信信道。
[0038]在本申请实施例中，配置信息包括缓存区的大小，传输数据的数据格式等，以保证边侧的缓存区和云端缓存区的配置相同。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其中，所述方法包括：对数据传输通道缓存区中的待传输数据进行冗余监测；在所述待传输数据中存在冗余数据的情况下，对所述待传输数据进行去冗余处理，得到传输数据；向云端发送所述传输数据。2.根据权利要求1所述的方法，其中，所述对所述待传输数据进行去冗余处理，得到传输数据，包括：在所述待传输数据中的第一部分数据与目标数据中的第二部分数据相同的情况下，利用所述目标数据对所述第一部分数据进行去冗余处理，得到所述传输数据；所述第一部分数据为所述待传输数据中携带边侧设备的属性的数据；所述第二部分数据为所述目标数据中携带边侧设备的属性的数据；所述边侧设备为生成所述待传输数据的设备。3.根据权利要求2所述的方法，其中，所述利用所述目标数据对所述第一部分数据进行去冗余处理，得到所述传输数据，包括：获取所述目标数据的目标标识；在所述待传输数据中，利用所述目标标识替换所述第一部分数据，得到所述传输数据。4.根据权利要求2所述的方法，其中，所述方法还包括：根据所述待传输数据设置所述目标数据的删除标识，所述删除标识用于标识所述目标数据是否可被删除。5.根据权利要求4所述的方法，其中，所述方法还包括：在利用所述目标数据对所述第一部分数据进行去冗余处理的情况下，将所述删除标识设置为第一状态，所述第一状态用于表征所述目标数据不可被删...

【专利技术属性】
技术研发人员：张志正，薛冬梅，刘继秀，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：