一种数据处理方法及装置、存储介质制造方法及图纸

本申请提供一种数据处理方法及装置、存储介质。所述数据处理方法应用于边缘网关，包括：接收采集设备发送的数据，所述数据为待发送至云端的数据；确定当前与所述云端的网络状态；在确定所述网络状态为异常状态时，获取所述采集设备对应的缓存空间的当前缓存信息；根据所述当前缓存信息将所述数据缓存到所述缓存空间中。该数据处理方法能够保证数据完整性。

A data processing method, device and storage medium

The application provides a data processing method, a device and a storage medium. The data processing method is applied to the edge gateway, including: receiving the data sent by the collection device, which is the data to be sent to the cloud; determining the current network state with the cloud; obtaining the current cache information of the cache space corresponding to the collection device when determining the network state as the abnormal state; buffering the data according to the current cache information Storing in the cache space. The data processing method can ensure the data integrity.

【技术实现步骤摘要】
一种数据处理方法及装置、存储介质
本申请涉及物联网领域，具体而言，涉及一种数据处理方法及装置、存储介质。
技术介绍
随着物联网行业的发展，终端设备的种类的越来越多，设备供应商越来越多样，为了满提供物联网设备的实时业务需求，加快设备的数据的响应和处理速度，边缘计算方案应运而生，边缘计算的出现将计算能力从云分布到了距离传感器等终端更近的边缘侧，极大的降低了网络延时以及云端的计算负担，边缘计算可以在没有云的情况下运行，但是云平台仍然是必不可少的部分，对于边缘计算设备长期采集的数据仍然需要在某一时刻发送到云端，以保持设备的数据的完整性和连贯性，以便于对设备的行为做进一步的分析。边缘计算的核心能力在于对数据的解析，聚合，计算，存储。物联网产业中，节点设备采集的数据是业务的核心。现有边缘计算方案中节点数据到达边缘网关后，边缘网关在对数据进行预处理后，发送给云端，但是当网络状况较差或者云端暂时宕机的情况，数据在被边缘计算网关预处理后发送给云端时因为网络的原因可能会出现数据丢失的情况，从而不能保证最终上传的数据的完整性。
技术实现思路
本申请实施例的目的在于提供一种数据处理方法及装置、存储介质，用以保证数据的最终完整性。第一方面，本申请实施例提供一种数据处理方法，应用于边缘网关，包括：接收采集设备发送的数据，所述数据为待发送至云端的数据；确定当前与所述云端的网络状态；在确定所述网络状态为异常状态时，获取所述采集设备对应的缓存空间的当前缓存信息；根据所述当前缓存信息将所述数据缓存到所述缓存空间中。<br>在本申请实施例中，在将接收到的数据发送至云端之前，会先确定当前与云端的网络状态，在确定网络状态为异常时，不将数据直接传输给云端，而是根据当前的缓存信息将数据先缓存到缓存空间中。与现有技术相比，网关与云端的网络状态出现异常，数据会流向本地处理(即缓存到网关的缓存空间中)，能避免在网络异常时上传数据，进而避免由于网络原因导致的数据丢失，保证数据完整性。作为一种可能的实现方式，所述缓存信息包括缓存数据量和缓存阈值，根据所述当前缓存信息将所述数据缓存到所述缓存空间中，包括：判断当前所述采集设备的缓存数据量是否超过所述缓存阈值，在所述缓存数据量超过所述缓存阈值时，删除符合预设删除条件的所述采集设备的缓存数据；将所述数据缓存到所述采集设备对应的缓存空间中。在本申请实施例中，在缓存数据之前，考虑到网关存储空间的问题，不能无节制的对磁盘进行缓存操作，通过先判断采集设备对应的缓存量是否超过缓存阈值，若超过的话，就删除一部分在先数据再缓存当前的数据，能够防止网关存储压力过大而出现故障等情况，进而保证网关缓存数据的稳定性。作为一种可能的实现方式，在获取所述采集设备对应的缓存空间的当前缓存信息之前，所述方法还包括：确定自身对应的多个所述采集设备；根据多个所述采集设备各自上传数据的时间间隔和上传数据的数据量确定各个采集设备对应的所述缓存空间的所述缓存阈值。在本申请实施例中，根据采集设备上传数据的时间间隔和上传数据的数据量能比较合理的设置缓存阈值，降低网关的缓存压力。作为一种可能的实现方式，删除符合预设删除条件的所述采集设备的缓存数据，包括：确定在所述采集设备的缓存空间中缓存的时间大于预设值的在先缓存数据；删除所述在先缓存数据。在本申请实施例中，在删除缓存数据时，删除缓存的时间大于预设值的在线缓存数据，相当于把缓存时间很长的数据给删除，这部分数据由于缓存的时间较长，数据本身的使用价值不大，能够一定程度上避免删除比较重要的数据。作为一种可能的实现方式，在获取所述采集设备对应的缓存空间的当前缓存信息之前，所述方法还包括：接收所述云端发送的与自身对应的多个所述采集设备的缓存规则；所述缓存规则用于指示各个采集设备的缓存空间分配方式；根据所述缓存规则分配所述各个采集设备分别对应的缓存空间。在本申请实施例中，由云端发送缓存规则给边缘网关，网关再根据缓存规则分配缓存空间，能够快速有效的完成缓存空间的分配。除此以外，每个采集设备都有对应的缓存空间，在缓存数据时，避免不同的采集设备的数据的相互影响。作为一种可能的实现方式，确定当前与所述云端的网络状态，包括：检测当前是否能够正常访问网络；在当前能够正常访问网络时，按照预设周期发送心跳报文给所述云端；在接收到所述云端发送的与所述心跳报文对应的心跳响应报文时，确定所述网络状态为正常状态；在未接收到所述云端发送的所述心跳响应报文时，确定所述网络状态为所述异常状态。在本申请实施例中，通过心跳报文检测与云端之间的连接状态，能够实时的检测与云端的网络状态是否正常。作为一种可能的实现方式，在根据所述当前缓存信息将所述数据缓存到所述缓存空间中后，所述方法还包括：在确定所述网络状态恢复为正常状态时，将所述数据按照预设规则发送给所述云端。在本申请实施例中，在将数据暂时进行缓存后，若确定与云端的网络状态恢复正常，将数据再上传给云端，保证数据的在完整的同时还能及时发送给云端。作为一种可能的实现方式，将所述数据按照预设规则发送给所述云端，包括：根据所述数据的数据量大小将所述数据分批次的发送给所述云端。在本申请实施例中，通过将缓存的数据分批次的发送给云端，减少对服务带宽产生的压力，能够避免一次性上传的数据太多而失败。第二方面，本申请实施例提供一种数据处理装置，应用于边缘网关，该数据处理装置包括用于实现第一方面以及第一方面的任意可能的实现方式中所述的方法的各个功能模块。第三方面，本申请实施例提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被计算机运行时执行如第一方面的以及第一方面的任意可能的实现方式中所述的方法中的步骤。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本申请实施例提供的边缘系统结构示意图。图2为本申请实施例提供的数据处理方法流程图。图3为本申请实施例提供的对边缘网关进行配置的实施流程图。图4为本申请实施例提供的数据处理方法的整体实施流程图。图5为本申请实施例提供的数据处理装置的功能模块图。图标：100-边缘系统；101-云端；102-边缘网关；103-采集设备；300-数据处理装置；301-接收模块；302-处理模块；303-获取模块。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。请参照图1，图1为本申请实施例提供的边缘系统100的结构示意图，边缘系统100应用于物联网通信，如图1所示，边缘系统100包括云端101、多个边缘网关102以及多个采集设备103。其中，云端101与多本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，应用于边缘网关，包括：/n接收采集设备发送的数据，所述数据为待发送至云端的数据；/n确定当前与所述云端的网络状态；/n在确定所述网络状态为异常状态时，获取所述采集设备对应的缓存空间的当前缓存信息；/n根据所述当前缓存信息将所述数据缓存到所述缓存空间中。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于边缘网关，包括：
接收采集设备发送的数据，所述数据为待发送至云端的数据；
确定当前与所述云端的网络状态；
在确定所述网络状态为异常状态时，获取所述采集设备对应的缓存空间的当前缓存信息；
根据所述当前缓存信息将所述数据缓存到所述缓存空间中。


2.根据权利要求1所述的方法，其特征在于，所述缓存信息包括缓存数据量和缓存阈值，根据所述当前缓存信息将所述数据缓存到所述缓存空间中，包括：
判断当前所述采集设备的缓存数据量是否超过所述缓存阈值，在所述缓存数据量超过所述缓存阈值时，删除符合预设删除条件的所述采集设备的缓存数据；
将所述数据缓存到所述采集设备对应的缓存空间中。


3.根据权利要求2所述的方法，其特征在于，在获取所述采集设备对应的缓存空间的当前缓存信息之前，所述方法还包括：
确定自身对应的多个所述采集设备；
根据多个所述采集设备各自上传数据的时间间隔和上传数据的数据量确定各个采集设备对应的所述缓存空间的所述缓存阈值。


4.根据权利要求2所述的方法，其特征在于，删除符合预设删除条件的所述采集设备的缓存数据，包括：
确定在所述采集设备的缓存空间中缓存的时间大于预设值的在先缓存数据；
删除所述在先缓存数据。


5.根据权利要求1所述的方法，其特征在于，在获取所述采集设备对应的缓存空间的当前缓存信息之前，所述方法还包括：
接收所述云端发送的与自身对应的多个所述采集设备的缓存规则；所述缓存规则用于指示各个采集设备的缓存空间分...

【专利技术属性】
技术研发人员：程聪，
申请(专利权)人：北京元安物联技术有限公司，
类型：发明
国别省市：北京;11