一种数据格式转换的方法技术

本申请公开了一种数据格式转换的方法

【技术实现步骤摘要】
一种数据格式转换的方法、装置、电子设备及存储介质


[0001]本申请涉及大数据
，特别涉及一种数据格式转换的方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]随着物联网技术的发展，物联网设备的数量持续爆炸式增长，由于物联网设备数量的增加，所接收的数据量也相应的增长
。
由于不同的设备所采用的数据格式可能会不相同，因此，为了统一对数据进行分析处理，需要对不同的设备所产生的数据进行格式转换
。
而在现有技术中采用的数据转换技术无法实现对数据进行协同处理，数据转换的效率低
。

技术实现思路

[0003]有鉴于此，本申请实施例提供了一种数据格式转换的方法
、
装置
、
电子设备及存储介质，旨在提高数据格式转换的效率及协同性
。
[0004]第一方面，本申请实施例提供了数据格式转换的方法，所述方法由边缘设备执行所述方法包括：
[0005]采集数据并进行预处理得到第一数据；
[0006]将所述第一数据发送至云平台；
[0007]响应于所述云平台对所述第一数据的格式检测结果，对所述第一数据进行格式转换得到第二数据；
[0008]将所述第二数据发送至所述云平台进行格式检测
。
[0009]可选的，所述采集数据并进行预处理得到第一数据，包括：
[0010]获取采集到的所述数据；
[0011]对所述数据执行目标操作，所述目标操作包括数据清洗
、
数据压缩及数据加密中的至少一种操作；
[0012]将完成所述目标操作的数据进行格式转换得到第一数据
。
[0013]可选的，所述响应于所述云平台对所述第一数据的格式检测结果，对所述第一数据进行格式转换得到第二数据，包括：
[0014]获取所述云平台对所述第一数据的格式检测结果；
[0015]预先设置格式转换模板；
[0016]根据所述格式检测结果利用所述格式转换模板，对所述第一数据进行格式转换得到第二数据
。
[0017]第二方面，本申请实施例提供了一种数据格式转换的方法，
[0018]所述方法由云平台执行，所述方法包括：
[0019]接收由边缘设备上传的第一数据，所述第一数据为经过所述边缘设备完成预处理的数据；
[0020]对所述第一数据进行格式检测，并得到格式检测结果；
[0021]将所述格式检测结果发送至所述边缘设备；
[0022]响应于边缘设备上传的第二数据，对所述第二数据进行格式检测，所述第二数据为所述边缘设备基于所述格式检测结果对所述第一数据进行格式转换得到的
。
[0023]可选的，所述对所述第一数据进行格式检测，并得到格式检测结果，包括：
[0024]利用机器学习对所述第一数据进行格式检测；
[0025]基于所述格式检测的结果，识别所述第一数据中的不同格式的数据以及所述不同格式的数据之间的关联关系，得到格式检测结果
。
[0026]可选的，所述响应于边缘设备上传的第二数据，对所述第二数据进行格式检测之后，所述方法还包括：
[0027]当确定所述第二数据的格式正确时，将所述第二数据进行存储操作
。
[0028]第三方面，本申请实施例提供了一种数据格式转换的装置，所述装置配置于边缘设备，所述装置包括：采集模块
、
发送模块及转换模块；
[0029]所述采集模块用于，采集数据并进行预处理得到第一数据；
[0030]所述发送模块用于，将所述第一数据发送至云平台；
[0031]所述转换模块用于，响应于所述云平台对所述第一数据的格式检测结果，对所述第一数据进行格式转换得到第二数据；
[0032]所述发送模块还用于，将所述第二数据发送至所述云平台进行格式检测
。
[0033]第四方面，本申请实施例提供了一种数据格式转换的装置，所述装置配置于云平台，所述装置包括：接收模块
、
检测模块及发送模块；
[0034]所述接收模块用于，接收由边缘设备上传的第一数据，所述第一数据为经过所述边缘设备完成预处理的数据；
[0035]所述检测模块用于，对所述第一数据进行格式检测，并得到格式检测结果；
[0036]所述发送模块用于，将所述格式检测结果发送至所述边缘设备；
[0037]所述检测模块还用于，响应于边缘设备上传的第二数据，对所述第二数据进行格式检测，所述第二数据为所述边缘设备基于所述格式检测结果对所述第一数据进行格式转换得到的
。
[0038]第五方面，本申请提供了一种电子设备，所述设备包括：处理器
、
存储器
、
系统总线；
[0039]所述处理器以及所述存储器通过所述系统总线相连；
[0040]所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行实现第一方面或第二方面所述方法
。
[0041]第六方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质中存储有代码，当所述代码被运行时，运行所述代码的设备实现前述第一方面或第二方面所述方法
。
[0042]本申请提供了一种数据格式转换的方法
、
装置
、
电子设备及存储介质，该方法由边缘设备执行，首先采集数据并进行预处理得到第一数据，然后将所述第一数据发送至云平台，响应于所述云平台对所述第一数据的格式检测结果，对所述第一数据进行格式转换得到第二数据
。
最后将所述第二数据发送至所述云平台进行格式检测
。
除此之外，还提出了一种方法由云平台执行，该方法包括：首先接收由边缘设备上传的第一数据，所述第一数据为
经过所述边缘设备完成预处理的数据，然后对所述第一数据进行格式检测，并得到格式检测结果，将所述格式检测结果发送至所述边缘设备，最后响应于边缘设备上传的第二数据，对所述第二数据进行格式检测，所述第二数据为所述边缘设备基于所述格式检测结果对所述第一数据进行格式转换得到的
。
如此，通过利用边缘设备对数据进行预处理能够在一定程度上保障数据的安全性，同时还可以对数据进行优化以提高沟洫数据转换的效率，然后将处理后的数据上传至云平台能够实现云平台与边缘设备间的协同操作，使得两端的数据能够实现实时的检测
、
数据转换以及同步
。
边缘设备基于云平台下发的格式检测结果，利用预置的格式转换框架对采集的数据进行转换，以适应云平台的存储与分析需求
。
除此之外利用云平台基于机器学习等技术对不同来源的数据集进行格式检测与分类分析，识别出不同格式的数据集及其关联关系，为边缘设备指导数据格式的转换工作<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据格式转换的方法，其特征在于，所述方法由边缘设备执行，所述方法包括：采集数据并进行预处理得到第一数据；将所述第一数据发送至云平台；响应于所述云平台对所述第一数据的格式检测结果，对所述第一数据进行格式转换得到第二数据；将所述第二数据发送至所述云平台进行格式检测
。2.
根据权利要求1所述的方法，其特征在于，所述采集数据并进行预处理得到第一数据，包括：获取采集到的所述数据；对所述数据执行目标操作，所述目标操作包括数据清洗
、
数据压缩及数据加密中的至少一种操作；将完成所述目标操作的数据进行格式转换得到第一数据
。3.
根据权利要求1所述的方法，其特征在于，所述响应于所述云平台对所述第一数据的格式检测结果，对所述第一数据进行格式转换得到第二数据，包括：获取所述云平台对所述第一数据的格式检测结果；预先设置格式转换模板，所述格式转换模板包括数据与格式的对应关系；根据所述格式检测结果利用所述格式转换模板，对所述第一数据进行格式转换得到第二数据
。4.
一种数据格式转换的方法，其特征在于，所述方法由云平台执行，所述方法包括：接收由边缘设备上传的第一数据，所述第一数据为经过所述边缘设备完成预处理的数据；对所述第一数据进行格式检测，并得到格式检测结果；将所述格式检测结果发送至所述边缘设备；响应于边缘设备上传的第二数据，对所述第二数据进行格式检测，所述第二数据为所述边缘设备基于所述格式检测结果对所述第一数据进行格式转换得到的
。5.
根据权利要求4所述的方法，其特征在于，所述对所述第一数据进行格式检测，并得到格式检测结果，包括：利用机器学习对所述第一数据进行格式检测；基于所述格式检测的结果，识别所述第一数据中的不同格式的数据以及所述不同格式的数据之间的关联关系，得到格式检测结果
。6.
根据权利要求4所述的方法，其特征在于，所述响应于边缘设备上传的第二数据，对所述第二数据进行格式检测之后，所述方法还包括：当确定所述第二数据的格式正确...

【专利技术属性】
技术研发人员：赵维宇，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：