System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种数据预处理与传输系统及方法技术方案_技高网

一种数据预处理与传输系统及方法技术方案

技术编号:40576321 阅读:6 留言:0更新日期:2024-03-06 17:17
本申请一种数据预处理与传输系统及方法,属于数据采集与传输领域,包括数据采集模块,数据采集模块设于设备端,以采集设备端的数据;第一数据处理模块,第一数据处理模块设于设备端,第一数据处理模块用于压缩至少部分数据,并将数据传输至边缘端;第二数据处理模块,第二数据处理模块设于边缘端,第二数据处理模块包括解压单元和特征参数提取单元,解压单元用于解压被压缩的数据,特征参数提取单元用于提取至少部分数据的特征参数,并将其他数据以及特征参数传输至云端。本申请通过数据预压缩、解压并针对数据降维,减小数据传输的储存空间和传输带宽的需求,提高数据传输效率。

【技术实现步骤摘要】

本申请属于数据采集与传输,具体涉及一种数据预处理与传输系统及方法


技术介绍

1、数据采集与传输技术的需求源于传感器技术、物联网、无线通信、云计算和大数据等领域的发展。通过采集和传输大量的数据,我们能够实时了解和监测各个领域的情况,从而做出基于数据的决策。

2、当前数据采集与传输的方式主要是传感器采集数据后将数据通过无线网络上传到云端,这种方式对无线网络的可靠性与带宽需求较高,经常出现数据传输中断或堵塞。


技术实现思路

1、专利技术目的:本申请实施例提供一种数据预处理与传输系统,旨在解决上述技术问题;本申请的另一目的在于提供一种使用上述数据预处理与传输系统的数据预处理与传输方法。

2、技术方案:本申请的一种数据预处理与传输系统,包括:

3、数据采集模块,所述数据采集模块设于设备端,以采集所述设备端的数据;

4、第一数据处理模块,所述第一数据处理模块设于所述设备端,所述第一数据处理模块用于压缩至少部分所述数据,并将所述数据传输至边缘端;

5、第二数据处理模块,所述第二数据处理模块设于所述边缘端,所述第二数据处理模块包括解压单元和特征参数提取单元,所述解压单元用于解压被压缩的所述数据,所述特征参数提取单元用于提取至少部分所述数据的特征参数,并将其他所述数据以及所述特征参数传输至云端。

6、在一些实施例中,所述第一数据处理模块包括第一数据识别单元和压缩单元,所述第一数据识别单元用于识别所述数据中的高频数据,所述压缩单元用于编码压缩所述高频数据。

7、在一些实施例中,所述第一数据处理模块与所述第二数据处理模块通过有线连接实现数据的传输。

8、在一些实施例中,所述第二数据处理模块还包括数据异常检测单元和数据修复单元,所述数据异常检测单元用于检测所述数据中的异常数据,并将所述异常数据传输至所述数据修复单元进行修复。

9、在一些实施例中,所述数据异常检测单元用于通过阈值比较、统计分析和模型比对的至少一者检测所述异常数据。

10、在一些实施例中,所述数据修复单元用于通过分析关联测点之间的历史数据和特征并推断所述异常数据的合理数值。

11、在一些实施例中,所述第二数据处理模块还包括第二数据识别单元,所述第二数据识别单元用于识别所述数据中的高频数据。

12、在一些实施例中,所述特征参数提取单元用于提取所述高频数据的频域特征和时域特征。

13、在一些实施例中,所述特征参数提取单元用于通过快速傅里叶变换和小波变换的其中一者提取所述频域特征。

14、相应的,本申请实施例所述的一种数据预处理与传输方法,应用于上述的数据预处理与传输系统,包括:

15、通过数据采集模块采集设备端的数据;

16、通过第一数据处理模块压缩至少部分数据,并将数据传输至边缘端;

17、通过解压单元解压被压缩的数据;

18、通过特征参数提取单元提取至少部分数据的特征参数,并将特征参数以及其他数据传输至云端。

19、在一些实施例中,被压缩的数据为高频数据,且提取高频数据的特征参数。

20、在一些实施例中,通过有线连接将设备端的数据传输至边缘端。

21、在一些实施例中,数据解压后,预先检测数据中的异常数据并修复。

22、在一些实施例中,提取的特征参数包括频域特征和时域特征。

23、有益效果:本申请实施例的数据预处理与传输系统通过数据采集模块采集设备端的数据,通过第一数据处理模块压缩至少部分数据并将数据传输至边缘端,数据传输前的压缩有利于减小数据的储存空间和传输带宽需求,通过第二数据处理模块中的解压单元解压数据以及通过特征参数提取单元提取至少部分数据的特征参数,从而在将其他数据以及特征参数传输至云端前降低至少部分数据的维度,有利于降低数据传输负担,提高数据传输效率。

本文档来自技高网...

【技术保护点】

1.一种数据预处理与传输系统,其特征在于,包括:

2.根据权利要求1所述的数据预处理与传输系统,其特征在于,

3.根据权利要求1所述的数据预处理与传输系统,其特征在于,

4.根据权利要求1至3中任一项所述的数据预处理与传输系统,其特征在于,

5.根据权利要求4所述的数据预处理与传输系统,其特征在于,

6.根据权利要求4所述的数据预处理与传输系统,其特征在于,

7.根据权利要求1至3中任一项所述的数据预处理与传输系统,其特征在于,

8.根据权利要求7所述的数据预处理与传输系统,其特征在于,

9.根据权利要求8所述的数据预处理与传输系统,其特征在于,

10.一种数据预处理与传输方法,其特征在于,应用于如权利要求1至9中任一项所述的数据预处理与传输系统,包括:

11.根据权利要求10所述的数据预处理与传输方法,其特征在于,

12.根据权利要求10所述的数据预处理与传输方法,其特征在于,

13.根据权利要求10所述的数据预处理与传输方法,其特征在于,

14.根据权利要求10所述的数据预处理与传输方法,其特征在于,

...

【技术特征摘要】

1.一种数据预处理与传输系统,其特征在于,包括:

2.根据权利要求1所述的数据预处理与传输系统,其特征在于,

3.根据权利要求1所述的数据预处理与传输系统,其特征在于,

4.根据权利要求1至3中任一项所述的数据预处理与传输系统,其特征在于,

5.根据权利要求4所述的数据预处理与传输系统,其特征在于,

6.根据权利要求4所述的数据预处理与传输系统,其特征在于,

7.根据权利要求1至3中任一项所述的数据预处理与传输系统,其特征在于,

8.根据权利要求7所...

【专利技术属性】
技术研发人员:吴德阳马士飞魏承印陈冬梅刘浩李婷婷
申请(专利权)人:中国船舶集团有限公司第七一一研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1