一种分布式信号数据分析系统技术方案

本发明专利技术公开一种分布式信号数据分析系统，包括信号数据读取模块，信号数据读取模块包括有HDFS，HDFS搭载分布式计算引擎，信号数据读取模块基于HDFS从信号文件或数据库中的分布式提取数据，将数据分布式读取为信号数据，实现离线的信号数据的IO加速；信号数据与表格数据转换模块，用于将信号数据借助Arrow通信转换为信号DataFrame；信号数据分析模块，用于通过Arrow序列化和反序列化来实现Spark和Python间的数据通信，并基于动态内存加载的信号分析函数引用机制实现分块调用信号分析函数。本发明专利技术分调用了Spark集群资源，能够避免单机计算海量信号数据时面临的资源不足的问题，同时提高对海量信号数据分析的执行效率。同时提高对海量信号数据分析的执行效率。同时提高对海量信号数据分析的执行效率。

【技术实现步骤摘要】
一种分布式信号数据分析系统


[0001]本专利技术属于信号分析
，涉及一种分布式信号数据分析系统。

技术介绍

[0002]信号分析与处理技术正在不断发展，应用于很多场景，比如设备故障诊断和监测、分析设备干扰因素等。随着信息技术的不断发展和信息技术应用领域的不断扩展，使得信号分析领域进入到大数据时代，信号采集数据增长率已经远超高数据存储增率和信号分析速度增长率，逐渐暴露出很多问题。在大数据背景下，数据信号量持续增加，高速的信号分析面临极大的挑战。
[0003]Spark是专为大规模数据处理而设计的快速通用的分布式计算引擎。其包含Spark SQL、Spark Streaming、MLlib和Graphx等模块，可用于ETL分析、在线数据分析、流计算、机器学习和图计算等场景。
[0004]Arrow定义了一种在内存中表示Tabular Data的格式，同时定义了IPC格式，序列化内存中的数据，进行网络传输，让数据在不同的进程之间进行交换。
[0005]Python中有许多现成的信号数据分析模块，是信号分析领域中最有利的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式信号数据分析系统，其特征在于，包括：信号数据读取模块，信号数据读取模块包括有HDFS，所述HDFS搭载分布式计算引擎，信号数据读取模块基于HDFS从信号文件或数据库中的分布式提取数据，将数据分布式读取为信号数据，实现离线的信号数据的IO加速；信号数据与表格数据转换模块，用于将所述信号数据借助Arrow通信转换为信号DataFrame；信号数据分析模块，用于通过Arrow序列化和反序列化来实现Spark和Python间的数据通信，并基于动态内存加载的信号分析函数引用机制实现分块调用所述信号分析函数。2.根据权利要求1所述的一种分布式信号数据分析系统，其特征在于，所述步骤1中的数据的格式包括有wav、txt、dat和csv的信号文件以及IoTDB数据库。3.根据权利要求2所述的一种分布式信号数据分析系统，其特征在于，所述HDFS通过分布式计算引擎中预设算法获取wav、txt、dat和csv格式的信号文件以及IoTDB数据库中的信号数据，构造信号DataFrame；分布式计算引擎中通过重构Python端中的scipy和pandas方法，分别实现读取wav、txt、dat和csv信号文件的接口，将文件读取为Pandas.DataFrame格式进而转换为信号DataFrame；利用Spark读取IoTDB数据库中的信号数据，实现Python端数据结构转换的接口，进而转换为信号DataFrame。4.根据权利要求3所述的一种分布式信号数据分析系统，其特征在于，所述信号数据分析模块在Spark端根据本地信号文件的信息，构造DataFrame结...

【专利技术属性】
技术研发人员：程宏亮，刘宏，强劲，王锟，李红娟，
申请(专利权)人：美林数据技术股份有限公司，
类型：发明
国别省市：