【技术实现步骤摘要】
本专利技术涉及电磁频谱监测相关，尤其是指一种基于模式识别的无线电频谱数据压缩方法。
技术介绍
1、随着无线电技术的飞速发展和监测台站的不断增加，长期、大规模的频谱监测必然会产生大量的监测数据，这些数据能够反映业务频段的实际使用状况，有助于掌握整个频谱资源状况。为了方便快捷的使用，国标《超短波频段无线电监测网数据库结构技术要求》中频段扫描结果依据原子协议定义了监测设施频点信息统计表，分别以半结构化存储了1分钟、5分钟、15分钟、1小时的数据，这些数据增强了频谱数据的分析和查询价值，同时是这些半结构化的是数据可以找出频段内频率信息，为认知无线电规划无线电频谱信息提供了依据。然后，随着监测数据量的急剧增大以及国家对监测数据保存时长(三年以上)的要求，给频谱数据的高效处理和实时存储带来巨大的压力。
2、目前，压缩数据主要采用gzip、lzo、lz4、snappy等格式进行压缩，但这些压缩方式并没有充分利用监测数据在连续时间段内极高的相似性，压缩比例有较大的改进空间。
技术实现思路
1、本专利技术是为了克服现有技术中存在上述的不足，提供了一种节省存储空间的基于模式识别的无线电频谱数据压缩方法。
2、为了实现上述目的，本专利技术采用以下技术方案：
3、一种基于模式识别的无线电频谱数据压缩方法，包括无线电频谱数据采集传输模块、无线电频谱频段扫描结果模块、模式识别模块、数据压缩模块，具体包括如下步骤：
4、(1)无线电频谱数据采集传输模块将联网的监测
5、(2)无线电频谱频段扫描结果模块将是上传的数据解帧后并按照超短波无线电数据中的频段扫描结果进行保存；
6、(3)模式识别模块将待识别的数据对象与模式集中相似的模式进行匹配；
7、(4)数据压缩模块将存储的分钟级频段监测数据与已训练的模式集中的模式进行实时模式识别匹配，存储各个频段的模式集和每一帧的数据匹配的模式标签，从而实现海量监测数据的压缩存储。
8、为了更好地对频谱数据进行压缩存取，本专利技术提供了一种基于超短波监测数据库的模式识别的无线电频谱数据压缩方法，结合监测数据在连续时间段内极高的相似性，甚至监测数据无差别重现的特性，采用模式识别算法对各频道监测数据进行聚类提取相应的模式，通过大量的训练得到具有代表性的模式集，在监测频段数据写入时，将超短波频率数据的数据与各模式集中的模式进行识别匹配，实现了频谱数据的高效处理压缩和读取，极大地节省存储空间，而且较好地保留原始数据信息，为精确地实时回放提供依据。
9、作为优选，在步骤(1)中，具体为：无线电频谱数据采集传输模块通过无线电统一管控系统将每个设备产生的数据上传至采集机中，数据按照超短波原子帧协议，以二进制流文件形式进行存放。
10、作为优选，在步骤(2)中，具体为：无线电频谱频段扫描结果模块将采集机中的数据调用原子服务解帧算法进行解帧，解帧后的数据按照超短波频段无线电监测网数据库结构进行存储，分别为1分钟、5分钟、15分钟和小时级的频段结果数据。
11、作为优选，在步骤(3)中，模式识别模块的识别过程分为两步，具体如下：
12、(31)将数据集中的数据提取集中模式，数据集中的数据为时间粒度聚合的数据，采用聚类的方法进行模式的提取，聚类方法通过改良以保证初始聚类中心不会出现导致模式集错误的偏差；
13、(32)将无线电频谱频段扫描结果模块保存的待识别的数据对象与已经识别的模式进行匹配，通过模式集与数据之间的相似度测试，对数据进行归类，快速提高监测数据的划分效率，针对数据相似性与同一性提高数据分类压缩速度。
14、作为优选，在步骤(31)中，改良的聚类方法流程如下：
15、(311)设定聚类数目k；
16、(312)定义在区间[0，d0]中的k个模糊集，分别为u1,u2,…uk表示，其中d0表示数据对象之间最大的欧式距离；
17、(313)给定聚类半径r，如r＝w1×d1+w2×w2，其中w1,w2为权重且位于[0,1]，且w1+w2＝1，其中，d1表示非零dil(i,l属于{1,2,3…，n})；
18、(314)对于任意数据oi，用c(oi)＝{oi|oi–ol|≤r}表示聚类中心为oi类内的数据集，其中，i＝(1,2,3…,n)表示对象集的维度个数，oi＝(xi1,xi2,xi3…,xin)表示数据对象各个维度的值；
19、(315)选择第一个聚类中心其中|*|是集的基数，s表示数据集的组数，k表示所属数据集中聚类的个数，公式表示将目前所聚类中数据包含最大个数作为其中的类；
20、(316)选择第j个聚类中心满足由此获得k个初始聚类中心，其中n表示剩余的为聚类的初始类，k表示聚类个数，与前面保持一致，uj数据公式表示[0,d0]中的某一个模糊集；
21、(317)重复以上过程，获取s组的初始聚类中心，其中s与上面的一致，表示选用数据集的组数。
22、作为优选，在步骤(32)中，模式识别通过比较两个数据集之间最短距离，若距离足够接近则看作是同一个模式集内产物，通过最小距离找到与待识别数据最相似的模式，监测数据以业务批断为单位，把每一时间粒度的帧数据对象用匹配相似的模式标签数据来代替，将对应的标签代替监测数据保存即可。
23、作为优选，模式识别方法如下：
24、设a1,a2,…,ap是帧模式的p个模式，ai＝(ai1,ai2,…,aim)是第i个含m个特征值的模式，b＝(b1,b2,…,bm)是一个数据集中待识别的数据对象，计算b与ai的欧式距离d(b,ai)，其公式如下所示：
25、
26、如果d(b,ai)为所计算欧式距离中最小的距离，则认为待识别的数据对象属于ai。
27、作为优选，在步骤(4)中，具体为：数据压缩存储的方案是将频段监测时所采集的海量监测数据与已训练的模式集中的模式进行实时模式识别匹配，存储每个频道的模式集和每一时间粒度的数据匹配的模式标签，从而实现海量监测数据压缩存储，其详细流程如下：
28、(41)根据多天的频谱监测数据，以频率为单位采用聚类算法进行聚类分析，将监测数据分为不同的类，其中每一类的聚类中心代表一种某事，从而形成各个频道的模式集；
29、(42)将各个时间粒度的数据与已训练出来的模式集中的数据类采用就近原则进行模式识别；
30、(43)在模式识别过程中，某个识别类与待匹配的数据对象相匹配，则把对象数据对应的模式类名作为标签记录下来；
31、(44)如果待识别数据对象与模式集中所有模式的距离相差较大，即没有模式类别与之匹配，则利用增量式模式识别方式把数据对象作为一种新的模式添加到模式集中并更新模式集；
32、(45)对数据对象进行模式匹配，并把这种模式类名本文档来自技高网...
【技术保护点】
1.一种基于模式识别的无线电频谱数据压缩方法，其特征是，包括无线电频谱数据采集传输模块、无线电频谱频段扫描结果模块、模式识别模块、数据压缩模块，具体包括如下步骤：
2.根据权利要求1所述的一种基于模式识别的无线电频谱数据压缩方法，其特征是，在步骤(1)中，具体为：无线电频谱数据采集传输模块通过无线电统一管控系统将每个设备产生的数据上传至采集机中，数据按照超短波原子帧协议，以二进制流文件形式进行存放。
3.根据权利要求2所述的一种基于模式识别的无线电频谱数据压缩方法，其特征是，在步骤(2)中，具体为：无线电频谱频段扫描结果模块将采集机中的数据调用原子服务解帧算法进行解帧，解帧后的数据按照超短波频段无线电监测网数据库结构进行存储，分别为1分钟、5分钟、15分钟和小时级的频段结果数据。
4.根据权利要求1或2或3所述的一种基于模式识别的无线电频谱数据压缩方法，其特征是，在步骤(3)中，模式识别模块的识别过程分为两步，具体如下：
5.根据权利要求4所述的一种基于模式识别的无线电频谱数据压缩方法，其特征是，在步骤(31)中，改良的聚类方法流程
6.根据权利要求4所述的一种基于模式识别的无线电频谱数据压缩方法，其特征是，在步骤(32)中，模式识别通过比较两个数据集之间最短距离，若距离足够接近则看作是同一个模式集内产物，通过最小距离找到与待识别数据最相似的模式，监测数据以业务批断为单位，把每一时间粒度的帧数据对象用匹配相似的模式标签数据来代替，将对应的标签代替监测数据保存即可。
7.根据权利要求6所述的一种基于模式识别的无线电频谱数据压缩方法，其特征是，模式识别方法如下：
8.根据权利要求1所述的一种基于模式识别的无线电频谱数据压缩方法，其特征是，在步骤(4)中，具体为：数据压缩存储的方案是将频段监测时所采集的海量监测数据与已训练的模式集中的模式进行实时模式识别匹配，存储每个频道的模式集和每一时间粒度的数据匹配的模式标签，从而实现海量监测数据压缩存储，其详细流程如下：
...【技术特征摘要】
1.一种基于模式识别的无线电频谱数据压缩方法，其特征是，包括无线电频谱数据采集传输模块、无线电频谱频段扫描结果模块、模式识别模块、数据压缩模块，具体包括如下步骤：
2.根据权利要求1所述的一种基于模式识别的无线电频谱数据压缩方法，其特征是，在步骤(1)中，具体为：无线电频谱数据采集传输模块通过无线电统一管控系统将每个设备产生的数据上传至采集机中，数据按照超短波原子帧协议，以二进制流文件形式进行存放。
3.根据权利要求2所述的一种基于模式识别的无线电频谱数据压缩方法，其特征是，在步骤(2)中，具体为：无线电频谱频段扫描结果模块将采集机中的数据调用原子服务解帧算法进行解帧，解帧后的数据按照超短波频段无线电监测网数据库结构进行存储，分别为1分钟、5分钟、15分钟和小时级的频段结果数据。
4.根据权利要求1或2或3所述的一种基于模式识别的无线电频谱数据压缩方法，其特征是，在步骤(3)中，模式识别模块的识别过程分为两步，具体如下：
5....
【专利技术属性】
技术研发人员：马高峰，石和亮，罗哲宇，王昕之，张鹏程，
申请(专利权)人：浙江原初数据科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。