一种基于深度学习的界标数据压缩传输方法及装置制造方法及图纸

本发明专利技术公开一种基于深度学习的界标数据压缩传输方法及装置，方法包括：获取初始界标数据以及实际界标数据集；根据初始界标数据对实际界标数据集进行预处理，以得到待压缩界标数据集；对所述待压缩界标数据集进行离散处理；采用变分自编码模型将离散处理后的待压缩界标数据集处理成潜在变量，并对所述潜在变量进行编码压缩后输出。本发明专利技术解决了现有技术中界标数据压缩方法压缩率不高的技术问题。

【技术实现步骤摘要】
一种基于深度学习的界标数据压缩传输方法及装置
本专利技术涉及数据传输
，具体涉及一种基于深度学习的界标数据压缩传输方法、装置、设备及存储介质。
技术介绍
界标表示某个地界标识，由于界标在使用时数量非常巨大，使用过于孤立混乱，存在着难以维护的问题，需要耗费大量的人力物力对其进行定期检查维护，传统的界标只起到一种视觉提醒的作用，并不能检测自身以及周边情况，随着传感器工艺、数据采集系统以及互联网技术的发展，可将传感器、数据采集系统以及云技术应用于界标中，实现一定程度上的智能化，并且能根据实际的应用场景对周边活动起到一种预警作用。传感器、数据采集系统采集的界标数据需要传输至分析平台后，才能实现对界标数据的监控，目前由于一条线路上的传感器或采集设备较多，进行线路查询时，传输的字节数较多，串口传输时间较长，越靠近主站的设备耗电量越大，例如某条线路中有50个设备进行一次线路查询时所消耗的电能为16.2mW*h，一年所消耗的电能为17739mW*h，在此情况下系统一年中传输数据所消耗的电能比较大。为了设备能在野外环境中工作一年的时间，需要压缩待传输数据，减少数据传输时间，达到降低能耗的目的。在日常的生活中使用的压缩工具大多将多种压缩编码算法组合使用并进行优化处理，使用单独的压缩算法比较少见，例如Gzip压缩方法是利用LZ77算法的一种变种进行压缩，对得到的结果再使用静态或者动态哈夫曼编码的方法进行压缩；LZAM压缩方法是结合使用Deflate算法和LZ77算法改良和优化后的压缩算法；但是面对大数据时代的数据处理，传统的数据压缩方法压缩率不高，无法满足实时界标数据压缩的处理要求，导致界标数据的传输时间过长，传输速率不高。
技术实现思路
本专利技术的目的在于克服上述技术不足，提供一种基于深度学习的界标数据压缩传输方法、装置、设备及存储介质，解决现有技术中界标数据压缩方法压缩率不高的技术问题。为达到上述技术目的，本专利技术采取了以下技术方案：第一方面，本专利技术提供一种基于深度学习的界标数据压缩传输方法，包括如下步骤：获取初始界标数据以及实际界标数据集；根据初始界标数据对实际界标数据集进行预处理，以得到待压缩界标数据集；对所述待压缩界标数据集进行离散处理；采用变分自编码模型将离散处理后的待压缩界标数据集处理成潜在变量，并对所述潜在变量进行编码压缩后输出。优选的，所述的基于深度学习的界标数据压缩传输方法中，所述根据初始界标数据对实际界标数据集进行预处理，以得到待压缩界标数据集具体包括：根据初始界标数据，对实际界标数据集进行差分处理，以得到各个实际界标数据的数据波动值，将各个实际界标数据的数据波动值的集合作为待压缩界标数据集。优选的，所述的基于深度学习的界标数据压缩传输方法中，所述采用变分自编码模型将离散处理后的待压缩界标数据集处理成潜在变量，并对所述潜在变量进行编码压缩后输出具体包括：采用变分自编码模型将离散处理后的待压缩界标数据集处理，得到均值和方差，根据所述均值和方差生成概率分布函数，采用非对称数字系统对所述概率分布函数进行解码，得到第一个潜在变量；基于所述第一个潜在变量和所述变分自编码模型，依次得到后续的各个潜在变量，当得到了最后一个潜在变量后，对最后一个潜在变量进行编码压缩后输出。优选的，所述的基于深度学习的界标数据压缩传输方法中，所述潜在变量的数量为3个。优选的，所述的基于深度学习的界标数据压缩传输方法中，采用非对称数字系统对所述最后一个潜在变量进行编码。第二方面，本专利技术还提供一种基于深度学习的界标数据压缩传输装置，包括：数据获取模块，用于获取初始界标数据以及实际界标数据集；数据处理模块，用于根据初始界标数据对实际界标数据集进行预处理，以得到待压缩界标数据集；离散处理模块，用于对所述待压缩界标数据集进行离散处理；压缩模块，用于采用变分自编码模型将离散处理后的待压缩界标数据集处理成潜在变量，并对所述潜在变量进行编码压缩后输出。优选的，所述的基于深度学习的界标数据压缩传输装置中，所述数据处理模块具体用于：根据初始界标数据，对实际界标数据集进行差分处理，以得到各个实际界标数据的数据波动值，将各个实际界标数据的数据波动值的集合作为待压缩界标数据集。优选的，所述的基于深度学习的界标数据压缩传输装置中，所述压缩模块具体用于：采用变分自编码模型将离散处理后的待压缩界标数据集处理，得到均值和方差，根据所述均值和方差生成概率分布函数，采用非对称数字系统对所述概率分布函数进行解码，得到第一个潜在变量；基于所述第一个潜在变量和所述变分自编码模型，依次得到后续的各个潜在变量，当得到了最后一个潜在变量后，对最后一个潜在变量进行编码压缩后输出。第三方面，本专利技术还提供一种基于深度学习的界标数据压缩传输设备，包括：处理器和存储器；所述存储器上存储有可被所述处理器执行的计算机可读程序；所述处理器执行所述计算机可读程序时实现如上所述的基于深度学习的界标数据压缩传输方法中的步骤。第四方面，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的基于深度学习的界标数据压缩传输方法中的步骤。与现有技术相比，本专利技术提供的基于深度学习的界标数据压缩传输方法、装置、设备及存储介质，首先将界标数据处理成离散数据，然后使用变分自编码模型处理离散数据，同时结合编码技术，在编码过程中使用潜在变量，能够获取较好的压缩率，进而提高系统的数据传输速率。附图说明图1是本专利技术提供的基于深度学习的界标数据压缩传输方法的一较佳实施例的流程图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。请参阅图1，本专利技术提供的基于深度学习的界标数据压缩传输方法，包括如下步骤：S100、获取初始界标数据以及实际界标数据集。具体的，首先获取初始界标数据作为参考值，然后获取实际界标数据集，实际界标数据集通过界标数据采集传感器获取，实际界标数据集包括一系列界标数据，所述界标数据用于反映地界的变化情况，具体可为倾角数据等，本专利技术对此不做限定。S200、根据初始界标数据对实际界标数据集进行预处理，以得到待压缩界标数据集。具体的，为了得到最大压缩率，本专利技术首先对实际界标数据集进行预处理，其中，所述步骤S200具体包括：根据初始界标数据，对实际界标数据集进行差分处理，以得到各个实际界标数据的数据波动值，将各个实际界标数据的数据波动值的集合作为待压缩界标数据集。举例来说，当界标数据为设备倾角时，根据实际情况对倾角值进行处理，当设备启用时可获取设备初始倾角，在查询设备状态或者设备出现晃动时，待压缩本文档来自技高网...

【技术保护点】
1.一种基于深度学习的界标数据压缩传输方法，其特征在于，包括如下步骤：/n获取初始界标数据以及实际界标数据集；/n根据初始界标数据对实际界标数据集进行预处理，以得到待压缩界标数据集；/n对所述待压缩界标数据集进行离散处理；/n采用变分自编码模型将离散处理后的待压缩界标数据集处理成潜在变量，并对所述潜在变量进行编码压缩后输出。/n

【技术特征摘要】
1.一种基于深度学习的界标数据压缩传输方法，其特征在于，包括如下步骤：
获取初始界标数据以及实际界标数据集；
根据初始界标数据对实际界标数据集进行预处理，以得到待压缩界标数据集；
对所述待压缩界标数据集进行离散处理；
采用变分自编码模型将离散处理后的待压缩界标数据集处理成潜在变量，并对所述潜在变量进行编码压缩后输出。


2.根据权利要求1所述的基于深度学习的界标数据压缩传输方法，其特征在于，所述根据初始界标数据对实际界标数据集进行预处理，以得到待压缩界标数据集具体包括：
根据初始界标数据，对实际界标数据集进行差分处理，以得到各个实际界标数据的数据波动值，将各个实际界标数据的数据波动值的集合作为待压缩界标数据集。


3.根据权利要求1所述的基于深度学习的界标数据压缩传输方法，其特征在于，所述采用变分自编码模型将离散处理后的待压缩界标数据集处理成潜在变量，并对所述潜在变量进行编码压缩后输出具体包括：
采用变分自编码模型将离散处理后的待压缩界标数据集处理，得到均值和方差，根据所述均值和方差生成概率分布函数，采用非对称数字系统对所述概率分布函数进行解码，得到第一个潜在变量；
基于所述第一个潜在变量和所述变分自编码模型，依次得到后续的各个潜在变量，当得到了最后一个潜在变量后，对最后一个潜在变量进行编码压缩后输出。


4.根据权利要求3所述的基于深度学习的界标数据压缩传输方法，其特征在于，所述潜在变量的数量为3个。


5.根据权利要求3所述的基于深度学习的界标数据压缩传输方法，其特征在于，采用非对称数字系统对所述最后一个潜在变量进行编码。


6.一种基于深度学习的界标数据压缩传输装置，其特征在于，包括：
数据...

【专利技术属性】
技术研发人员：王昱，徐子扬，龚辞，陈俊康，章馨予，贺泷玉，黄子浩，周建，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：湖北;42