一种应用于智慧城市的多源异构数据压缩方法技术

本申请公开了应用于智慧城市的多源异构数据压缩方法，包括：数据传输单元DTS采集多个终端设备上传的数据，所述数据类型包括物联网IoT数据、地理信息系统GIS数据和建筑信息模型BIM数据，且上述数据均包含时间属性和地区属性，所述多个终端设备采用多源异构网络进行组网，所述DTS处于数据汇聚层；所述DTS将所述采集到的数据按照不同数据类型进行分组及数据清洗，生成矩阵式原始数据组；所述DTS按照预设采样模型进行所述原始数据组进行采样，获取所述原始数据组的多个样本数据，所述样本数据量低于所述矩阵式原始数据组的数据量；所述DTS将所述多个样本数据组按照预设格式进行数据拼装，形成压缩数据组，并将所述压缩数据组发送至核心层。

【技术实现步骤摘要】
一种应用于智慧城市的多源异构数据压缩方法
本申请涉及数据处理
，尤其涉及应用于智慧城市的多源异构数据压缩方法。
技术介绍
城市信息模型(CityInformationModeling，CIM)是对城市地上地下、室内室外各种实体目标及时空状态的数字化表达和描述，其反映城市规划、建设、发展以及运行，并且可用于城市规划决策、城市建设、城市管理等工作。CIM是一个跨度很大的概念，涉及的行业包括规划、国土、交通、水利、安防、人防、环境保护、文物保护、能源燃气等各大行业及一切智慧城市相关的领域。目前国内外对CIM尚缺乏系统深入的研究，据《智慧城市背景下城市信息模型相关技术发展综述》论文中的观点，可尝试从构成CIM术语的三个单词初步分析其基本特征：首先是City，CIM要覆盖城市尺度，这里的“城市”可以实例化为某个城市或城区、某个园区、某个社区、某个院落等，但它对建模对象的描述能力应该是城市级的；其次是Information，CIM所容纳的信息应该是覆盖各种空间、时间维度的，是能支撑各种城市应用的，CIM中的信息可以描述城市各种物理或人文实体，具有多时态、多类型、多粒度级别、多来源等特点；最后是Modeling，即CIM要基于一定规则和方法，对上述信息按需进行组织、模拟、分析以及表达，更进一步地，可通过融合、挖掘、以及提炼新的知识，凝聚出智慧。从CIM的当前发展来看，CIM主要与BIM(BuildingInformationModeling，建筑信息模型)、GIS(GeographicInformationSystem，地理信息系统)、以及IOT(InternetofThings，物联网)等技术密切相关，同时还不可避免地需要应用到云计算、大数据等新一代信息技术。现有技术中，对于智慧城市的多源异构数据而言，如此巨大的数据量没有办法进行有效存储，必须对该多源异构数据进行压缩，将海量数据分门别类进行压缩和存储是保证智慧城市数据能够有效利用的关键。但是，现有技术中尚没有一种有效的数据压缩机制，可以针对不同时间、地区和业务类型进行数据压缩，导致存储数据量大，压缩效率低。
技术实现思路
本申请实施例提供一种应用于智慧城市的多源异构数据压缩方法，用于解决现有技术中智慧城市场景下多源异构数据压缩效率低的问题。本专利技术实施例提供一种应用于智慧城市的多源异构数据压缩方法，包括：数据传输单元DTS采集多个终端设备上传的数据，所述数据类型包括物联网IoT数据、地理信息系统GIS数据和建筑信息模型BIM数据，且上述数据均包含时间属性和地区属性，所述多个终端设备采用多源异构网络进行组网，所述DTS处于数据汇聚层；所述DTS将所述采集到的数据按照不同数据类型进行分组及数据清洗，生成矩阵式原始数据组；所述DTS按照预设采样模型进行所述原始数据组进行采样，获取所述原始数据组的多个样本数据，所述样本数据量低于所述矩阵式原始数据组的数据量；所述DTS将所述多个样本数据组按照预设格式进行数据拼装，形成压缩数据组，并将所述压缩数据组发送至核心层。可选地，所述DTS按照预设采样模型进行所述原始数据组进行采样，获取所述原始数据组的多个样本数据，包括：所述DTS按照时间顺序将所述原始数据组进行排序，并在同一地区且同一数据类型情况下，基于不同时序与数据大小的对应关系，获取不同时间段中数据的历史变化率，基于所述历史变化率设定随时间动态变化的数据第一采样率，所述第一采样率与所述数据变化率成正比，以及，所述DTS基于所述地区属性设置数据第二采样率，所述第二采样率大小与所述不同地区属性一一对应，以及，所述DTS基于所述不同的数据类型设置动态变化的第三采样率，所述第三采样率与所述数据类型一一对应，所述DTS基于所述第一采样率、第二采样率和第三采样率，依次对所述原始数据组进行采样，并获取所述采样后的多个样本数据组。可选地，所述DTS按照预设采样模型进行所述原始数据组进行采样，包括：所述DTS基于所述不同的数据类型及所述数据上报心跳包的频次，设置自适应采样率，并通过所述自适应采样率对所述原始数据组进行采样。可选地，在所述将所述多个样本数据组按照预设格式进行数据拼装之后，并在形成压缩数据组之前，所述方法还包括：将所述拼装后的数据组进行二进制转换；在所述二进制数据位中，将重复出现的数据合并为同一个数据位，并设置次数位，用于表示所述数据位的重复次数。可选地，所述DTS按照预设采样模型进行所述原始数据组进行采样，包括：采用机器学习算法预测不同时间段下，不同数据类型的数据变化率；基于所述预测的数据变化率，设置自适应采样率，所述自适应采样率与所述数据变化率一一对应；通过所述自适应采样率对所述原始数据组进行采样，并生成不同的时间标识，在采样后的数据组中插入所述时间标识。可选地，所述采用机器学习算法预测不同时间段下，不同数据类型的数据变化率，包括：设置非线性回归网络，在所述网络中设置输入层、计算层和输出层；将历史采集数据作为输入层的输入参数；在所述计算层中设置训练模型和激活函数，训练模型中包含多个神经网络单元，每一个神经网络单元设置一个权重；将所述历史采集数据作为样本数据在所述训练模型中进行训练，并获取计算结果；将所述计算结果经过所述激活函数进行训练，获取最终拟合结果，通过所述最终拟合结果获取不同时间段不同数据类型的数据变化率。附图说明为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。图1为智慧城市的多源异构网络架构拓扑图；图2为一个实施例中多源异构数据压缩的流程示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于本文档来自技高网...

【技术保护点】
1.一种应用于智慧城市的多源异构数据压缩方法，其特征在于，包括：/n数据传输单元DTS采集多个终端设备上传的数据，所述数据类型包括物联网IoT数据、地理信息系统GIS数据和建筑信息模型BIM数据，且上述数据均包含时间属性和地区属性，所述多个终端设备采用多源异构网络进行组网，所述DTS处于数据汇聚层；/n所述DTS将所述采集到的数据按照不同数据类型进行分组及数据清洗，生成矩阵式原始数据组；/n所述DTS按照预设采样模型进行所述原始数据组进行采样，获取所述原始数据组的多个样本数据，所述样本数据量低于所述矩阵式原始数据组的数据量；/n所述DTS将所述多个样本数据组按照预设格式进行数据拼装，形成压缩数据组，并将所述压缩数据组发送至核心层。/n

【技术特征摘要】
1.一种应用于智慧城市的多源异构数据压缩方法，其特征在于，包括：
数据传输单元DTS采集多个终端设备上传的数据，所述数据类型包括物联网IoT数据、地理信息系统GIS数据和建筑信息模型BIM数据，且上述数据均包含时间属性和地区属性，所述多个终端设备采用多源异构网络进行组网，所述DTS处于数据汇聚层；
所述DTS将所述采集到的数据按照不同数据类型进行分组及数据清洗，生成矩阵式原始数据组；
所述DTS按照预设采样模型进行所述原始数据组进行采样，获取所述原始数据组的多个样本数据，所述样本数据量低于所述矩阵式原始数据组的数据量；
所述DTS将所述多个样本数据组按照预设格式进行数据拼装，形成压缩数据组，并将所述压缩数据组发送至核心层。


2.根据权利要求1所述的方法，其特征在于，所述DTS按照预设采样模型进行所述原始数据组进行采样，获取所述原始数据组的多个样本数据，包括：
所述DTS按照时间顺序将所述原始数据组进行排序，并在同一地区且同一数据类型情况下，基于不同时序与数据大小的对应关系，获取不同时间段中数据的历史变化率，基于所述历史变化率设定随时间动态变化的数据第一采样率，所述第一采样率与所述数据变化率成正比，
以及，
所述DTS基于所述地区属性设置数据第二采样率，所述第二采样率大小与所述不同地区属性一一对应，
以及，
所述DTS基于所述不同的数据类型设置动态变化的第三采样率，所述第三采样率与所述数据类型一一对应，
所述DTS基于所述第一采样率、第二采样率和第三采样率，依次对所述原始数据组进行采样，并获取所述采样后的多个样本数据组。


3.根据权利要求1所述的方法，其特...

【专利技术属性】
技术研发人员：麦雪楹，
申请(专利权)人：佛山市海协科技有限公司，
类型：发明
国别省市：广东;44