一种智慧城市的大数据共享方法及装置制造方法及图纸

本申请公开了智慧城市的大数据共享方法，包括：获取传感器采集的时空大数据，时空大数据包括结构化及非结构化数据；对时空大数据进行资源描述框架RDF及相关本体描述，实现不同时空大数据之间的语义层级关联；将关联后的时空大数据进行数据源标记，并将标记后的时空大数据存储进数据湖中，数据湖包括业务层及源数据层；基于智慧城市不同的实例需求，将数据湖分裂为多个子数据湖；将每一个子数据湖进行半结构化处理，生成每一个半结构化智慧城市实例库，并存储至数据湖的业务层；接收政务云的业务驱动请求，对与业务驱动相关联的半结构化智慧城市实例库进行检索，并将最终检索结果共享至政务云中。

【技术实现步骤摘要】
一种智慧城市的大数据共享方法及装置
本申请涉及数据处理
，尤其涉及智慧城市的大数据共享方法及装置。
技术介绍
城市信息模型(CityInformationModeling，CIM)是对城市地上地下、室内室外各种实体目标及时空状态的数字化表达和描述，其反映城市规划、建设、发展以及运行，并且可用于城市规划决策、城市建设、城市管理等工作。CIM是一个跨度很大的概念，涉及的行业包括规划、国土、交通、水利、安防、人防、环境保护、文物保护、能源燃气等各大行业及一切智慧城市相关的领域。目前国内外对CIM尚缺乏系统深入的研究，据《智慧城市背景下城市信息模型相关技术发展综述》论文中的观点，可尝试从构成CIM术语的三个单词初步分析其基本特征：首先是City，CIM要覆盖城市尺度，这里的“城市”可以实例化为某个城市或城区、某个园区、某个社区、某个院落等，但它对建模对象的描述能力应该是城市级的；其次是Information，CIM所容纳的信息应该是覆盖各种空间、时间维度的，是能支撑各种城市应用的，CIM中的信息可以描述城市各种物理或人文实体，具有多时态、多类型、多粒度级别、多来源等特点；最后是Modeling，即CIM要基于一定规则和方法，对上述信息按需进行组织、模拟、分析以及表达，更进一步地，可通过融合、挖掘、以及提炼新的知识，凝聚出智慧。从CIM的当前发展来看，CIM主要与BIM(BuildingInformationModeling，建筑信息模型)、GIS(GeographicInformationSystem，地理信息系统)、以及IOT(InternetofThings，物联网)等技术密切相关，同时还不可避免地需要应用到云计算、大数据等新一代信息技术。现有技术中，CIM系统由于数据量大，需要高并发，高可靠的云系统予以支撑，并能够将不同的信息为不同职能部门的政府云所共享，但是，由于数据的多样性及复杂性，数据共享会涉及到多种冗余数据一起发送给政府云，例如交通部分只需要某一地区在上下班高峰期的拥堵情况，但接收到的数据却是全局的24小时的GIS数据，容易造成网络拥塞及数据资源浪费。
技术实现思路
本申请实施例提供一种智慧城市的大数据共享方法，用于解决现有技术中智慧城市场景下大数据共享容易造成网络拥塞及数据资源浪费的问题。本专利技术实施例提供一种智慧城市的大数据共享方法，包括：云服务器获取传感器采集的时空大数据，所述时空大数据包括结构化及非结构化数据；对所述时空大数据进行资源描述框架RDF及相关本体描述，实现所述不同时空大数据之间的语义层级关联；将关联后的时空大数据进行数据源标记，并将标记后的所述时空大数据存储进数据湖中，所述数据湖包括业务层及源数据层；基于所述智慧城市不同的实例需求，将所述数据湖分裂为多个子数据湖，其中每一个子数据湖与每一个所述智慧城市实例一一对应；将所述每一个子数据湖进行半结构化处理，生成每一个半结构化智慧城市实例库，并存储至所述数据湖的业务层；接收政务云的业务驱动请求，对所述与业务驱动相关联的半结构化智慧城市实例库进行检索，并将最终检索结果共享至所述政务云中。可选地，将所述数据湖分裂为多个子数据湖，包括：基于所述时间关联关系，和/或空间关联关系，和/或语义关联关系，将所述数据湖分裂为所述多个子数据湖，其中，所述不同子数据湖的数据源种类不相同。可选地，所述对所述与业务驱动相关联的半结构化智慧城市实例库进行检索，包括：将所述半结构化智慧城市实例库拆分为结构化数据及非结构化数据；利用全文检索及关系图谱的方式对所述非结构化数据进行检索，获取第一检索结果；利用K-V关系型检索方式对所述结构化数据进行检索，获取第二检索结果；将所述第一检索结果与所述第二检索结果进行并集，获取第三检索结果，所述第三检索结果为所述最终检索结果。可选地，将所述每一个子数据湖进行半结构化处理，包括：获取每一个子数据湖的结构化数据及非结构化数据；将结构化数据按照32Byte大小分解为多个结构化字段，并设立每一字段的序号和结构化数据的标记P和结束符E，与所述多个结构化字段组成结构化报文；将非结构化数据按照64Byte大小分解为多个非结构化字段，并设立每一字段的序号和非结构化数据的标记M和结束符N，与所述多个非结构化字段组成非结构化报文；将所述结构化报文和所述非结构化报文进行组合，生成半结构化报文。可选地，对所述时空大数据进行资源描述框架RDF及相关本体描述，包括：从数据湖中的HDFS文件系统读取所述标记后的时空大数据的数据集；将所述数据集拆分成子数据集，并将所述子数据集按照分布式计算规则分配给不同的云节点；针对每个所述云节点上的子数据集同步进行RDF及相关本体描述；将描述后的结果重新写入所述HDFS。可选地，若所述智慧城市实例需求为建筑信息模型BIM，则将所述数据湖分裂为多个子数据湖，包括：将所述数据湖按照数据源归属关系进行分裂，所述数据源归属关系包括BIM能耗归属、BIM安全归属及BIM流量归属。可选地，若所述智慧城市实例需求为地理信息系统GIS类型，则将所述数据湖分裂为多个子数据湖，包括：将所述数据湖按照地理归属关系进行分裂，所述地理归属关系包括省市归属、街区归属及道路归属。可选地，若所述智慧城市实例需求为工业物联IoT类型，则将所述数据湖分裂为多个子数据湖，包括：将所述数据湖按照IoT采集设备类型进行分裂，所述IoT采集设备类型包括摄像头、温湿度传感器及安全预警传感器。本专利技术实施例还提供一种装置，其特征在于，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现上述方法。本专利技术实施例提供的方法，将时空大数据存储至数据湖，并基于不同的智慧城市实例分裂为多个高关联的子数据湖，同时将子数据湖中的数据进行半结构化处理，将不同类型的数据进行归一化存储，节约存储空间，在政府云需要相关实例数据后，只将对应的实例数据发送至政务云，降低了数据传输的冗余度，提升了数据传输效能，节约了网络资源。附图说明为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。图1为一个实施例中智慧城市大数据共享的流程示意图；图2为智慧城市的数据湖架构拓扑图；图3为智慧城市的数据湖分裂示意图；图4为一个实施例中装置的硬件组成示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和本文档来自技高网...

【技术保护点】
1.一种智慧城市的大数据共享方法，其特征在于，包括：/n云服务器获取传感器采集的时空大数据，所述时空大数据包括结构化及非结构化数据；/n对所述时空大数据进行资源描述框架RDF及相关本体描述，实现所述不同时空大数据之间的语义层级关联；/n将关联后的时空大数据进行数据源标记，并将标记后的所述时空大数据存储进数据湖中，所述数据湖包括业务层及源数据层；/n基于所述智慧城市不同的实例需求，将所述数据湖分裂为多个子数据湖，其中每一个子数据湖与每一个所述智慧城市实例一一对应；/n将所述每一个子数据湖进行半结构化处理，生成每一个半结构化智慧城市实例库，并存储至所述数据湖的业务层；/n接收政务云的业务驱动请求，对所述与业务驱动相关联的半结构化智慧城市实例库进行检索，并将最终检索结果共享至所述政务云中。/n

【技术特征摘要】
1.一种智慧城市的大数据共享方法，其特征在于，包括：
云服务器获取传感器采集的时空大数据，所述时空大数据包括结构化及非结构化数据；
对所述时空大数据进行资源描述框架RDF及相关本体描述，实现所述不同时空大数据之间的语义层级关联；
将关联后的时空大数据进行数据源标记，并将标记后的所述时空大数据存储进数据湖中，所述数据湖包括业务层及源数据层；
基于所述智慧城市不同的实例需求，将所述数据湖分裂为多个子数据湖，其中每一个子数据湖与每一个所述智慧城市实例一一对应；
将所述每一个子数据湖进行半结构化处理，生成每一个半结构化智慧城市实例库，并存储至所述数据湖的业务层；
接收政务云的业务驱动请求，对所述与业务驱动相关联的半结构化智慧城市实例库进行检索，并将最终检索结果共享至所述政务云中。


2.根据权利要求1所述的方法，其特征在于，将所述数据湖分裂为多个子数据湖，包括：
基于所述时间关联关系，和/或空间关联关系，和/或语义关联关系，将所述数据湖分裂为所述多个子数据湖，其中，所述不同子数据湖的数据源种类不相同。


3.根据权利要求1或2所述的方法，其特征在于，所述对所述与业务驱动相关联的半结构化智慧城市实例库进行检索，包括：
将所述半结构化智慧城市实例库拆分为结构化数据及非结构化数据；
利用全文检索及关系图谱的方式对所述非结构化数据进行检索，获取第一检索结果；
利用K-V关系型检索方式对所述结构化数据进行检索，获取第二检索结果；
将所述第一检索结果与所述第二检索结果进行并集，获取第三检索结果，所述第三检索结果为所述最终检索结果。


4.根据权利要求1所述的方法，其特征在于，将所述每一个子数据湖进行半结构化处理，包括：
获取每一个子数据湖的结构化数据及非结构化数据；
将结构化数据按照32Byte大小分解为多个结构化字段，并设立每一字...

【专利技术属性】
技术研发人员：齐维潇，
申请(专利权)人：齐维潇，
类型：发明
国别省市：广东;44