基于关系型数据引擎和对象存储时空数据管理方法及系统技术方案

本发明专利技术提供了一种基于关系型数据引擎和对象存储时空数据管理方法及系统，智慧城市需要对大量的时空数据进行处理和分析，以实现城市管理和服务的智能化。智慧城市对时空数据处理的要求，对底层数据支撑平台提出了更高的要求，特别是数据存储系统的稳定性、可扩展性、数据共享和应用间的协作能力、对智慧化应用和人工智能算法的支持以及数据挖掘。本发明专利技术提出一种基于关系型数据引擎，结合对象存储系统构建时空数据管理系统的技术。关系型数据库和对象存储本身已经是非常成熟的技术，以此作为基础构件，实现时空数据平台的稳定性。通过本项发明专利技术在数据管理方面的设计，可用保障系统的稳定、伸缩性、多应用共享和协同，以及对上层智能算法的有效支持。算法的有效支持。算法的有效支持。

【技术实现步骤摘要】
基于关系型数据引擎和对象存储时空数据管理方法及系统


[0001]本专利技术涉及信息技术的
，具体地，涉及基于关系型数据引擎和对象存储时空数据管理方法及系统。

技术介绍

[0002]智慧城市需要对大量的时空数据进行处理和分析，以实现城市管理和服务的智能化。智慧城市对时空数据处理的要求，对底层数据支撑平台提出了更高的要求，主要包括：
[0003]支持数据存储系统的可扩展性，时空数据量庞大，需要支持大规模数据的处理和存储，并能够支持未来的扩展；
[0004]支持数据共享和应用间的协作，以便不同部门和机构之间实现数据共享和协作；
[0005]支持平台架构的稳定性，以保持系统作为国民经济基础设施可以长期稳定运行；
[0006]支持时空数据需要提供数据分析和挖掘的能力，以便城市管理者和决策者对数据进行深入分析和挖掘；
[0007]支持智能化处理，通过人工智能算法对大量非结构化数据进行分析。
[0008]基于上述需求，采用成熟稳定的模块构建时空数据平台成为实现高效稳定时空数据系统的必由之路。
[0009]在公开号为CN108984611A的专利文献中公开了一种基于时空数据库的对数据对象的检索装置，检索装置至少包括数据采集模块、至少一个数据计算引擎、时空数据库服务器、工程库服务器、模型库服务器和客户端，客户端用于基于管理对象的管理模型类别以及由模型化所限定的凭借自然语言描述的时间属性和/或空间属性进行检索以确定管理对象的运行状态。
[0010]针对上述中的相关技术，专利技术人认为上述中的相关技术构建时空数据平台的模块不够稳定，进而导致时空数据系统的低效以及不稳定。因此，需要提出一种新的技术方案以改善上述技术问题。

技术实现思路

[0011]针对现有技术中的缺陷，本专利技术的目的是提供一种基于关系型数据引擎和对象存储时空数据管理方法及系统。
[0012]根据本专利技术提供的一种基于关系型数据引擎和对象存储时空数据管理方法，所述方法包括如下步骤：
[0013]步骤S1：定义时空数据管理，对时空数据的存储管理和查询支持，以时空数据库的形式进行支持，支持创建、修改、删除具有时空属性的时空数据块；
[0014]步骤S2：进行数据键编码，关系型数据库与对象存储键值结合构建数据索引；
[0015]步骤S3：对时空数据块的内容进行管理，时空数据块是存储于对象存储中的时空信息；
[0016]步骤S4：描述关系型数据库与对象存储的职能与关联关系；
[0017]步骤S5：基于分布式计算集群上构建时空数据管理平台；
[0018]步骤S6：通过用户查询数据流程解释关系型数据库和对象存储在时空数据管理/查询的职能和作用。
[0019]优选地，所述步骤S1中：
[0020]时空数据管理是指对时空数据的存储管理和查询支持，以时空数据库的形式进行支持，即支持创建、修改、删除具有时空属性的数据块；时空属性包括：时间范围、空间范围、相关的事件特征；关系型数据库与对象存储的键结合，构成从时
‑
空
‑
事件到数据内容的索引；
[0021]所述步骤S2中：
[0022]关系型数据库与对象存储键值结合构建数据索引，对象存储的键值通过如下方式表示：
[0023]时间区间；
[0024]空间立方体范围；
[0025]若干事件的特征码，特征码以128位或256位字节表示；
[0026]键值的比较通过上述内容依次进行：比较时间区域、空间范围、比较事件特征码；对于事件特征码序列的比较，不限于顺序。
[0027]优选地，所述步骤S3中：
[0028]时空数据块是存储于对象存储中的时空信息，首先是元数据区，该区域包含以关系型表结构组织的“事件”到“数据内容”的映射表，将该内容导入关系型数据库以供查询；“事件”代表前述内容中的事件特征码，“数据内容”表达为数据块的偏移位置；时空数据块剩余部分为定长的数据块，每个数据块承载结构化和非结构化数据；用户通过加载元数据区中的映射表，以事件特征为索引，定位数据偏移并找到对应的数据块；
[0029]所述步骤S4中：
[0030]从时
‑
空
‑
事件到时空数据块中的数据索引结构由关系型数据库与对象存储协同实现；在关系型数据库中维护一张时空信息表，该表将用户提交的时间和空间定义转换为对应的对象存储键值，通过对象存储键值定位时空数据块，如果数据未加载至计算节点，则将数据块的元数据部分导入关系型数据库的时空数据元信息表，并根据时空数据元信息表中的信息去定位需要访问的数据块。
[0031]优选地，所述步骤S5中：
[0032]在分布式计算集群上构建时空数据平台包括两层内容：基于关系型数据库的时空
‑
数据的索引服务和基于对象存储的时空数据块管理服务；每个关系型数据库引擎运行在计算集群的一个计算节点上，数据库引擎负责维护时间
‑
空间到对象存储键值的映射，并提供将时空数据块中的元数据信息导入数据表以供查询；每个计算节点同时承载导入的时空数据块，为查询系统提取数据。
[0033]优选地，所述步骤S6通过用户查询流程解释关系型数据库和对象存储在时空数据管理/查询的每个步骤的职能和作用，包括如下步骤：
[0034]步骤S6.1：用户定义时间、空间、事件，并发起查询请求到一个关系型数据库所在的计算节点；
[0035]步骤S6.2：查询的时间、空间部分被分配到时空信息表中检索，如果本机没有相关
时空信息，则返回用户另一台计算节点信息，用户在另一台计算节点启动查询；
[0036]步骤S6.3：查询到相关的对象存储键值，监测该对象值部分是否已经加载；
[0037]步骤S6.4：如果未加载，进入加载操作步骤；
[0038]步骤S6.5：定位时空数据块，将时空数据块的元数据导入关系型数据库的时空数据元信息表，将时空数据块导入计算节点的数据缓存；
[0039]步骤S6.6：将用户定义的时间、空间、事件在时空数据元信息表中查询，如果无法定位相关信息，返回查询失败；
[0040]步骤S6.7：如果定位到信息偏移量，在本计算节点的时空数据缓存中找相关时空数据块的位置，并依据偏移将对应数据块取出并返回给用户。
[0041]本专利技术还提供一种基于关系型数据引擎和对象存储时空数据管理系统，所述系统包括如下模块：
[0042]模块M1：定义时空数据管理，对时空数据的存储管理和查询支持，以时空数据库的形式进行支持，支持创建、修改、删除具有时空属性的时空数据块；
[0043]模块M2：进行数据键编码，关系型数据库与对象存储键值结合构建数据索引；
[0044]模块M3：对时空数据块的内容进行管理，时空数据块是存储于对象存储中的时空信息；
[0045]模块M4：描述关系型数据库与对象存储的职能与关联关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于关系型数据引擎和对象存储时空数据管理方法，其特征在于，所述方法包括如下步骤：步骤S1：定义时空数据管理，对时空数据的存储管理和查询支持，以时空数据库的形式进行支持，支持创建、修改、删除具有时空属性的时空数据块；步骤S2：进行数据键编码，关系型数据库与对象存储键值结合构建数据索引；步骤S3：对时空数据块的内容进行管理，时空数据块是存储于对象存储中的时空信息；步骤S4：描述关系型数据库与对象存储的职能与关联关系；步骤S5：基于分布式计算集群上构建时空数据管理平台；步骤S6：通过用户查询数据流程解释关系型数据库和对象存储在时空数据管理/查询的职能和作用。2.根据权利要求1所述的基于关系型数据引擎和对象存储时空数据管理方法，其特征在于，所述步骤S1中：时空数据管理是指对时空数据的存储管理和查询支持，以时空数据库的形式进行支持，即支持创建、修改、删除具有时空属性的数据块；时空属性包括：时间范围、空间范围、相关的事件特征；关系型数据库与对象存储的键结合，构成从时
‑
空
‑
事件到数据内容的索引；所述步骤S2中：关系型数据库与对象存储键值结合构建数据索引，对象存储的键值通过如下方式表示：时间区间；空间立方体范围；若干事件的特征码，特征码以128位或256位字节表示；键值的比较通过上述内容依次进行：比较时间区域、空间范围、比较事件特征码；对于事件特征码序列的比较，不限于顺序。3.根据权利要求1所述的基于关系型数据引擎和对象存储时空数据管理方法，其特征在于，所述步骤S3中：时空数据块是存储于对象存储中的时空信息，首先是元数据区，该区域包含以关系型表结构组织的“事件”到“数据内容”的映射表，将该内容导入关系型数据库以供查询；“事件”代表前述内容中的事件特征码，“数据内容”表达为数据块的偏移位置；时空数据块剩余部分为定长的数据块，每个数据块承载结构化和非结构化数据；用户通过加载元数据区中的映射表，以事件特征为索引，定位数据偏移并找到对应的数据块；所述步骤S4中：从时
‑
空
‑
事件到时空数据块中的数据索引结构由关系型数据库与对象存储协同实现；在关系型数据库中维护一张时空信息表，该表将用户提交的时间和空间定义转换为对应的对象存储键值，通过对象存储键值定位时空数据块，如果数据未加载至计算节点，则将数据块的元数据部分导入关系型数据库的时空数据元信息表，并根据时空数据元信息表中的信息去定位需要访问的数据块。4.根据权利要求1所述的基于关系型数据引擎和对象存储时空数据管理方法，其特征在于，所述步骤S5中：在分布式计算集群上构建时空数据平台包括两层内容：基于关系型数据库的时空
‑
数
据的索引服务和基于对象存储的时空数据块管理服务；每个关系型数据库引擎运行在计算集群的一个计算节点上，数据库引擎负责维护时间
‑
空间到对象存储键值的映射，并提供将时空数据块中的元数据信息导入数据表以供查询；每个计算节点同时承载导入的时空数据块，为查询系统提取数据。5.根据权利要求1所述的基于关系型数据引擎和对象存储时空数据管理方法，其特征在于，所述步骤S6通过用户查询流程解释关系型数据库和对象存储在时空数据管理/查询的每个步骤的职能和作用，包括如下步骤：步骤S6.1：用户定义时间、空间、事件，并发起查询请求到一个关系型数据库所在的计算节点；步骤S6.2：查询的时间、空间部分被分配到时空信息表中检索，如果本机没有相关时空信息，则返回用户另一台计算节点信息，用户在另一台计算节点启动查询；步骤S6.3：查询到相关的对象存储键值，监测该对象值部分是否已经加载；步骤S6.4：如果未加载，进入加载操作步骤；步骤S6.5：定位时空数据块，将时空数据块的元数据导入关系型数据库的时空数据元信息表，将时空数据块导入计算节点的数据缓存；步骤S6.6：将用户定义的时间、空间、事件在时空数据元信息表中查询，如果无法定位相关信息，返回查询失败；步骤S6.7：如果定位到信息偏移量，在本计算节点的时空数据缓存中找相关时空数据块的位置，并依据偏移将对应数据块取出并返回给用户。6.一种...

【专利技术属性】
技术研发人员：赵继胜，
申请(专利权)人：上海孚典智能科技有限公司，
类型：发明
国别省市：