【技术实现步骤摘要】
本专利技术涉及时空轨迹大数据管理，更具体地说，本专利技术涉及一种基于时空数据密度感知的存储与检索方法及系统。
技术介绍
1、时空轨迹数据是指具有时空属性的数据，如车辆轨迹、移动对象位置等。时空数据具有海量、复杂、动态特点，给数据的存储和检索带来了巨大的挑战。传统的关系型数据库难以满足时空数据的高效管理和实时分析的需求，因此需要一种新型的数据存储与检索方法来应对时空轨迹大数据存储和检索场景。现有的时空数据存储与检索技术有两种：(1)基于分布式文件系统(如hdfs)的时空数据存储与检索技术，利用分布式文件系统的高容量、高可靠性和高并行性，将时空数据以文件或对象的形式存储在多个节点上，然后通过mapreduce等分布式计算框架进行数据处理和查询，适合处理非结构化或半结构化的时空数据，但对于结构化的时空数据，如矢量或栅格数据，其效率较低，且不支持复杂的空间查询和索引；(2)基于分布式关系型数据库(如postgresql)的时空数据存储与检索技术，利用分布式关系型数据库的完整sql语言和事务支持，将时空数据以表格的形式存储在多个节点上，然后通过sql语句进行数据操作和查询，适合处理结构化的时空数据，如矢量或栅格数据，且支持复杂的空间查询和索引，但是分布式关系型数据库的扩展性较差，且对于海量的时空数据，其性能和可用性会下降。现有技术虽然能够实现对时空数据的存储和检索，但没有充分考虑时空数据的特征，如数据密度、数据分布以及数据变化，导致数据存储结构和查询策略不适应时空数据的需求，影响数据管理的效率和质量，为了解决上述问题，现提供一种技术方案。
技术实现思路
1、为了克服现有技术的上述缺陷，本专利技术提供一种基于时空数据密度感知的存储与检索方法，利用时空轨迹数据的密度信息指导数据存储和检索，使得数据管理更加符合时空数据的特征和需求，采用分布式列式数据库作为数据存储平台，具有高扩展性、高可用性和高性能优点，适应海量、动态、异构的时空数据场景，通过自动识别和划分高密度数据区域，实现数据存储结构的自适应优化，节省了存储空间成本，减少了数据冗余，通过设计密度感知的空间索引结构，实现高效数据存储和检索，提升了数据访问速度和准确度，通过提出基于密度的查询优化策略，实现动态调整查询策略，提升了大数据场景下的查询效率，以解决上述
技术介绍
中提出的问题。
2、为实现上述目的，本专利技术提供如下技术方案：
3、一种基于时空数据密度感知的存储与检索方法，包括如下步骤：
4、步骤一，基于数据密度的空间划分策略使用松散四叉树对时空数据集进行网格划分，通过计算标准差确定划分阈值，反映时空数据集网格内的密度差异；
5、步骤二，基于密度感知的空间索引结构，与列式数据库结合实现高效数据存储，根据网格的数据密度和层级，为每个网格分配id，作为数据分区的标识，将每个网格内的时空数据按照时间顺序存储至相应的分区中，实现对时空数据的高效组织和管理；
6、步骤三，基于密度的查询优化策略，根据查询条件动态调整查询策略，查询条件包括时间范围、空间范围以及查询精度。
7、作为本专利技术的进一步方案，步骤一基于数据密度的空间划分策略使用松散四叉树对时空数据集进行网格划分，通过计算标准差确定划分阈值，反映时空数据集网格内的密度差异的具体步骤为：
8、步骤q1，根据时空数据集的空间范围确定四叉树的根节点，根据时空数据集的空间范围和数据密度的平均值，确定初始网格尺寸；
9、步骤q2，将数据集中的每个数据点插入至叉树中，当子节点的数据量超过预设阈值时，子节点将进行分裂，直到满足预设阈值条件或达到最大层级为止；
10、步骤q3，在四叉树构建完成后，计算每个节点的数据密度，作为后续查询优化的依据，数据密度通过节点内数据点数量除以网格空间尺寸得到。
11、作为本专利技术的进一步方案，松散四叉树是动态的空间索引结构，能根据数据的分布情况自适应地调整网格的大小和层级，对时空数据进行组织和管理。
12、作为本专利技术的进一步方案，标准差是用于反映时空数据集在网格内的密度差异，当标准差超过设定的阈值时，表示网格内的数据不符合标准，应对网格进行再处理。
13、作为本专利技术的进一步方案，步骤三基于密度的查询优化策略，根据查询条件动态调整查询策略的具体步骤为：
14、步骤w1，网格划分完成后，为每个网格分配id，id由网格的层级及位置编码组成，并将网格信息存储至redis内存数据库中，redis内存数据库能够提供高速的键值存储和访问功能，以实现对网格的快速查询和更新；
15、步骤w2，在数据存储时，将每个网格的id、网格经纬度信息、层级、密度信息作为子标签构建存储结构存储至tdengine数据库中，每个网格的id对应一个数据分区子表，每个分区子表内按时间顺序存储该网格内的时空数据。
16、作为本专利技术的进一步方案，步骤三基于密度的查询优化策略，根据查询条件动态调整查询策略的具体步骤为：
17、步骤y1，根据查询条件，使用jts基于空间范围相交判断方法计算与目标网格相交或相切的网格列表，从redis内存数据库中获取网格信息，再从tdengine数据库中读取符合时间范围的时空数据；
18、步骤y2，根据查询精度要求，确定需要返回的网格层级；
19、步骤y3，对于每个网格，根据其数据密度及查询精度要求，选择查询策略；当网格的层级大于等于查询精度要求的层级时，采用精确查询策略，即直接返回该网格内的所有时空数据；当网格的层级小于查询精度要求的层级时，采用近似查询策略，即返回该网格内的部分或汇总的时空数据；
20、步骤y4，将网格的查询结果进行合并过滤，得到最终查询结果。
21、作为本专利技术的进一步方案，步骤y2根据查询精度要求，确定需要返回的网格层级，当网格层级大于等于查询精度要求的层级时，采用精确查询策略，即返回该网格内的所有时空数据；当网格层级小于查询精度要求的层级时，采用近似查询策略，即返回该网格内汇总的时空数据。
22、本专利技术一种基于时空数据密度感知的存储与检索方法的技术效果和优点：
23、1、本专利技术引入了一种基于数据密度的空间划分策略，实现高密度数据区域的合理划分，提高了数据存储结构的自适应性，降低了存储空间成本；
24、2、本专利技术设计了一种基于密度感知的空间索引结构，与列式数据库结合实现高效数据存储，提升了数据存储和检索的性能，降低了数据冗余；
25、3、本专利技术提出了一种基于密度的查询优化策略，根据查询范围和精度要求动态调整查询策略，提高了查询性能，提升了大数据场景下的查询效率。
本文档来自技高网...【技术保护点】
1.一种基于时空数据密度感知的存储与检索方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于时空数据密度感知的存储与检索方法，其特征在于，步骤一中，基于数据密度的空间划分策略使用松散四叉树对时空数据集进行网格划分，通过计算标准差确定划分阈值，反映时空数据集网格内的密度差异的具体步骤为：
3.据权利要求1所述的一种基于时空数据密度感知的存储与检索方法，其特征在于，松散四叉树是动态的空间索引结构，能根据数据的分布情况自适应地调整网格的大小和层级，对时空数据进行组织和管理。
4.权利要求1所述的一种基于时空数据密度感知的存储与检索方法，其特征在于，标准差是用于反映时空数据集在网格内的密度差异，当标准差超过设定的阈值时，表示网格内的数据不符合标准，应对网格进行再处理。
5.根据权利要求1所述的一种基于时空数据密度感知的存储与检索方法，其特征在于，步骤三基于密度的查询优化策略，根据查询条件动态调整查询策略的具体步骤为：
6.根据权利要求1所述的一种基于时空数据密度感知的存储与检索方法，其特征在于，步骤三基于密度的查询
7.根据权利要求6所述的一种基于时空数据密度感知的存储与检索方法，其特征在于，步骤Y2根据查询精度要求，确定需要返回的网格层级，当网格层级大于等于查询精度要求的层级时，采用精确查询策略，即返回该网格内的所有时空数据；当网格层级小于查询精度要求的层级时，采用近似查询策略，即返回该网格内汇总的时空数据。
8.一种基于时空数据密度感知的存储与检索方法系统，其特征在于，应用于权利要求1-7任一所述的一种基于时空数据密度感知的存储与检索方法，包括处理器及与处理器通讯连接的存储器。
...【技术特征摘要】
1.一种基于时空数据密度感知的存储与检索方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于时空数据密度感知的存储与检索方法，其特征在于，步骤一中，基于数据密度的空间划分策略使用松散四叉树对时空数据集进行网格划分，通过计算标准差确定划分阈值，反映时空数据集网格内的密度差异的具体步骤为：
3.据权利要求1所述的一种基于时空数据密度感知的存储与检索方法，其特征在于，松散四叉树是动态的空间索引结构，能根据数据的分布情况自适应地调整网格的大小和层级，对时空数据进行组织和管理。
4.权利要求1所述的一种基于时空数据密度感知的存储与检索方法，其特征在于，标准差是用于反映时空数据集在网格内的密度差异，当标准差超过设定的阈值时，表示网格内的数据不符合标准，应对网格进行再处理。
5.根据权利要求1所述的一种基于时空数据密...
【专利技术属性】
技术研发人员：谢士齐，李蒙，陈昭，王飞，徐勇军，
申请(专利权)人：中科厦门数据智能研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。