时空轨迹伴随分析方法、系统及电子设备和存储介质技术方案

技术编号:26504873 阅读:15 留言:0更新日期:2020-11-27 15:32
本申请公开了一种时空轨迹伴随分析方法及相关组件,该方法包括:获取采集对象的原始数据,对原始数据中的空间数据编码生成字符串并添加至原始数据中,生成预处理数据;将预处理数据写入时序库Druid,写入时时序库根据时间粒度对预处理数据进行预聚合实现初始去重;接收针对目标对象的轨迹查询请求,查找数据并二次去重,生成目标对象的第一时空轨迹及伴随对象的第二时空轨迹;确定第二时空轨迹与第一时空轨迹的伴随次数,确定每个第二时空轨迹与第一时空轨迹的伴随程度。本申请利用时序库通过预聚合操作实现粗略去重,避免数据冗余,降低空间占用,提升二次去重计算速度,在伴随分析时无需构建非线性数据模型进行拟合,降低了计算复杂度。

【技术实现步骤摘要】
时空轨迹伴随分析方法、系统及电子设备和存储介质
本申请涉及数据处理
,更具体地说,涉及一种时空轨迹伴随分析方法、系统及一种电子设备和一种计算机可读存储介质。
技术介绍
随着卫星、无线网络以及定位设施的快速发展,移动对象的轨迹数据急剧增长,轨迹数据的分析、挖掘作为数据挖掘的一个新型分支,在安防、交通等行业发挥着巨大的作用。时空轨迹数据是采集对象的位置、时间和标签信息的采样记录集合。通过对时空数据进行分析,可以得到时空数据中的相似特征,进而有助于用户从中发现有效信息。在安防场景中,使用GeoHash对时空数据编码,并保存在分布式数据库Hbase中,对轨迹数据进行多维/伴随分析;在移动大数据场景中,同样使用GeoHash对时空数据编码,对目标轨迹点按照时间维度进行拼接,组合成目标轨迹记录,并可根据GeoHash编码字符串的重合度计算相似度权重,实现轨迹的伴随分析。也即,生成的轨迹数据需要按照时间维度人为设计复杂的代码逻辑对数据进行排序拼接。在进行伴随分析时,通常需要构建复杂的非线性数据模型进行拟合处理,计算复杂度较高,且需要耗费大量的人力成本。
技术实现思路
本申请的目的在于提供一种时空轨迹伴随分析方法、系统及一种电子设备和一种计算机可读存储介质,降低了计算复杂度、耗时及人力成本。为实现上述目的,本申请提供了一种时空轨迹伴随分析方法,包括:获取采集对象的原始数据,对所述原始数据中的空间数据进行pluscode编码生成字符串,将所述字符串添加至所述原始数据中,生成预处理数据;将所述预处理数据写入时序库Druid中进行存储,写入过程中所述时序库Druid根据时间粒度对所述预处理数据进行预聚合操作,实现初始去重;接收针对目标对象的轨迹查询请求,根据所述轨迹查询请求在所述时序库Druid中进行数据查找并进行二次去重处理,生成所述目标对象的第一时空轨迹,以及所述目标对象对应的伴随对象的第二时空轨迹;确定所述第二时空轨迹与所述第一时空轨迹的伴随次数,基于所述伴随次数确定每个所述第二时空轨迹与所述第一时空轨迹的伴随程度。可选的,所述写入过程中所述时序库Druid根据时间粒度对所述预处理数据进行预聚合操作,实现初始去重,包括:利用所述时序库Druid根据时间维度,对所述预处理数据进行预聚合操作,将经过所述预聚合操作的处理后数据按照顺序分块存储的方式写入所述时序库Druid中进行存储;利用所述时序库Druid根据所述处理后数据的维度信息,创建所述处理后数据对应的位图索引。可选的,所述根据所述轨迹查询请求在所述时序库Druid中进行数据查找,生成所述目标对象的第一时空轨迹,包括:根据所述轨迹查询请求,通过所述位图索引进行位运算,筛选所述目标对象在指定时间段内的第一轨迹数据;基于时间粒度对所述第一轨迹数据进行去重处理,得到去重后数据;按照时间顺序对所述去重后数据进行汇总,生成所述目标对象对应的第一时空轨迹。可选的,所述基于时间粒度对所述第一轨迹数据进行去重处理,得到去重后数据,包括:统计每个时间粒度内置信度最高的轨迹点确定为当前时间粒度的轨迹点数据;所述置信度包括每个pluscode编码的字符串出现的频次。可选的,所述第二时空轨迹的生成过程,包括:根据所述第一时空轨迹,在所述时序库Druid中查询与所有伴随对象对应的第二轨迹数据;根据所述伴随对象的标识信息,对所述第二轨迹数据进行分组,并根据时间粒度对所述第二轨迹数据进行去重处理,生成每个所述伴随对象对应的第二时空轨迹。可选的,所述确定所述第二时空轨迹与所述第一时空轨迹的伴随次数,基于所述伴随次数确定每个所述第二时空轨迹与所述第一时空轨迹的伴随程度,包括:分别统计每个所述第二时空轨迹与所述第一时空轨迹的伴随总次数和最大连续伴随次数;确定所述伴随总次数和所述最大连续伴随次数对应的权重,通过加权方式计算每个所述第二时空轨迹与所述第一时空轨迹的伴随程度。可选的,所述基于所述伴随次数确定每个所述第二时空轨迹与所述第一时空轨迹的伴随程度之后,还包括:通过预设显示方式展示所述第一时空轨迹,并按照所述伴随程度大小的降序排列输出伴随轨迹列表。为实现上述目的,本申请提供了一种时空轨迹伴随分析系统,包括:数据编码模块,用于获取采集对象的原始数据,对所述原始数据中的空间数据进行pluscode编码生成字符串,将所述字符串添加至所述原始数据中,生成预处理数据;数据存储模块,用于将所述预处理数据写入时序库Druid中进行存储,写入过程中所述时序库Druid根据时间粒度对所述预处理数据进行预聚合操作,实现初始去重;轨迹生成模块,用于接收针对目标对象的轨迹查询请求,根据所述轨迹查询请求在所述时序库Druid中进行数据查找并进行二次去重处理,生成所述目标对象的第一时空轨迹,以及所述目标对象对应的伴随对象的第二时空轨迹;伴随分析模块,用于确定所述第二时空轨迹与所述第一时空轨迹的伴随次数,基于所述伴随次数确定每个所述第二时空轨迹与所述第一时空轨迹的伴随程度。为实现上述目的,本申请提供了一种电子设备,包括:存储器,用于存储计算机程序;处理器,用于执行所述计算机程序时实现前述公开的任一种时空轨迹伴随分析方法的步骤。为实现上述目的,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现前述公开的任一种时空轨迹伴随分析方法的步骤。通过以上方案可知,本申请提供的一种时空轨迹伴随分析方法,包括:获取采集对象的原始数据,对所述原始数据中的空间数据进行pluscode编码生成字符串,将所述字符串添加至所述原始数据中,生成预处理数据;将所述预处理数据写入时序库Druid中进行存储,写入过程中所述时序库Druid根据时间粒度对所述预处理数据进行预聚合操作,实现初始去重;接收针对目标对象的轨迹查询请求,根据所述轨迹查询请求在所述时序库Druid中进行数据查找并进行二次去重处理,生成所述目标对象的第一时空轨迹,以及所述目标对象对应的伴随对象的第二时空轨迹;确定所述第二时空轨迹与所述第一时空轨迹的伴随次数,基于所述伴随次数确定每个所述第二时空轨迹与所述第一时空轨迹的伴随程度。由上可知,本申请可在生成预处理数据之后,利用时序库Druid通过预聚合操作实现数据的粗略去重,避免数据冗余,降低存储空间占用,提升后续二次精确去重过程的计算速度,并基于时序库Druid自动将数据按照时间进行排序,无需手动排序工作,在伴随分析时可基于第二时空轨迹与第一时空轨迹的伴随次数计算伴随程度,避免构建复杂的非线性数据模型进行拟合处理,降低了计算复杂度、耗时及人力成本。本申请还公开了一种时空轨迹伴随分析系统及一种电子设备和一种计算机可读存储介质,同样能实现上述技术效果。应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本申请。本文档来自技高网...

【技术保护点】
1.一种时空轨迹伴随分析方法,其特征在于,包括:/n获取采集对象的原始数据,对所述原始数据中的空间数据进行plus code编码生成字符串,将所述字符串添加至所述原始数据中,生成预处理数据;/n将所述预处理数据写入时序库Druid中进行存储,写入过程中所述时序库Druid根据时间粒度对所述预处理数据进行预聚合操作,实现初始去重;/n接收针对目标对象的轨迹查询请求,根据所述轨迹查询请求在所述时序库Druid中进行数据查找并进行二次去重处理,生成所述目标对象的第一时空轨迹,以及所述目标对象对应的伴随对象的第二时空轨迹;/n确定所述第二时空轨迹与所述第一时空轨迹的伴随次数,基于所述伴随次数确定每个所述第二时空轨迹与所述第一时空轨迹的伴随程度。/n

【技术特征摘要】
1.一种时空轨迹伴随分析方法,其特征在于,包括:
获取采集对象的原始数据,对所述原始数据中的空间数据进行pluscode编码生成字符串,将所述字符串添加至所述原始数据中,生成预处理数据;
将所述预处理数据写入时序库Druid中进行存储,写入过程中所述时序库Druid根据时间粒度对所述预处理数据进行预聚合操作,实现初始去重;
接收针对目标对象的轨迹查询请求,根据所述轨迹查询请求在所述时序库Druid中进行数据查找并进行二次去重处理,生成所述目标对象的第一时空轨迹,以及所述目标对象对应的伴随对象的第二时空轨迹;
确定所述第二时空轨迹与所述第一时空轨迹的伴随次数,基于所述伴随次数确定每个所述第二时空轨迹与所述第一时空轨迹的伴随程度。


2.根据权利要求1所述的时空轨迹伴随分析方法,其特征在于,所述写入过程中所述时序库Druid根据时间粒度对所述预处理数据进行预聚合操作,实现初始去重,包括:
利用所述时序库Druid根据时间维度,对所述预处理数据进行预聚合操作,将经过所述预聚合操作的处理后数据按照顺序分块存储的方式写入所述时序库Druid中进行存储;
利用所述时序库Druid根据所述处理后数据的维度信息,创建所述处理后数据对应的位图索引。


3.根据权利要求2所述的时空轨迹伴随分析方法,其特征在于,所述根据所述轨迹查询请求在所述时序库Druid中进行数据查找,生成所述目标对象的第一时空轨迹,包括:
根据所述轨迹查询请求,通过所述位图索引进行位运算,筛选所述目标对象在指定时间段内的第一轨迹数据;
基于时间粒度对所述第一轨迹数据进行去重处理,得到去重后数据;
按照时间顺序对所述去重后数据进行汇总,生成所述目标对象对应的第一时空轨迹。


4.根据权利要求3所述的时空轨迹伴随分析方法,其特征在于,所述基于时间粒度对所述第一轨迹数据进行去重处理,得到去重后数据,包括:
统计每个时间粒度内置信度最高的轨迹点确定为当前时间粒度的轨迹点数据;所述置信度包括每个pluscode编码的字符串出现的频次。


5.根据权利要求1所述的时空轨迹伴随分析方法,其特征在于,所述第二时空轨迹的生成过程,包括:
根据所述第一时空轨迹,在所述时序库Druid中查询与所有伴随对...

【专利技术属性】
技术研发人员:宋文豪
申请(专利权)人:济南浪潮数据技术有限公司
类型:发明
国别省市:山东;37

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1