面向物联网数据中台的数据预获取方法及装置制造方法及图纸

本发明专利技术提供一种面向物联网数据中台的数据预获取方法及装置，包括：获取客户端的数据访问请求，确定数据访问请求对应的目标数据；获取服务器资源的使用情况、各目标数据对应的时间信息及各目标数据对应的数据采集设备位置信息，并基于服务器资源的使用情况确定各目标数据对应的时间关联范围和区域关联范围，基于各目标数据对应的时间信息及所述时间关联范围确定关联数据的起始时间和终止时间，基于各目标数据对应的数据采集设备的位置信息及区域关联范围确定关联数据所属数据采集设备的区域位置信息，基于起始时间、终止时间和区域位置信息确定关联数据；将关联数据缓存至预缓存组件中，将目标数据返回至客户端。该方法提高了缓存数据的命中率。提高了缓存数据的命中率。提高了缓存数据的命中率。

【技术实现步骤摘要】
面向物联网数据中台的数据预获取方法及装置


[0001]本专利技术涉及物联网
，尤其涉及一种面向物联网数据中台的数据预获取方法及装置。

技术介绍

[0002]数据中台是指处于系统前端客户端和后端之间的大型数据服务中间件，并通过大数据相关技术，对海量异构数据进行采集、处理、计算、存储，同时统一异构数据的标准和口径。完成数据格式统一后，在后端的数据中心进行持久化存储，从而提供高效的数据服务支撑；数据中台的技术架构通常采用云计算的架构框架，对数据和存储资源进行充分的云计算化，从而为数据中台的用户提供一致且标准的一站式数据服务。IoTDMP(物联网数据中台)支持对城镇物联网场景中真实存在的视频监控、人车识别、环境监测、山地灾害监测等多场景所产生的海量异构感知数据进行高效云端汇聚、异构格式标准化处理、可靠的数据持久化存储，并向客户端提供安全高效的统一数据访问接口进行数据服务支撑。由此可知，直接影响IoTDMP服务质量的重要元素之一就是对各场景感知数据的查询响应时延。在传统方法中，数据查询都会经过IoTDMP对后端持久化数据库访问，但由于实际距离、网络带宽和关系型持久化数据库特性等因素，都会造成响应延迟增加、服务质量下降的问题，因此数据预获取技术应运而生。
[0003]DPT(Data Prefetch Technology，数据预获取技术)将持久化数据库与内存型数据库相结合，在数据访问请求到来之前，预先将目标数据从持久化数据库读取并保存在查找响应更为高效的内存型数据库中，从而实现高效的数据访问服务，目前，Memcached和Redis等内存对象缓存系统已经被证明是一种简单高效的数据服务中间件。在该过程中，DPT通过对数据访问请求的历史记录进行监测，得出请求偏好的目标数据；而后DPT会基于关联规则和当前系统的负载情况确定要预读取的目标数据及其关联数据，并将上述数据以哈希Key
‑
Value键值对的形式保存在Memcached或Redis所在的缓存中以应对即将到来的数据访问请求。对于DPT，目前已存在PrefetchML、SEER
‑
MCache等数据预获取方法对数据进行预获取。
[0004]图1为现有技术的PrefetchML数据预获取模型架构；在图1所示的数据预获取方法中，当一个数据访问事件被发送到PrefetchML模型时，模型架构中的数据服务API组件会对数据访问进行处理并将其转发给PrefetchML核心组件，该核心组件负载触发相关的预取和缓存规则，核心组件在关联规则存储组件中搜索与事件和触发事件的对象相对应的关联规则。规则中的每个OCL(Object Constraint Language，对象约束语言)表达式都被转换并发送到模型连接器组件进行查询，该连接器负责基于数据模型组件完成实际的数据查询计算；查询后数据被预获取到缓存中，之后核心组件则可以通过数据缓存API组件访问缓存中的数据，并通过数据服务API返回给客户端。
[0005]而基于DPT的SEER
‑
MCache是一个用于实时数据处理的可预获取缓存数据模型，该模型采用了主被动混合的数据关联方法，被动方法通过对目标感知数据的发生时间T范围、
关系型数据库前后N行以及存在主外键关联关系的数据作为相关数据。同时，SEER
‑
MCache配置了一个Monitor用于监测服务器的资源使用情况，在资源允许的情况下，将用户访问的热点数据通过上述的关联方法进行主动关联、预获取至缓存。
[0006]上述的在现有技术中普遍常用的PrefetchML数据预获取模型及SEER
‑
MCache数据预获取模型虽然可实现数据的预获取，但PrefetchML数据预获取模型由于其自身所应用的关联规则，使得对于城镇物联网的数据特征没有针对性，从而导致城镇物联网场景下预获取到的数据的缓存数据命中率较低。而SEER
‑
MCache数据预获取模型在进行数据预获取时，采用的关联方法依靠感知数据的产生时间、关系型数据库的行关系和表间主外键进行处理，该模型忽视了产生数据的设备位置，从而也影响预获取到的数据的准确度。因此，对于城镇物联网场景下，如何确保预获取到的数据具有较高的缓存数据命中率是亟待解决的技术问题。

技术实现思路

[0007]有鉴于此，本专利技术提供了一种面向物联网数据中台的数据预获取方法及装置，以解决现有技术中存在的一个或多个问题。
[0008]根据本专利技术的一个方面，本专利技术公开了一种面向物联网数据中台的数据预获取方法，其特征在于，所述方法包括：
[0009]获取客户端的数据访问请求，确定所述数据访问请求对应的目标数据；
[0010]获取服务器资源的使用情况、各目标数据对应的时间信息以及各目标数据对应的数据采集设备的位置信息，并基于所述服务器资源的使用情况确定各目标数据对应的时间关联范围和区域关联范围，基于各所述目标数据对应的时间信息及所述时间关联范围确定关联数据的起始时间和终止时间，基于各所述目标数据对应的数据采集设备的位置信息及所述区域关联范围确定关联数据所属数据采集设备的区域位置信息，并基于所述起始时间、终止时间和所述区域位置信息确定所述目标数据的关联数据；
[0011]将所述关联数据缓存至预缓存组件中，并将所述目标数据返回至所述客户端。
[0012]在本专利技术的一些实施例中，所述方法还包括：
[0013]基于所述服务器资源的使用情况，判断是否启动主动数据预获取。
[0014]在本专利技术的一些实施例中，在CPU使用率小于50％、磁盘空闲大于50％且空闲网络宽带大于75％时启动主动数据预获取。
[0015]在本专利技术的一些实施例中，在主动数据预获取过程中，确定所述数据访问请求对应的目标数据，包括：
[0016]基于热点数据计数器确定各热点数据的访问次数；
[0017]基于各所述热点数据的访问总次数对各所述热点数据进行排序；
[0018]基于所述排序确定所述数据访问请求对应的目标数据。
[0019]在本专利技术的一些实施例中，基于所述排序确定所述数据访问请求对应的目标数据，包括：
[0020]获取服务器资源的使用情况，基于所述服务器资源的使用情况以及所述排序确定所述数据访问请求对应的目标数据。
[0021]在本专利技术的一些实施例中，所述方法还包括：
[0022]基于客户端对持久化数据库中的数据做出的修改更新所述预缓存组件中的数据。
[0023]在本专利技术的一些实施例中，基于客户端对持久化数据库中的数据做出的修改更新所述预缓存组件中的数据；包括：
[0024]在所述客户端修改了单一场景下的单条数据时，串行化逐条修改所述预缓存组件中的数据；
[0025]在所述客户端修改了单一场景下的多条数据时，将所述预缓存组件中的与所述单一场景相关的数据均删除，并将修改后的多条数据对应的目标数据以及关联数据均缓存至所述预缓存组件中；
[0026]在所述客户本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向物联网数据中台的数据预获取方法，其特征在于，所述方法包括：获取客户端的数据访问请求，确定所述数据访问请求对应的目标数据；获取服务器资源的使用情况、各目标数据对应的时间信息以及各目标数据对应的数据采集设备的位置信息，并基于所述服务器资源的使用情况确定各目标数据对应的时间关联范围和区域关联范围，基于各所述目标数据对应的时间信息及所述时间关联范围确定关联数据的起始时间和终止时间，基于各所述目标数据对应的数据采集设备的位置信息及所述区域关联范围确定关联数据所属数据采集设备的区域位置信息，并基于所述起始时间、终止时间和所述区域位置信息确定所述目标数据的关联数据；将所述关联数据缓存至预缓存组件中，并将所述目标数据返回至所述客户端。2.根据权利要求1所述的面向物联网数据中台的数据预获取方法，其特征在于，所述方法还包括：基于所述服务器资源的使用情况，判断是否启动主动数据预获取。3.根据权利要求2所述的面向物联网数据中台的数据预获取方法，其特征在于，在CPU使用率小于50％、磁盘空闲大于50％且空闲网络宽带大于75％时启动主动数据预获取。4.根据权利要求3所述的面向物联网数据中台的数据预获取方法，其特征在于，在主动数据预获取过程中，确定所述数据访问请求对应的目标数据，包括：基于热点数据计数器确定各热点数据的访问次数；基于各所述热点数据的访问总次数对各所述热点数据进行排序；基于所述排序确定所述数据访问请求对应的目标数据。5.根据权利要求4所述的面向物联网数据中台的数据预获取方法，其特征在于，基于所述排序确定所述数据访问请求对应的目标数据，包括：获取服务器资源的使用情况，基于所述服务器资源的使用情况以及所述排序确定所述数据访问请求对应的目标数据。6.根据权利要求1所述的面向物联网数据中台的数据预获取方法，其特...

【专利技术属性】
技术研发人员：张海涛，王鹏然，马华东，吕竟豪，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：