【技术实现步骤摘要】
用于管理数据模式的方法、设备和程序产品
[0001]本公开的各实现方式涉及数据处理,更具体地,涉及用于管理来自采集设备的数据的数据模式的方法、设备和计算机程序产品。
技术介绍
[0002]随着数据采集技术和网络技术的发展,目前已经可以在多种应用环境中部署各种类型的采集设备,以便监视应用环境的各项参数。例如,道路管理环境中,可以在道路中的各个地理位置处部署采集设备,以便监视道路状态。在生产控制环境中,可以在生产线的各个位置处部署采集设备,以便监视生产线的运行,等等。可以来自采集设备的数据传输至数据中心,以便于后期处理和分析。将会理解,采集到的数据中可能会存在重复数据(在下文中,将重复数据的模式称为数据模式),这些重复数据将会造成传输带宽和存储空间的浪费。此时,如何更加有效地管理采集到数据的数据模式,成为一个研究热点。
技术实现思路
[0003]因而,期望能够开发并实现一种以更为有效的方式来管理数据模式的技术方案。期望该技术方案能够以更为方便和有效的方式,管理来自多个不同采集设备的数据的数据模式。进一步,期望可以 ...
【技术保护点】
【技术特征摘要】
1.一种用于管理数据模式的方法,包括:获取分别与多个采集设备相关联的多组数据模式,所述多组数据模式中的一组数据模式表示来自所述多个采集设备中的一个采集设备的数据中的重复数据的模式;基于所述多组数据模式的聚类,将所述多个采集设备划分为多个分组;以及基于与所述多个分组中的分组中的各个采集设备相关联的各组数据模式,确定用于在所述分组中的所述各个采集设备之间共享的一组共享数据模式。2.根据权利要求1所述的方法,其中将所述多个采集设备划分为所述多个分组包括:基于所述多组数据模式,分别生成所述多组数据模式的多个模式特征;以及基于所述多个模式特征,将所述多个采集设备划分为所述多个分组。3.根据权利要求2所述的方法,其中分别生成所述多组数据模式的所述多个模式特征包括:针对所述多组数据模式中的所述一组数据模式,基于所述一组数据模式中的各个数据模式以及所述各个数据模式在所述数据中的出现次数,生成所述一组数据模式的模式特征。4.根据权利要求2所述的方法,其中将所述多个采集设备划分为所述多个分组包括:分别将所述多个模式特征转换至多个低维特征,所述多个低维特征的维度低于所述多个模式特征的维度;以及基于所述多个低维特征的聚类来确定所述多个分组。5.根据权利要求1所述的方法,其中确定所述一组共享数据模式包括:分别确定所述各组数据模式中的数据模式在来自所述分组中的所述各个采集设备的数据中的出现次数;以及基于所述出现次数,确定所述一组共享数据模式。6.根据权利要求1所述的方法,其中确定所述一组共享数据模式包括:基于所述各组数据模式的交集,确定所述一组共享数据模式。7.根据权利要求1所述的方法,其中获取所述多组数据模式包括:获取与所述采集设备相关联的一组初始数据模式;基于所述一组初始数据模式在所述数据中的出现次数,将所述一组初始数据模式进行排序;以及基于排序的所述一组初始数据模式,选择与所述采集设备相关联的所述一组数据模式。8.根据权利要求1所述的方法,其中所述多个采集设备位于应用环境中的边缘网络中,以及所述方法在所述网络中的计算设备处被执行。9.根据权利要求8所述的方法,进一步包括:将所述一组共享数据模式分发至所述边缘网络中的边缘计算设备,所述边缘计算设备被连接至所述分组中的所述多个采集设备中的目标采集设备;以及指示所述边缘计算设备基于所述一组共享数据模式来生成来自所述目标采集设备的目标数据的去重数据。10.根据权利要求9所述的方法,进一步包括:指示所述边缘计算设备向用于处理所述目标数据的服务器设备传输所述去重数据。11.一种电子设备,包括:
至少一个处理器;易失性存储器;以及与所述至少一个处理器耦合的存储器,所述存储器具有存储于其中的指令,所述指令在被所述至少一个处理器执行时使得所述设备执行一种用...
【专利技术属性】
技术研发人员:蒲薇榄,康剑,陈驰,陈雯,
申请(专利权)人:伊姆西IP控股有限责任公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。