System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于标签的数据处理方法、设备及计算机可读存储介质技术_技高网

基于标签的数据处理方法、设备及计算机可读存储介质技术

技术编号:40193314 阅读:5 留言:0更新日期:2024-01-26 23:55
本发明专利技术公开了一种基于标签的数据处理方法、设备及计算机可读存储介质,属于大数据技术领域。所述基于标签的数据处理方法包括以下步骤:获取待处理数据的数据来源、数据属性和上传时间戳;根据所述数据来源,基于预设标签体系,确定所述待处理数据所属的标签层级;根据所述数据属性和所述上传时间戳对应的数据特征,确定所述待处理数据在所述标签层级下对应的目标子标签;基于所述目标子标签,确定所述待处理数据在数字孪生系统中所属的数据类型。通过以上方法,能够对数字孪生系统中的数据进行精细管理,将其应当接入的功能模块,以便执行相应的仿真任务。

【技术实现步骤摘要】

本专利技术涉及大数据领域,尤其涉及基于标签的数据处理方法、设备及计算机可读存储介质


技术介绍

1、数字孪生作为一种仿真技术,通过充分利用传感器数据、运行历史数据以及物理模型等数据,在虚拟空间中完成实体空间的映射,以此来实现对于实体物理空间的实时监管和预测。在数字孪生系统中,往往会涉及各种类型数据的分类处理,将其按照对应数据类型接入相应的功能模块。

2、以往的处理方式,通常为仅根据数据来源进行分类,然而对于一些非结构化的数据,如某一传感器上传的实数、整数、离散值数据或其他衍生数据等,系统在处理过程中难以区分其中每一项的实际含义,因此也无法对其进行更加精细的划分,以满足复杂数字孪生场景的数据处理需求。

3、上述内容仅用于辅助理解本专利技术的技术方案,并不代表承认上述内容是现有技术。


技术实现思路

1、本专利技术的主要目的在于提供一种数据基于标签的数据处理方法、设备及计算机可读存储介质,旨在解决以往的处理方式难以对数字孪生系统中的数据进行更加精细地划分的技术问题。

2、为实现上述目的,本专利技术提供一种数据基于标签的数据处理方法,所述基于标签的数据处理方法包括以下步骤:

3、获取待处理数据的数据来源、数据属性和上传时间戳;

4、根据所述数据来源,基于预设标签体系,确定所述待处理数据所属的标签层级;

5、根据所述数据属性和所述上传时间戳对应的数据特征,确定所述待处理数据在所述标签层级下对应的目标子标签;

6、基于所述目标子标签,确定所述待处理数据在数字孪生系统中所属的数据类型。

7、可选地,所述根据所述数据来源,基于预设标签体系,确定所述待处理数据所属的标签层级的步骤之前,还包括:

8、获取所述数字孪生系统的数据源和各个功能模块的数据处理逻辑;

9、根据所述数据源和所述数据处理逻辑,设定标签规则;

10、根据所述标签规则和所述数据源,创建所述数字孪生系统的所述预设标签体系。

11、可选地,所述根据所述数据来源,基于预设标签体系,确定所述待处理数据所属的标签层级的步骤包括:

12、根据所述预设标签体系,创建对应的标签层级拓扑结构;

13、基于所述标签层级拓扑结构,构建层级多标签分类模型;

14、根据所述数据来源,提取所述待处理数据的数据来源特征;

15、基于所述层级多标签分类模型,根据所述数据来源特征,预测所述待处理数据所属的标签层级。

16、可选地,所述基于所述层级多标签分类模型,根据所述数据来源特征,预测所述待处理数据所属的标签层级的步骤包括:

17、基于所述层级多标签分类模型,将所述数据来源特征与所述标签层级拓扑结构中的节点进行匹配;

18、根据所述来源特征是否属于所述节点的概率数值或二元分类结果,确定所述待处理数据所属的标签层级。

19、可选地,所述根据所述数据属性和所述上传时间戳对应的数据特征,确定所述待处理数据在所述标签层级下对应的目标子标签的步骤包括:

20、基于所述数据属性和所述上传时间戳对应的数据特征,转化为对应的特征向量;

21、在对所述特征向量添加预设标识符并进行填充处理之后,将所述特征向量输入标签分类模型;

22、基于所述标签分类模型和所述特征向量,确定所述待处理数据在所述标签层级下的分类结果,以确定所述待处理数据对应的目标子标签。

23、可选地,所述基于所述数据属性和所述上传时间戳对应的数据特征,转化为对应的特征向量的步骤之前,还包括:

24、根据当前数字孪生系统的标签体系,设定模型评价指标并标注训练样本集;

25、基于所述训练样本集,对初始标签分类模型进行训练;

26、基于所述模型评价指标,评定训练后的所述初始标签分类模型的模型参数;

27、在所述模型参数满足所述模型评价指标时,保存所述模型参数,以得到所述标签分类模型。

28、可选地,所述基于所述目标子标签,确定所述待处理数据在数字孪生系统中所属的数据类型的步骤之后,还包括:

29、根据所述数据类型,确定所述待处理数据的校验规则;

30、基于所述校验规则,校验所述待处理数据的完整性;

31、在所述待处理数据校验通过后,根据所述数字孪生系统的处理需求对所述待处理数据进行整合存储。

32、可选地,所述基于所述目标子标签,确定所述待处理数据在数字孪生系统中所属的数据类型的步骤之后,还包括:

33、基于所述数据类型,将所述待处理数据接入所述孪生系统中对应的功能模块;

34、基于所述功能模块的数据处理逻辑和所述待处理数据,构建并执行仿真任务。

35、此外,为实现上述目的,本专利技术还提供一种基于标签的数据处理设备,所述基于标签的数据处理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于标签的数据处理程序,所述基于标签的数据处理程序配置为实现上所述的基于标签的数据处理方法的步骤。

36、此外,为实现上述目的,本专利技术还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有基于标签的数据处理程序,所述基于标签的数据处理程序被处理器执行时实现如上所述的基于标签的数据处理方法的步骤。

37、本专利技术实施例通过提供一种基于标签的数据处理方法,首先获取待处理数据的数据来源、数据属性和上传时间戳,根据数据来源,基于当前数字孪生系统的预设标签体系,确定待处理数据所属的标签;根据所述数据属性和所述上传时间戳,提取所述待处理数据的数据特征;根据数据特征与当前标签层级下子标签特征之间的相似度,确定待处理数据所属的目标子标签,通过目标子标签,可以最终确定待处理数据在数字孪生系统中所属的数据类型。

38、通过以上方法,能够对实体物理场景中上传到数字孪生系统中的数据进行精细管理,将其应当接入的功能模块,以便执行相应的仿真任务。

本文档来自技高网...

【技术保护点】

1.一种基于标签的数据处理方法,其特征在于,所述基于标签的数据处理方法包括以下步骤:

2.如权利要求1所述的基于标签的数据处理方法,其特征在于,所述根据所述数据来源,基于预设标签体系,确定所述待处理数据所属的标签层级的步骤之前,还包括:

3.如权利要求1所述的基于标签的数据处理方法,其特征在于,所述根据所述数据来源,基于预设标签体系,确定所述待处理数据所属的标签层级的步骤包括:

4.如权利要求3所述的基于标签的数据处理方法,其特征在于,所述基于所述层级多标签分类模型,根据所述数据来源特征,预测所述待处理数据所属的标签层级的步骤包括:

5.如权利要求1所述的基于标签的数据处理方法,其特征在于,所述根据所述数据属性和所述上传时间戳对应的数据特征,确定所述待处理数据在所述标签层级下对应的目标子标签的步骤包括:

6.如权利要求5所述的基于标签的数据处理方法,其特征在于,所述基于所述数据属性和所述上传时间戳对应的数据特征,转化为对应的特征向量的步骤之前,还包括:

7.如权利要求1所述的基于标签的数据处理方法,其特征在于,所述基于所述目标子标签,确定所述待处理数据在数字孪生系统中所属的数据类型的步骤之后,还包括:

8.如权利要求1所述的基于标签的数据处理方法,其特征在于,所述基于所述目标子标签,确定所述待处理数据在数字孪生系统中所属的数据类型的步骤之后,还包括:

9.一种基于标签的数据处理设备,其特征在于,所述基于标签的数据处理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于标签的数据处理程序,所述基于标签的数据处理程序配置为实现如权利要求1至8中任一项所述的基于标签的数据处理方法的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有基于标签的数据处理程序,所述基于标签的数据处理程序被处理器执行时实现如权利要求1至8任一项所述的基于标签的数据处理方法的步骤。

...

【技术特征摘要】

1.一种基于标签的数据处理方法,其特征在于,所述基于标签的数据处理方法包括以下步骤:

2.如权利要求1所述的基于标签的数据处理方法,其特征在于,所述根据所述数据来源,基于预设标签体系,确定所述待处理数据所属的标签层级的步骤之前,还包括:

3.如权利要求1所述的基于标签的数据处理方法,其特征在于,所述根据所述数据来源,基于预设标签体系,确定所述待处理数据所属的标签层级的步骤包括:

4.如权利要求3所述的基于标签的数据处理方法,其特征在于,所述基于所述层级多标签分类模型,根据所述数据来源特征,预测所述待处理数据所属的标签层级的步骤包括:

5.如权利要求1所述的基于标签的数据处理方法,其特征在于,所述根据所述数据属性和所述上传时间戳对应的数据特征,确定所述待处理数据在所述标签层级下对应的目标子标签的步骤包括:

6.如权利要求5所述的基于标签的数据处理方法,其特征在于,所述基于所述数据属性和所述上传时间...

【专利技术属性】
技术研发人员:巩怀志于腾波张惠玲
申请(专利权)人:深圳市智慧城市科技发展集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1