System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据处理方法、装置、设备及计算机可读存储介质制造方法及图纸_技高网

数据处理方法、装置、设备及计算机可读存储介质制造方法及图纸

技术编号:40869112 阅读:2 留言:0更新日期:2024-04-08 16:35
本公开涉及一种数据处理方法、装置、设备及计算机可读存储介质,本公开通过关联列数据和标量数据,构建数据生成系统,统一了列数据和标量数据的传输参数,实现了列数据和标量数据的混合传输;从数据生成系统获取目标数据,确定目标数据的数据类型,明确了目标数据的数据类型,降低了安全隐患;计算目标数据的值,对值进行计算或存储,统一了标量数据和列数据值的获取,相较于现有技术中分别设计列数据与列数据,列数据与标量数据,标量数据与标量数据的计算接口,本公开实施例消除了列数据和标量数据的差异,降低了算子设计和开发难度,无需提供多套计算方案,缩短了算子开发时间,节省了人力成本,加快了产品迭代速度。

【技术实现步骤摘要】

本公开涉及计算机,尤其涉及一种数据处理方法、装置、设备及计算机可读存储介质


技术介绍

1、数据查询加速库(realtime accelerate computing environment,race)中需要开发算子来处理计算数据,当计算的数据同时存在标量数据和列数据时,由于标量数据和列数据完全分离,二者无法当成一个参数进行传输,在计算时需要分别设计列数据与列数据,列数据与标量数据,标量数据与标量数据的计算接口,不仅接口内部实现重复度高,算子设计难度大,而且在传递目前的标量数据时无法获取标量数据的数据类型,存在安全隐患。


技术实现思路

1、为了解决上述技术问题或者至少部分地解决上述技术问题,本公开提供了一种数据处理方法、装置、设备及计算机可读存储介质,以降低算子设计难度,缩短算子开发时间,节省人力,加快产品迭代速度。

2、第一方面,本公开实施例提供一种数据处理方法,包括:

3、关联列数据和标量数据,构建数据生成系统;

4、从所述数据生成系统获取目标数据,确定所述目标数据的数据类型;

5、计算所述目标数据的值,对所述值进行计算或存储。

6、在一些实施例中,关联列数据和标量数据,构建数据生成系统,包括:

7、通过基本数据属性关联列数据和标量数据,构建数据生成系统,所述列数据和所述标量数据继承所述基本数据属性。

8、在一些实施例中,所述基本数据属性包括:标识信息、维度信息、存储类型;

9、其中,从所述数据生成系统获取目标数据,确定所述目标数据的数据类型,包括:

10、从数据生成系统获取标识信息对应的目标数据;

11、根据所述目标数据的维度信息,确定所述目标数据的数据类型。

12、在一些实施例中,所述维度信息包括一维和多维;

13、其中,根据所述目标数据的维度信息,确定所述目标数据的数据类型,包括:

14、当目标数据的维度信息为一维时,确定所述目标数据的数据类型为标量数据;

15、当目标数据的维度信息为多维时,确定所述目标数据的数据类型为列数据。

16、在一些实施例中,计算所述目标数据的值,包括:

17、当所述目标数据的数据类型为所述标量数据时,根据所述目标数据的标识信息获取所述标量数据的值;

18、当所述目标数据的数据类型为所述列数据时,根据所述目标数据的标识信息和索引信息获取所述列数据的值。

19、在一些实施例中,对所述值进行计算或存储,包括:

20、调用接口对所述值进行计算或存储。

21、在一些实施例中,所述接口包括:数据管理接口和算子接口;

22、其中,调用接口对所述值进行计算或存储,包括:

23、调用所述数据管理接口对所述值进行存储;

24、和/或,调用所述算子接口对所述值进行计算。

25、第二方面,本公开实施例提供一种数据处理装置,包括:

26、构建模块,用于关联列数据和标量数据,构建数据生成系统;

27、确定模块,用于从所述数据生成系统获取目标数据,确定所述目标数据的数据类型;

28、计算模块,用于计算所述目标数据的值,对所述值进行计算或存储。

29、第三方面,本公开实施例提供一种电子设备,包括:

30、存储器;

31、处理器;以及

32、计算机程序;

33、其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现如第一方面所述的方法。

34、第四方面,本公开实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行以实现第一方面所述的方法。

35、第五方面,本公开实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序或指令,该计算机程序或指令被处理器执行时实现第一方面所述的方法。

36、本公开实施例提供的数据处理方法、装置、设备及计算机可读存储介质,通过关联列数据和标量数据,构建数据生成系统,统一了列数据和标量数据的传输参数,实现了列数据和标量数据的混合传输;从数据生成系统获取目标数据,确定目标数据的数据类型,明确了目标数据的数据类型,降低了安全隐患;计算目标数据的值,对值进行计算或存储,统一了标量数据和列数据值的获取,相较于现有技术中分别设计列数据与列数据,列数据与标量数据,标量数据与标量数据的计算接口,本公开实施例消除了列数据和标量数据的差异,降低了算子设计和开发难度,无需提供多套计算方案,缩短了算子开发时间,节省了人力成本,加快了产品迭代速度。

本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,关联列数据和标量数据,构建数据生成系统,包括:

3.根据权利要求2所述的方法,其特征在于,所述基本数据属性包括:标识信息、维度信息、存储类型;

4.根据权利要求3所述的方法,其特征在于,所述维度信息包括一维和多维;

5.根据权利要求3所述的方法,其特征在于,计算所述目标数据的值,包括:

6.根据权利要求1所述的方法,其特征在于,对所述值进行计算或存储,包括:

7.根据权利要求6所述的方法,其特征在于,所述接口包括:数据管理接口和算子接口;

8.一种数据处理装置,其特征在于,所述装置包括:

9.一种电子设备,其特征在于,包括:

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

【技术特征摘要】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,关联列数据和标量数据,构建数据生成系统,包括:

3.根据权利要求2所述的方法,其特征在于,所述基本数据属性包括:标识信息、维度信息、存储类型;

4.根据权利要求3所述的方法,其特征在于,所述维度信息包括一维和多维;

5.根据权利要求3所述的方法,其特征在于,计算所述目标数据的值,包括:

【专利技术属性】
技术研发人员:阳彦君赵璐刘昱泽王哲
申请(专利权)人:中科驭数北京科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1