System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本公开涉及计算机,尤其涉及一种数据处理方法、装置、设备及计算机可读存储介质。
技术介绍
1、数据查询加速库(realtime accelerate computing environment,race)中需要开发算子来处理计算数据,当计算的数据同时存在标量数据和列数据时,由于标量数据和列数据完全分离,二者无法当成一个参数进行传输,在计算时需要分别设计列数据与列数据,列数据与标量数据,标量数据与标量数据的计算接口,不仅接口内部实现重复度高,算子设计难度大,而且在传递目前的标量数据时无法获取标量数据的数据类型,存在安全隐患。
技术实现思路
1、为了解决上述技术问题或者至少部分地解决上述技术问题,本公开提供了一种数据处理方法、装置、设备及计算机可读存储介质,以降低算子设计难度,缩短算子开发时间,节省人力,加快产品迭代速度。
2、第一方面,本公开实施例提供一种数据处理方法,包括:
3、关联列数据和标量数据,构建数据生成系统;
4、从所述数据生成系统获取目标数据,确定所述目标数据的数据类型;
5、计算所述目标数据的值,对所述值进行计算或存储。
6、在一些实施例中,关联列数据和标量数据,构建数据生成系统,包括:
7、通过基本数据属性关联列数据和标量数据,构建数据生成系统,所述列数据和所述标量数据继承所述基本数据属性。
8、在一些实施例中,所述基本数据属性包括:标识信息、维度信息、存储类型;
9、其中
10、从数据生成系统获取标识信息对应的目标数据;
11、根据所述目标数据的维度信息,确定所述目标数据的数据类型。
12、在一些实施例中,所述维度信息包括一维和多维;
13、其中,根据所述目标数据的维度信息,确定所述目标数据的数据类型,包括:
14、当目标数据的维度信息为一维时,确定所述目标数据的数据类型为标量数据;
15、当目标数据的维度信息为多维时,确定所述目标数据的数据类型为列数据。
16、在一些实施例中,计算所述目标数据的值,包括:
17、当所述目标数据的数据类型为所述标量数据时,根据所述目标数据的标识信息获取所述标量数据的值;
18、当所述目标数据的数据类型为所述列数据时,根据所述目标数据的标识信息和索引信息获取所述列数据的值。
19、在一些实施例中,对所述值进行计算或存储,包括:
20、调用接口对所述值进行计算或存储。
21、在一些实施例中,所述接口包括:数据管理接口和算子接口;
22、其中,调用接口对所述值进行计算或存储,包括:
23、调用所述数据管理接口对所述值进行存储;
24、和/或,调用所述算子接口对所述值进行计算。
25、第二方面,本公开实施例提供一种数据处理装置,包括:
26、构建模块,用于关联列数据和标量数据,构建数据生成系统;
27、确定模块,用于从所述数据生成系统获取目标数据,确定所述目标数据的数据类型;
28、计算模块,用于计算所述目标数据的值,对所述值进行计算或存储。
29、第三方面,本公开实施例提供一种电子设备,包括:
30、存储器;
31、处理器;以及
32、计算机程序;
33、其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现如第一方面所述的方法。
34、第四方面,本公开实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行以实现第一方面所述的方法。
35、第五方面,本公开实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序或指令,该计算机程序或指令被处理器执行时实现第一方面所述的方法。
36、本公开实施例提供的数据处理方法、装置、设备及计算机可读存储介质,通过关联列数据和标量数据,构建数据生成系统,统一了列数据和标量数据的传输参数,实现了列数据和标量数据的混合传输;从数据生成系统获取目标数据,确定目标数据的数据类型,明确了目标数据的数据类型,降低了安全隐患;计算目标数据的值,对值进行计算或存储,统一了标量数据和列数据值的获取,相较于现有技术中分别设计列数据与列数据,列数据与标量数据,标量数据与标量数据的计算接口,本公开实施例消除了列数据和标量数据的差异,降低了算子设计和开发难度,无需提供多套计算方案,缩短了算子开发时间,节省了人力成本,加快了产品迭代速度。
本文档来自技高网...【技术保护点】
1.一种数据处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,关联列数据和标量数据,构建数据生成系统,包括:
3.根据权利要求2所述的方法,其特征在于,所述基本数据属性包括:标识信息、维度信息、存储类型;
4.根据权利要求3所述的方法,其特征在于,所述维度信息包括一维和多维;
5.根据权利要求3所述的方法,其特征在于,计算所述目标数据的值,包括:
6.根据权利要求1所述的方法,其特征在于,对所述值进行计算或存储,包括:
7.根据权利要求6所述的方法,其特征在于,所述接口包括:数据管理接口和算子接口;
8.一种数据处理装置,其特征在于,所述装置包括:
9.一种电子设备,其特征在于,包括:
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
【技术特征摘要】
1.一种数据处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,关联列数据和标量数据,构建数据生成系统,包括:
3.根据权利要求2所述的方法,其特征在于,所述基本数据属性包括:标识信息、维度信息、存储类型;
4.根据权利要求3所述的方法,其特征在于,所述维度信息包括一维和多维;
5.根据权利要求3所述的方法,其特征在于,计算所述目标数据的值,包括:
【专利技术属性】
技术研发人员:阳彦君,赵璐,刘昱泽,王哲,
申请(专利权)人:中科驭数北京科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。