System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据提取方法、装置、电子设备及存储介质和加速卡制造方法及图纸_技高网

数据提取方法、装置、电子设备及存储介质和加速卡制造方法及图纸

技术编号:40061421 阅读:5 留言:0更新日期:2024-01-16 22:45
本申请公开一种数据提取方法、装置、存储介质和加速卡,所述方法包括:从主计算设备获取待提取数据、提取规则数据、数据处理参数,并存储在加速卡的存储区;通过加速卡的核,从存储区读取所述数据处理参数,根据数据处理参数,从存储区读取待提取数据和提取规则数据,基于提取规则数据对待提取数据执行数据提取,并将待提取数据的数据提取结果存储在存储区;向主计算设备返回存储区中的数据提取结果。借此,本申请通过将数据提取任务,由主计算设备转移至加速卡中执行,可减少主计算设备的算力占用,并提高数据提取处理效率。

【技术实现步骤摘要】

本申请涉及数据处理领域,尤其涉及一种数据提取方法、装置、存储介质和加速卡。


技术介绍

1、数据库中的数据提取是一个非常重要的功能,其可帮助用户快速获取数据库中的有用数据信息。例如,在数据信息a、b、c中提取有用的数据信息a和c。

2、然而,现有针对数据库中的可变长度字符串类型的数据所执行的数据提取处理,只能通过主计算设备的cpu实现,会占用大量的cpu算力资源,且由于cpu指令集架构无法高效且快速地对大量数据进行数据提取,导致当前的数据提取效率也较低。


技术实现思路

1、有鉴于此,本申请实施例提供一种数据提取方案,通过将数据提取任务由主计算设备转移至加速卡中执行,可减少主计算设备的算力消耗,提高数据提取处理效率。

2、根据本申请实施例的第一方面,提供了一种数据提取方法,应用于耦接主计算设备的加速卡,所述方法包括:从所述主计算设备获取待提取数据、提取规则数据、数据处理参数,并存储在所述加速卡的存储区;通过所述加速卡的核,从所述存储区读取所述数据处理参数,根据所述数据处理参数,从所述存储区读取所述待提取数据和所述提取规则数据,基于所述提取规则数据对所述待提取数据执行数据提取,并将所述待提取数据的数据提取结果存储在所述存储区;向所述主计算设备返回所述存储区中的所述数据提取结果。

3、根据本申请实施例的第二方面,提供了一种数据提取装置,应用于耦接主计算设备的加速卡,所述装置包括:读取模块,用于从所述主计算设备获取待提取数据、提取规则数据、数据处理参数,并存储在所述加速卡的存储区;提取模块,用于通过所述加速卡的核,从所述存储区读取所述数据处理参数,根据所述数据处理参数,从所述存储区读取所述待提取数据和所述提取规则数据,基于所述提取规则数据对所述待提取数据执行数据提取,并将所述待提取数据的数据提取结果存储在所述存储区;返回模块,用于向所述主计算设备返回所述存储区中的所述目标数据。

4、根据本申请实施例的第三方面,提供了一种加速卡,包括:存储区和核,所述存储区用于存储从所述主计算设备获取待提取数据、提取规则数据、数据处理参数和所述待提取数据的数据提取结果;所述核通过所述加速卡的核,从所述存储区读取所述数据处理参数,根据所述数据处理参数,从所述存储区读取所述待提取数据和所述提取规则数据,基于所述提取规则数据对所述待提取数据执行数据提取,得到所述待提取数据的数据提取结果。

5、根据本申请实施例的第四方面,提供了一种计算机存储介质,所述计算机存储介质存储有计算机程序代码,当所述计算机程序代码被处理器运行时,使处理器执行如第一方面所述的数据提取方法。

6、综上所述,本申请各方面提供的数据提取方案,通过从主计算设备获取待提取数据、提取规则数据和数据处理参数,并通过加速卡根据数据处理参数,读取待提取数据和提取规则数据,利用提取规则数据对待提取数据进行数据提取,再将数据提取结果返回给主计算设备,借以将数据提取处理由主计算设备移至加速卡中执行,从而减少主计算设备的算力消耗,并提高数据提取处理效率。

本文档来自技高网...

【技术保护点】

1.一种数据提取方法,应用于耦接主计算设备的加速卡,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述数据处理参数包括所述待提取数据的读取总量和处理总量;

3.根据权利要求1或2所述的方法,其特征在于,所述核包括待处理寄存器、已处理寄存器和规则寄存器,所述待提取数据包括多个待提取字符串,所述提取规则数据包括对应于各待提取字符串的各字符提取规则;

4.根据权利要求3所述的方法,其特征在于,所述待处理寄存器包括指针;

5.根据权利要求4所述的方法,其特征在于,在所述数据缓存长度不大于所述预设长度阈值的情况下,通过以下方式更新所述指针的当前位置:

6.根据权利要求4所述的方法,其特征在于,每个待提取字符串包括具有固定长度的标识字符段和具有不固定长度的内容字符段,所述待处理寄存器包括连续的多个存储区块,每个存储区块用于一个待提取字符串;

7.根据权利要求4所述的方法,其特征在于,所述利用所述规则寄存器中的字符提取规则,选择性地提取所述目标字符串,包括:

8.一种数据提取装置,应用于耦接主计算设备的加速卡,其特征在于,所述装置包括:

9.一种加速卡,其特征在于,包括:

10.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序代码,当所述计算机程序代码被处理器运行时,使处理器执行根据权利要求1-7中任一个所述的方法。

...

【技术特征摘要】

1.一种数据提取方法,应用于耦接主计算设备的加速卡,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述数据处理参数包括所述待提取数据的读取总量和处理总量;

3.根据权利要求1或2所述的方法,其特征在于,所述核包括待处理寄存器、已处理寄存器和规则寄存器,所述待提取数据包括多个待提取字符串,所述提取规则数据包括对应于各待提取字符串的各字符提取规则;

4.根据权利要求3所述的方法,其特征在于,所述待处理寄存器包括指针;

5.根据权利要求4所述的方法,其特征在于,在所述数据缓存长度不大于所述预设长度阈值的情况下,通过以下方式更新所述指针的当前位置:

6....

【专利技术属性】
技术研发人员:李志亚李晟耿嘉陈岩张宇鄢贵海
申请(专利权)人:中科驭数北京科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1