稀疏数据的查询方法、装置、设备和计算机可读存储介质制造方法及图纸

技术编号:36524888 阅读:20 留言:0更新日期:2023-02-01 16:03
本发明专利技术提供一种稀疏数据的查询方法、装置、设备和计算机可读存储介质,涉及电子信息技术领域,该方法包括:获取待查询数据的索引地址和原始稀疏数据的一级索引表以及二级索引表;一级索引表用于存储原始稀疏数据中每一个数的一级索引值,一级索引值用于表征对应的数是否为零,二级索引表用于存储二级索引值;基于索引地址和一级索引表确定待查询数据对应的目标一级索引值,并基于目标一级索引值、一级索引表以及二级索引表确定目标存储地址;基于目标存储地址从数据存储器中获取索引地址对应的目标查询数据,以解决如何节省存储空间以及提高稀疏数据的查询效率的技术问题。间以及提高稀疏数据的查询效率的技术问题。间以及提高稀疏数据的查询效率的技术问题。

【技术实现步骤摘要】
稀疏数据的查询方法、装置、设备和计算机可读存储介质


[0001]本专利技术涉及电子信息
,尤其涉及一种稀疏数据的查询方法、装置、设备和计算机可读存储介质。

技术介绍

[0002]稀疏表是压缩稀疏数据的一种重要表示方法,广泛应用于电子信息
稀疏表具有很多种表达方式,包括压缩稀疏行、压缩稀疏列以及坐标轴索引。
[0003]压缩稀疏行、压缩稀疏列以及坐标轴索引需要直接存储行坐标或者列坐标,当向量维度比较高或者稀疏性比较低时,需要较大的存储空间,同时在查找数据时存在访问存储器次数过多的问题,从而使得数据的查询效率比较低。
[0004]因此,如何节省存储空间以及提高稀疏数据的查询效率,是相关领域技术人员亟待解决的技术问题。

技术实现思路

[0005]本专利技术提供一种稀疏数据的查询方法、装置、设备和计算机可读存储介质,用以解决现有技术中如何节省存储空间以及提高稀疏数据的查询效率的技术问题。
[0006]本专利技术提供一种稀疏数据的查询方法,包括:
[0007]获取待查询数据的索引地址和所述待查询数据对应原始稀疏数据的一级索引表;所述一级索引表包括多个一级存储单元,用于存储所述原始稀疏数据中每一个数的一级索引值,所述一级索引值用于表征对应的数是否为零;
[0008]获取所述原始稀疏数据的二级索引表,所述二级索引表包括多个二级存储单元,用于存储二级索引值,所述二级索引值基于与所述二级存储单元对应的多个一级存储单元中的一级索引值确定;
[0009]基于所述索引地址和所述一级索引表确定所述待查询数据对应的目标一级索引值,并基于所述目标一级索引值、所述一级索引表以及所述二级索引表确定目标存储地址;
[0010]基于所述目标存储地址从数据存储器中获取所述索引地址对应的目标查询数据,所述数据存储器用于存储所述原始稀疏数据中的非零数。
[0011]根据本专利技术提供的一种稀疏数据的查询方法,所述基于所述索引地址和所述一级索引表确定所述待查询数据对应的目标一级索引值,包括:
[0012]获取所述一级索引表中一级存储单元的存储容量,所述存储容量表示所述一级存储单元中包含的一级存储位的数量,所述一级存储位用于存储一级索引值;
[0013]基于所述索引地址和所述存储容量,确定目标存储单元编号以及目标存储位编号;基于所述目标存储单元编号从所述一级索引表中确定出所述待查询数据对应的目标一级存储单元;
[0014]获取所述目标一级存储单元中所述目标存储位编号对应一级存储位上存储的一级索引值,并确定所述一级索引值为所述待查询数据对应的目标一级索引值。
[0015]根据本专利技术提供的一种稀疏数据的查询方法,所述基于所述目标一级索引值、所述一级索引表以及所述二级索引表确定目标存储地址,包括:
[0016]判断所述目标一级索引值是否为第一标识值,所述第一标识值用于表征一级索引值对应的数为非零数;
[0017]在所述目标一级索引值为所述第一标识值的情况下,从所述一级索引表中获取所述目标一级索引值对应的目标一级存储单元中的所有一级索引值,得到目标一级索引数据;
[0018]确定所述二级索引表中与所述目标一级存储单元具有相同编号的二级存储单元为所述待查询数据对应的目标二级存储单元;
[0019]基于所述目标一级索引值、所述目标一级索引数据以及所述目标二级存储单元中存储的目标二级索引值,确定所述待查询数据对应的目标存储地址。
[0020]根据本专利技术提供的一种稀疏数据的查询方法,所述基于所述目标一级索引值、所述目标一级索引数据以及所述目标二级存储单元中存储的目标二级索引值,确定所述待查询数据对应的目标存储地址,包括:
[0021]基于所述目标一级索引值和所述目标一级索引数据生成掩码数据,并基于所述目标一级索引数据和所述掩码数据获取第一非零个数;
[0022]基于所述目标二级索引值得到第二非零个数,并基于所述第一非零个数和所述第二非零个数获取目标非零个数;
[0023]基于所述目标非零个数,确定所述待查询数据在数据存储器中的目标存储地址。
[0024]根据本专利技术提供的一种稀疏数据的查询方法,所述基于所述目标一级索引值和所述目标一级索引数据生成掩码数据,并基于所述目标一级索引数据和所述掩码数据获取第一非零个数,包括:
[0025]将所述目标一级索引数据中位于所述目标一级索引值前面的所有一级索引值赋值为1以及将其他一级索引值赋值为0,得到所述掩码数据;
[0026]将所述目标一级索引数据和所述掩码数据输入至与逻辑运算器中,得到逻辑运算结果;
[0027]将所述逻辑运算结果输入至加法器树电路中,得到所述第一非零个数。
[0028]根据本专利技术提供的一种稀疏数据的查询方法,所述方法还包括:
[0029]在所述目标一级索引值为第二标识值的情况下,输出所述索引地址对应的目标查询数据为零,所述第二标识值用于表征一级索引值对应的数为零。
[0030]本专利技术还提供一种稀疏数据的查询装置,包括:
[0031]第一获取模块,用于获取待查询数据的索引地址和所述待查询数据对应原始稀疏数据的一级索引表;所述一级索引表包括多个一级存储单元,用于存储所述原始稀疏数据中每一个数的一级索引值;
[0032]第二获取模块,用于获取所述原始稀疏数据的二级索引表,所述二级索引表包括多个二级存储单元,用于存储二级索引值,所述二级索引值基于与所述二级存储单元对应的多个一级存储单元中的一级索引值确定;
[0033]地址查询模块,用于基于所述索引地址和所述一级索引表确定所述待查询数据对应的目标一级索引值,并基于所述目标一级索引值、所述一级索引表以及所述二级索引表
确定目标存储地址;
[0034]数据查询模块,用于基于所述目标存储地址从数据存储器中获取所述索引地址对应的目标查询数据,所述数据存储器用于存储所述原始稀疏数据中的非零数。
[0035]本专利技术还提供一种稀疏数据的查询设备,包括控制器,所述控制器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述的稀疏数据的查询方法。
[0036]本专利技术还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述的稀疏数据的查询方法。
[0037]本专利技术还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述的稀疏数据的查询方法。
[0038]本专利技术提供的稀疏数据的查询方法、装置、设备和计算机可读存储介质,通过一级索引表和二级索引表存储原始稀疏数据中每一个数的索引值,而在数据存储器中仅存储原始稀疏数据中的非零数,从而能够极大地节省数据存储器的存储空间,达到节约存储资源的效果,从而根据待查询数据对应的目标一级索引值的数值判断该待查询数据是否为零,并根据判断结果进一步确定查询数据对应的目标存储地本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种稀疏数据的查询方法,其特征在于,包括:获取待查询数据的索引地址和所述待查询数据对应原始稀疏数据的一级索引表;所述一级索引表包括多个一级存储单元,用于存储所述原始稀疏数据中每一个数的一级索引值,所述一级索引值用于表征对应的数是否为零;获取所述原始稀疏数据的二级索引表,所述二级索引表包括多个二级存储单元,用于存储二级索引值,所述二级索引值基于与所述二级存储单元对应的多个一级存储单元中的一级索引值确定;基于所述索引地址和所述一级索引表确定所述待查询数据对应的目标一级索引值,并基于所述目标一级索引值、所述一级索引表以及所述二级索引表确定目标存储地址;基于所述目标存储地址从数据存储器中获取所述索引地址对应的目标查询数据,所述数据存储器用于存储所述原始稀疏数据中的非零数。2.根据权利要求1所述的稀疏数据的查询方法,其特征在于,所述基于所述索引地址和所述一级索引表确定所述待查询数据对应的目标一级索引值,包括:获取所述一级索引表中一级存储单元的存储容量,所述存储容量表示所述一级存储单元中包含的一级存储位的数量,所述一级存储位用于存储一级索引值;基于所述索引地址和所述存储容量,确定目标存储单元编号以及目标存储位编号;基于所述目标存储单元编号从所述一级索引表中确定出所述待查询数据对应的目标一级存储单元;获取所述目标一级存储单元中所述目标存储位编号对应一级存储位上存储的一级索引值,并确定所述一级索引值为所述待查询数据对应的目标一级索引值。3.根据权利要求1或2所述的稀疏数据的查询方法,其特征在于,所述基于所述目标一级索引值、所述一级索引表以及所述二级索引表确定目标存储地址,包括:判断所述目标一级索引值是否为第一标识值,所述第一标识值用于表征一级索引值对应的数为非零数;在所述目标一级索引值为所述第一标识值的情况下,从所述一级索引表中获取所述目标一级索引值对应的目标一级存储单元中的所有一级索引值,得到目标一级索引数据;确定所述二级索引表中与所述目标一级存储单元具有相同编号的二级存储单元为所述待查询数据对应的目标二级存储单元;基于所述目标一级索引值、所述目标一级索引数据以及所述目标二级存储单元中存储的目标二级索引值,确定所述待查询数据对应的目标存储地址。4.根据权利要求3所述的稀疏数据的查询方法,其特征在于,所述基于所述目标一级索引值、所述目标一级索引数据以及所述目标二级存储单元中存储的目标二级索引值,确定所述待查询数据对应的目标存储地址,包括:基于所述目标一级索引值和所述目标一级索引数据生...

【专利技术属性】
技术研发人员:李千鹏宋文娜陈亮
申请(专利权)人:中国科学院自动化研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1