数据处理方法及装置制造方法及图纸

本发明专利技术公开了一种数据处理方法及装置；方法包括：从目标数据的关键字中提取第一关键字和第二关键字；以所述第一关键字为索引，与各数据块的哈希关键字依次进行比对；基于比对成功时所述第一关键字所映射的存储位置，获取以所述第一关键字为哈希关键字的目标数据块；以所述第二关键字为索引，依次与所述目标数据块的索引的中间值、以及递归分割后的所述目标数据块的索引的中间值进行比对；其中，所述索引包括所述目标数据块中数据的顺序排列的序列号；基于比对成功时所述第二关键字所映射的存储位置，从所述目标数据块的相应存储位置获取所述目标数据。实施本发明专利技术，能够高效查找数据。

【技术实现步骤摘要】
数据处理方法及装置
本专利技术涉及数据库技术，尤其涉及一种数据处理方法及装置。
技术介绍
数据查找技术，是指查找服务运行所需要数据的技术，快速查找数据是保证服务高效、稳定运行的关键因素。目前，数据呈现爆炸式增长的趋势，常规的数据查找技术在海量数据中进行查找出现查找效率低、占用资源高的瓶颈。以增强现实技术为例，增强现实技术是在显示真实环境的基础上，扩增用户对现实世界的感知，实现真实环境与虚拟对象(用户当前所处真实环境中不存在的对象)相结合的效果，对于增强现实而言，涉及用于表示真实环境和虚拟对象的海量地图数据，目前常规的数据查找技术难以保证查找的效率。再以高精度电子地图为例，高精度电子地图是用于自动驾驶和自动导航，具有常规电子地图无法比拟的精度(精度误差往往一米以内)，并且会包括道路设施的大量相关数据，因此数据量较大，目前常规的数据查找技术在高精度电子地图中查找时同样难以保证查找的效率。综上所述，在对数据进行查找时，如何保证数据查找的效率，相关技术尚无有效解决方案。
技术实现思路
本专利技术实施例提供一种数据处理方法及装置，能够以高效方式查找数据。本专利技术实施例的技术方案是这样实现的：第一方面，本专利技术实施例提供一种数据处理方法，包括：从目标数据的关键字中提取第一关键字和第二关键字；以所述第一关键字为索引，与各数据块的哈希关键字依次进行比对；基于比对成功时所述第一关键字所映射的存储位置，获取以所述第一关键字为哈希关键字的目标数据块；以所述第二关键字为索引，依次与所述目标数据块的索引的中间值、以及所述目标数据块的递归分割后的索引的中间值进行比对；其中，所述索引包括所述目标数据块中数据的顺序排列的序列号；基于比对成功时所述第二关键字所映射的存储位置，从所述目标数据块的相应存储位置获取所述目标数据。第二方面，本专利技术实施例提供一种数据处理装置，包括：提取单元，用于从目标数据的关键字中提取第一关键字和第二关键字；第一查找单元，用于以所述第一关键字为索引，与各数据块的哈希关键字依次进行比对；第一获取单元，用于基于比对成功时所述第一关键字所映射的存储位置，获取以所述第一关键字为哈希关键字的目标数据块；第二查找单元，用于以所述第二关键字为索引，依次与所述目标数据块的索引的中间值、以及所述目标数据块的递归分割后的索引的中间值进行比对；其中，所述索引包括所述目标数据块中数据的顺序排列的序列号；第二获取单元，用于基于比对成功时所述第二关键字所映射的存储位置，从所述目标数据块的相应存储位置获取所述目标数据。第三方面，本专利技术实施例提供一种数据处理装置，包括处理器和存储介质，所述存储介质中存储有可执行指令，所述可执行指令用于引起所述处理器执行包括下述的操作：从目标数据的关键字中提取第一关键字和第二关键字；以所述第一关键字为索引，与各数据块的哈希关键字依次进行比对；基于比对成功时所述第一关键字所映射的存储位置，获取以所述第一关键字为哈希关键字的目标数据块；以所述第二关键字为索引，依次与所述目标数据块的索引的中间值、以及递归分割后的所述目标数据块的索引的中间值进行比对；其中，所述索引包括所述目标数据块中数据的顺序排列的序列号；基于比对成功时所述第二关键字所映射的存储位置，从所述目标数据块的相应存储位置获取所述目标数据。第四方面，本专利技术实施例提供一种存储介质，存储有可执行指令，用于执行本专利技术实施例提供的数据处理方法。本专利技术实施例具有以下有益效果：以第一关键字与各数据块的哈希关键字进行比对，确定目标数据归属的目标数据块，后续可以在目标数据块中进行继续查找，将基于哈希关键字与基于序列号在递归分割的索引中查找的方式结合；一方面，避免了读取全部数据块并在每个数据块遍历查找导致的占用大量存储空间的问题；另一方面，避免了单一采用数据的序列号在递归分割的索引中查找而导致的查找效率低下的问题，提升了查找效率。附图说明图1是本专利技术实施例提供的数据处理器装置部署在基于服务器/客户端系统的一个的可选的示意图；图2是本专利技术实施例提供的数据处理装置的一个可选的硬件结构示意图；图3是本专利技术实施例提供的存储数据时对数据进行划分后的一个可选的结构的示意图；图4是本专利技术实施例提供的存储数据进行划分后的一个可选的结构的示意图；图5是本专利技术实施例提供的存储数据块的一个可选的存储结构的示意图；图6是本专利技术实施例提供的存储数据块集合的一个可选的存储结构(映射表)的示意图；、图7是本专利技术实施例提供的数据块中有序排列数据的一个可选的示意图；图8是本专利技术实施例提供的数据块中有序排列数据的一个可选的示意图；图9是本专利技术实施例提供的用于查找数据的关键字的一个可选的结构示意图；图10是本专利技术实施例提供的用于查找数据的关键字的一个可选的结构示意图；图11是本专利技术实施例提供的数据处理方法的一个可选的流程示意图；图12是本专利技术实施例提供的以目标数据的第一关键字为索引，与各数据块的哈希关键字依次进行比对的一个可选的流程示意图；图13是本专利技术实施例提供的数据查找方法的一个可选的流程示意图；图14是本专利技术实施例提供的数据处理装置的一个可选的结构示意图。具体实施方式以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。对本专利技术进行进一步详细说明之前，对本专利技术实施例中涉及的名词和术语进行说明，本专利技术实施例中涉及的名词和术语适用于如下的解释。1)数据，也称为静态数据，或者称为截面数据，是由若干相关现象在某一时点上所处的状态的数据组成的，描述了现象在某一时刻的变化情况，反映一定时间、地点等客观条件下现象之间存在的内在数值联系，例如可以是在相同时间点上收集的数据，还可以是在数据查找之前已经预先创建完毕的数据。例如，地图应用中使用的地图数据，在进行地图数据查找时地图数据是稳定的不会发生变化。再例如，增强现实应用中使用的地图数据，包括不同地点的各个真实对象和虚拟对象的影像数据。就数据本身而言，可以是一条数据或者多条数据，又或者是一定容量(如一定字节数)的数据。例如高精度电子地图中一个地点或某一区域的地图数据，又例如增强现实地图中位于某一地点的一个或多个虚拟对象的影像数据。2)数据块，包括：2.1)哈希关键字部分，即数据块自身的哈希关键字；2.2)数据部分，即顺序排列的多个数据，数据块中的各个数据在数据块中根据序列号形成有序排列。3)序列号，对于数据块中有序排列的数据对应分配的有序的标识，序列号可以采用数字排序(如1/2/3/4)，或者采用字母排序(如a/b/c/d)，或者字母与数字的结合排序(如a1/a2/a3/a4)，又或者是其他任意形式的有序的标识。4)序列号索引，数据块中的各数据序列号形成的有序(例如数字排序，字母排序等)的索引。5)数据块集合，包括：5.1)哈希关键字部分，即，数据块集合自身的哈希关键字；5.2)数据部分，即两个以上的数据块。6)兴趣点(POI，POintofInterest)，用于对应一个对象(目标)，例如在高精度电子地图中，兴趣点可以是地点，用于对应如房子、商铺、邮筒和公交站等，在增强现实地图中，兴趣点可以是在地点中的虚拟对象(如游戏中的各种虚拟道具)。现在将参考附图描述实现本专利技术实施例的数据处理装置。数据处理装置可以以各种本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：从目标数据的关键字中提取第一关键字和第二关键字；以所述第一关键字为索引，与各数据块的哈希关键字依次进行比对；基于比对成功时所述第一关键字所映射的存储位置，获取以所述第一关键字为哈希关键字的目标数据块；以所述第二关键字为索引，依次与所述目标数据块的索引的中间值、以及所述目标数据块的递归分割后的索引的中间值进行比对；其中，所述索引包括所述目标数据块中数据的顺序排列的序列号；基于比对成功时所述第二关键字所映射的存储位置，从所述目标数据块的相应存储位置获取所述目标数据。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：从目标数据的关键字中提取第一关键字和第二关键字；以所述第一关键字为索引，与各数据块的哈希关键字依次进行比对；基于比对成功时所述第一关键字所映射的存储位置，获取以所述第一关键字为哈希关键字的目标数据块；以所述第二关键字为索引，依次与所述目标数据块的索引的中间值、以及所述目标数据块的递归分割后的索引的中间值进行比对；其中，所述索引包括所述目标数据块中数据的顺序排列的序列号；基于比对成功时所述第二关键字所映射的存储位置，从所述目标数据块的相应存储位置获取所述目标数据。2.如权利要求1所述的方法，其特征在于，还包括：基于各所述数据块的序列号形成相应数据块的哈希关键字；针对各所述数据块中的各数据的排列关系而顺序分配序列号；基于所述各数据归属的数据块的哈希关键字、以及所述各数据对应分配的序列号进行组合，形成相应数据的关键字。3.如权利要求2所述的方法，其特征在于，所述基于各所述数据块的序列号形成相应数据块的哈希关键字，包括：对各所述数据块的序列号进行哈希编码得到相应数据块的哈希关键字，或者，将各所述数据块的序列号作为相应数据块的哈希关键字。4.如权利要求1所述的方法，其特征在于，所述以所述第一关键字为索引，与各数据块的哈希关键字依次进行比对，包括：读取映射表至内存空间，所述映射表包括所述各数据块的哈希关键字与相应存储位置的映射关系；以所述第一关键字为索引，与所述映射表中所述各数据块的哈希关键字进行比对。5.如权利要求1所述的方法，其特征在于，所述以所述第一关键字为索引，与各数据块的哈希关键字依次进行比对；基于比对成功时所述第一关键字所映射的存储位置，获取以所述第一关键字为哈希关键字的目标数据块，包括：从所述第一关键字中提取出第一子关键字和第二子关键字；以所述第一子关键字为索引，与各数据块集合的哈希关键字依次进行比对；基于比对成功时所述第一子关键字所映射的存储位置，获取以所述第一子关键字为哈希关键字的目标数据块集合；以所述第二子关键字为索引，与所述目标数据块集合中各数据块的哈希关键字依次进行比对，获取所述目标数据块集合中以所述第二关键字为哈希关键字的所述目标数据块。6.如权利要求1所述的方法，其特征在于，所述基于比对成功时所述第一关键字所映射的存储位置，获取以所述第一关键字为哈希关键字的目标数据块，包括：基于比对成功时所述第一关键字所映射的存储位置，从非易失性存储空间的相应存储位置，读取以所述第一关键字为哈希关键字的目标数据块至内存空间中。7.如权利要求6所述的方法，其特征在于，所述基于比对成功时所述第二关键字所映射的存储位置，从所述目标数据块的相应存储位置获取所述目标数据，包括：基于比对成功时所述第二关键字在所述目标数据块中所映射的存储位置，从所述内存空间存储的所述目标数据块的相应存储位置读取所述目标数据。8.如权利要求1所述的方法，其特征在于，所述以所述第二关键字为索引，依次与所述目标数据块的索引的中间值、以及所述目标数据块的递归分割后的索引的中间值进行比对，包括：以所述第二关键字为索引，与所述目标数据块的索引的中间值进行比对；在比对未成功时，将所述目标数据块的索引等分为第一索引和第二索引，确定所述第二关键字的取值所处的所述第一索引；将所述第二关键字与所述第一索引的中间值进行比对；在未比对成功时，将所述第一索引等分为新的第一索引和新的第二索引...

【专利技术属性】
技术研发人员：袁野，周海发，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44