数据获取方法技术

本申请公开了一种数据获取方法，属于数据数据处理技术领域。获取携带数据标识的查询请求，从缓存区内查找与该数据标识对应的目标数据。若查找到该目标数据，则响应于该查询请求，从该缓存区内返回该目标数据。若未查找到该目标数据，则优先将存储于后端设备处的包含目标数据的数据批次，复制至该缓存区内。再响应于该查询请求，从该缓存区内返回该目标数据。可见，能够通过前端设备获取目标数据。在获取目标数据之前，将部分目标数据存储至前端设备的缓存区内。获取特定数据标识的目标数据时，可优先从缓存区内查找该目标数据，并基于查找的结果决定是否从后端设备获取该目标数据，无需频繁与后端设备交互，提高效率。提高效率。提高效率。

【技术实现步骤摘要】
数据获取方法


[0001]本申请属于数据处理
，尤其涉及一种数据获取方法。

技术介绍

[0002]通常情况下，深度学习模型、计算机视觉模型等模型在应用之前，以及应用过程中，均需要通过数据样本对模型进行训练，从而提升模型性能。而对于有监督学习来说，采集到数据样本之后，往往还需要用户对数据样本进行标注，才能基于标注完成的数据样本训练模型。
[0003]用户通常基于前端设备内配置的浏览器对数据样本进行标注。但是，由于浏览器的缓存空间较小，通常仅有3至5兆字节(Mega Byte，MB)，难以存储大量的数据样本，因此，数据样本往往存储在后端设备的存储组件中。于是，用户在对数据样本进行标注前，往往需要获取数据样本。
[0004]现有技术中，获取数据样本时，通常由前端设备向后端设备发送携带数据标识的请求，从而从后端设备处获取数据样本。
[0005]显然，用户每次在获取数据样本时，均需要向后端设备发送请求，等待后端设备返回数据样本。并且，由于数据样本从后端设备发送至前端设备往往需要一定的时间，因此，现有技术中，用户获取数据样本的效率较低。

技术实现思路

[0006]本申请实施例提供一种数据获取方法，能够提高获取目标数据的效率。
[0007]一方面，本申请实施例提供一种数据获取方法，方法包括：
[0008]获取携带数据标识的查询请求；
[0009]从所述缓存区内查找与数据标识对应的目标数据；
[0010]在确定查找到所述目标数据的情况下，响应于所述查询请求，返回所述目标数据；
[0011]在确定未查找到所述目标数据的情况下，将存储于后端设备处的包含所述目标数据的数据批次，复制至所述缓存区内，并响应于所述查询请求，返回所述缓存区内存储的所述目标数据。
[0012]可选的，所述数据批次携带批次标识；
[0013]所述将存储于后端设备处的包含所述目标数据的数据批次，复制至所述缓存区内，并响应于所述查询请求，从所述缓存区内返回所述目标数据，包括：
[0014]根据所述数据标识，确定所述数据标识对应的批次标识；
[0015]根据所述批次标识，从与所述前端设备关联的后端设备处，获取所述批次标识对应的数据批次，所述数据批次包含所述目标数据；
[0016]将所述数据批次，存储至所述缓存区内；
[0017]响应于所述查询请求，返回所述缓存区内存储的所述目标数据。
[0018]可选的，所述数据标识从第一数值开始依次递增，所述批次标识从第二数值开始
依次递增，批次标识较小的数据批次优先配置数据标识较小的目标数据；
[0019]所述根据所述数据标识，确定所述数据标识对应的批次标识，包括：
[0020]根据所述数据标识、所述第一数值、所述第二数值以及所述B，通过如下公式，确定包含所述数据标识对应的目标数据的数据批次的批次标识：
[0021][0022]其中，Y为批次标识，X为数据标识，C为第一数值，D为第二数值，N为数据标识的最大值。
[0023]可选的，根据所述批次标识，从与所述前端设备关联的后端设备处，获取所述批次标识对应的数据批次，包括：
[0024]向后端设备发送用于获取所述批次标识对应的数据批次的目标请求；
[0025]接收并存储所述后端设备返回的所述数据批次；
[0026]在确定所述缓存区存储的数据批次数量大于B的情况下，按照先进先出的顺序，从存储在所述缓存区的数据批次中，删除H个数据批次，H为正整数，且H小于B。
[0027]可选的，所述数据批次携带有状态标识，所述状态标识至少包括已缓存、正在请求中以及未缓存；
[0028]所述向后端设备发送用于获取所述批次标识对应的数据批次的目标请求，包括：
[0029]从所述后端设备处获取所述批次标识对应数据批次的状态标识；
[0030]在确定所述状态标识为正在请求的情况下，等待所述后端设备发送所述数据批次；
[0031]在确定所述状态标识为未缓存的情况下，向所述后端设备发送用于获取所述批次标识对应的数据批次的目标请求。
[0032]可选的，所述数据批次携带有状态标识，所述状态标识至少包括已缓存、正在请求中以及未缓存；
[0033]所述方法还包括：
[0034]在确定存在数据批次的状态标识为正在请求的情况下，停止接收所述后端设备发送的所述数据批次；
[0035]在确定已存储包含所述数据标识对应的目标数据的数据批次的情况下，恢复接收已停止接收的所述数据批次。
[0036]可选的，所述数据批次携带有状态标识，所述状态标识至少包括已缓存、正在请求中以及未缓存，所述数据批次在初始状态下的状态标识均为未缓存；
[0037]所述方法还包括：
[0038]在确定向所述后端设备发送携带批次标识的目标请求的情况下，向后端设备发送携带所述批次标识的状态修改请求，将所述批次标识对应的数据批次携带的状态标识修改为正在请求；
[0039]在确定将数据批次存储至所述缓存区的情况下，向后端设备发送携带所述批次标识的状态修改请求，将所述数据批次的状态标识修改为已缓存；
[0040]在确定将缓存区内的数据批次删除的情况下，向后端设备发送携带所述批次标识的状态修改请求，将所述数据批次的状态标识修改为未缓存。
[0041]可选的，所述数据批次携带批次标识，所述方法还包括：
[0042]基于先进先出的原则，分别确定所述若干数据批次在所述缓存区中的顺序标识；
[0043]根据所述数据标识对应的数据批次内目标数据的数据标识，通过如下公式，确定第一分界点以及第二分界点：
[0044][0045][0046]其中，K1为第一分界点，K2为第一分界点，M为所述数据批次中最小的数据标识，L为所述数据批次中最大的数据标识；
[0047]在确定所述数据标识处于区间[M，K1]内的情况下，根据所述数据批次的批次标识，确定目标批次标识，所述目标批次标识为所述批次标识与第三数值的差；
[0048]在确定所述数据标识处于区间[K2，L]内时，根据所述数据批次的批次标识，确定目标批次标识，所述目标批次标识为所述批次标识与第三数值的和；
[0049]获取批次标识与所述目标批次标识相同的数据批次。
[0050]另一方面，本申请实施例提供了另一种数据获取方法，方法包括：
[0051]根据前端设备业务区内配置的缓存区的大小，确定所述缓存区可存储目标数据的目标数量；
[0052]确定目标数据的总数量；
[0053]根据预设的第二阈值以及所述总数量，通过如下公式，确定数据批次的总数量，所述第二阈值为数据批次至多可包含的目标数据的数量：
[0054][0055]其中，P为数据批次的总数量，Q为目标数据的总数量，B为第二阈值；
[0056]根据所述目标数量以及所述第二阈值，确定第一阈值，所述第一阈值为所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据获取方法，其特征在于，应用于前端设备，所述前端设备的缓存区内存储有A个数据批次，所述数据批次包含B个目标数据，所述目标数据携带数据标识，所述缓存区为前端设备业务代码所属内存对应的缓存区，A与B均为正整数，且A为预设的第一阈值，B为预设的第二阈值，包括：获取携带数据标识的查询请求；从所述缓存区内查找与数据标识对应的目标数据；在确定查找到所述目标数据的情况下，响应于所述查询请求，返回所述目标数据；在确定未查找到所述目标数据的情况下，将存储于后端设备处的包含所述目标数据的数据批次，复制至所述缓存区内，并响应于所述查询请求，返回所述缓存区内存储的所述目标数据。2.根据权利要求1所述的方法，其特征在于，所述数据批次携带批次标识；所述将存储于后端设备处的包含所述目标数据的数据批次，复制至所述缓存区内，并响应于所述查询请求，从所述缓存区内返回所述目标数据，包括：根据所述数据标识，确定所述数据标识对应的批次标识；根据所述批次标识，从与所述前端设备关联的后端设备处，获取所述批次标识对应的数据批次，所述数据批次包含所述目标数据；将所述数据批次，存储至所述缓存区内；响应于所述查询请求，返回所述缓存区内存储的所述目标数据。3.根据权利要求2所述的方法，其特征在于，所述数据标识从第一数值开始依次递增，所述批次标识从第二数值开始依次递增，批次标识较小的数据批次优先配置数据标识较小的目标数据；所述根据所述数据标识，确定所述数据标识对应的批次标识，包括：根据所述数据标识、所述第一数值、所述第二数值以及所述B，通过如下公式，确定包含所述数据标识对应的目标数据的数据批次的批次标识：其中，Y为批次标识，X为数据标识，C为第一数值，D为第二数值，N为最大的数据标识。4.根据权利要求2所述的方法，其特征在于，根据所述批次标识，从与所述前端设备关联的后端设备处，获取所述批次标识对应的数据批次，包括：向后端设备发送用于获取所述批次标识对应的数据批次的目标请求；接收并存储所述后端设备返回的所述数据批次；在确定所述缓存区存储的数据批次数量大于B的情况下，按照先进先出的顺序，从存储在所述缓存区的数据批次中，删除H个数据批次，H为正整数，且H小于B。5.根据权利要求4所述的方法，其特征在于，所述数据批次携带有状态标识，所述状态标识至少包括已缓存、正在请求中以及未缓存；所述向后端设备发送用于获取所述批次标识对应的数据批次的目标请求，包括：从所述后端设备处获取所述批次标识对应数据批次的状态标识；在确定所述状态标识为正在请求的情况下，等待所述后端设备发送所述数据批次；
在确定所述状态标识为未缓存的情况下，向所述后端设备发送用于获取所述批次标识对应的数据批次的目标请求。6.根据权利要求2所述的方法，其特征在于，所述数据批次携带有状态标识，所述...

【专利技术属性】
技术研发人员：张慧超，王星芳，
申请(专利权)人：北京经纬恒润科技股份有限公司，
类型：发明
国别省市：