一种数据获取方法、装置、电子设备及存储介质制造方法及图纸

本公开涉及数据处理技术领域，公开了一种数据获取方法、装置、电子设备及存储介质，并具体公开了响应于数据获取请求，根据当前轮询确定的实时流表，确定所述数据获取请求针对的目标消息队列，所述实时流表中包括元数据信息和消息队列主题，所述元数据信息包括标识不同数据区域的字段值、数据区域的有效时段描述信息，以及字段值与消息队列主题的映射关系，一个消息队列主题对应一个消息队列，所述字段值用于标识数据区域中存储的数据类别；再在所述目标消息队列中，进行数据的获取操作。这样，能够避免读取与处理需求无关的数据，因而极大的降低了资源和带宽的浪费，提高了资源的利用率。率。率。

【技术实现步骤摘要】
一种数据获取方法、装置、电子设备及存储介质


[0001]本公开涉及数据处理
，尤其涉及一种数据获取方法、装置、电子设备及存储介质。

技术介绍

[0002]目前，通常以消息队列的形式，存储一定时间内的实时数据，使得在需要对指定类型的数据进行处理时，可以从消息队列中获取相应的数据内容。
[0003]相关技术下，通常通过配置一个存储流表，以指示存储一种类型数据的消息队列主题，且一个存储流表对应一个主题的消息队列。为了降低维护压力，避免维护多张流表，通常一个主题的消息队列中存储有多个子类型的数据。基于此，当确定需要获取的具体类型的数据内容后，先通过流表确定所述数据类型的数据所对应的消息队列，再获取消息队列中存储的全部类型数据，并对数据进行解析，然后过滤掉无关类型的数据，以及基于过滤后的目标数据完成业务处理。
[0004]然而，由于消息队列中存储有多种类型的数据，当获取具体类型的数据时，需要对消息队列中的全部数据进行获取、解析和过滤操作，才能够得到目标数据，因此，在数据的获取过程中，需要获取大量与处理需要无关的数据，造成了带宽资源和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据获取方法，其特征在于，包括：响应于数据获取请求，根据当前轮询确定的实时流表，确定所述数据获取请求针对的目标消息队列；所述实时流表中包括元数据信息和消息队列主题，所述元数据信息包括标识不同数据区域的字段值、数据区域的有效时段描述信息，以及字段值与消息队列主题的映射关系，一个消息队列主题对应一个消息队列，所述字段值用于标识数据区域中存储的数据类别；在所述目标消息队列中，进行数据的获取操作。2.如权利要求1所述的方法，其特征在于，所述根据当前轮询确定的实时流表中，确定所述数据获取请求针对的目标消息队列，包括：确定所述数据获取请求中携带的数据描述信息，并在轮询确定的实时流表中，根据不同数据区域的字段值与所述数据描述信息的匹配情况，确定所述数据获取请求针对的、目标数据区域的字段值；根据所述实时流表中字段值与消息队列主题的映射关系，确定所述数据获取请求对应的目标消息队列主题，并基于所述目标消息队列主题确定对应的目标消息队列。3.如权利要求1所述的方法，其特征在于，在所述目标消息队列中，进行数据的获取操作之后，所述方法还包括：通过继续轮询所述实时流表，确定存在新增的新数据区域，且所述新数据区域中存储的数据内容，包含在所述数据获取请求针对的数据内容范围中时，确定新数据区域对应的新消息队列，并将所述新消息队列与先前确定的目标消息队列，确定为更新后的目标消息队列；在所述更新后的目标消息队列中，进行数据的获取操作。4.如权利要求3所述的方法，其特征在于，所述通过继续轮询所述实时流表，确定存在新增的数据区域之前，还包括：响应于针对新数据区域的新增指示，确定所述新增指示针对的数据类别和所述新增指示的接收时间；基于所述接收时间和轮询所述实时流表的周期时长，确定针对所述新数据区域配置的生效时间，并在当前的实时流表中，新增所述新数据区域、所述新数据区域对应的字段值和有效时段描述信息，以及所述新数据区域对应的新消息队列主题。5.如权利要求3所述的方法，其特征在于，所述在所述更新后的目标消息队列中，进行数据的获取操作，还包括：基于新消息队列对应的生效时间和预设时长，...

【专利技术属性】
技术研发人员：汪磊，赵荣生，蒋文伟，苏杭，李宽，段石石，朱一飞，谭钧心，王军正，刘长伟，程纯，陆超红，
申请(专利权)人：杭州网易云音乐科技有限公司，
类型：发明
国别省市：