一种数据获取方法、装置、系统、设备及存储介质制造方法及图纸

本公开关于一种数据获取方法、装置、系统、设备及存储介质，涉及计算机技术领域，可以提高数据获取效率。该数据获取方法包括：当从服务器获取消息队列中的数据的滞后时间大于预设时间阈值时，获取存储有消息队列中的数据的电子设备的位置信息；消息队列中的数据通过分布式文件系统存储于电子设备中；基于电子设备的位置信息，从电子设备获取消息队列中的待读取数据。取数据。取数据。

【技术实现步骤摘要】
一种数据获取方法、装置、系统、设备及存储介质


[0001]本公开涉及计算机
，尤其涉及一种数据获取方法、装置、系统、设备及存储介质。

技术介绍

[0002]消息队列是服务器在消息的传输过程中，保存消息的容器。消息队列不适合保留很长时间的数据，因此，当接收到大量的客户端发送的数据读取请求时，可能导致服务器中的消息队列的读取速度大大降低，磁盘驱动的繁忙程度急剧上升。
[0003]为了解决上述问题，现有技术通常在磁盘驱动的繁忙程度过高的情况下，将消息队列中的消息数据存储到简单存储服务等分布式文件系统上，以使得服务器中的存储功能和计算功能分离处理(又称“存算分离架构”)。但是，简单存储服务等分布式文件系统只能提供简单的存储服务，在读取数据的过程中，服务器依旧需要提供计算服务。这样一来，这种“存算分离架构”依旧会消耗服务器的带宽以及增加服务器的负载，降低了数据获取的效率。

技术实现思路

[0004]本公开提供一种数据获取方法、装置、系统、设备及存储介质，可以提高数据获取的效率。
[0005]本公开实施例的技术方案如下：
[0006]根据本公开实施例的第一方面，提供一种数据获取方法，该方法可以应用于客户端。该方法可以包括：当从服务器获取消息队列中的数据的滞后时间大于预设时间阈值时，获取存储有消息队列中的数据的电子设备的位置信息；消息队列中的数据通过分布式文件系统存储于电子设备中；基于电子设备的位置信息，从电子设备获取消息队列中的待读取数据。
[0007]可选地，基于电子设备的位置信息，从电子设备获取消息队列中的待读取数据，包括：当待读取数据在分布式文件系统中的存储分区的目录下的文件完整，且待读取数据归属于消息队列中的前M段数据时，基于电子设备的位置信息，从电子设备获取消息队列中的待读取数据；M为大于0且小于N的整数；N为消息队列中的数据段数。
[0008]可选地，基于电子设备的位置信息，从电子设备获取消息队列中的待读取数据，包括：基于电子设备的位置信息，从电子设备获取索引文件；索引文件用于读取待读取数据在分布式文件系统中的存储分区的目录下的文件；索引文件包括起始偏移量和消息队列中的数据的偏移量；向电子设备发送包括起始偏移量和待读取数据的偏移量的第一读数据请求；接收电子设备响应于第一读数据请求发送的待读取数据。
[0009]可选地，待读取数据包括用于校验待读取数据的数据完整性的数据地址校验位；数据地址校验位对应待读取数据的文件存储起始位置和文件存储终止位置；接收电子设备响应于第一读数据请求发送的待读取数据之后，还包括：基于文件存储起始位置和文件存
储终止位置，获取待读取数据中的数据文件；根据数据文件，校验待读取数据的数据完整性和待读取数据的偏移量的连续性；当待读取数据不完整，或者待读取数据的偏移量不连续时，则向消息队列归属的服务器发送用于获取待读取数据的第二读数据请求。
[0010]可选地，该数据获取方法还包括：构建待读取数据归属的存储分区的日志对象；日志对象用于判断待读取数据归属的存储分区的目录下的文件是否完整；向电子设备发送包括日志对象的第一数据校验请求；接收电子设备响应于第一数据校验请求发送的数据校验信息。
[0011]可选地，该数据获取方法还包括：当数据校验信息用于表示待读取数据归属的存储分区的目录下的文件不完整时，向消息队列归属的服务器发送用于获取待读取数据的第二读数据请求。
[0012]可选地，该数据获取方法还包括：向电子设备发送第三读数据请求；第三读数据请求用于请求按照先后顺序依次获取消息队列中，除待读取数据以外的其他数据；其他数据的第一段数据为与待读取数据相邻的下一段数据；第三读数据请求包括待读取数据的偏移量和下一段数据的偏移量；第三读数据请求包括用于请求获取其他数据的数据请求标识；接收电子设备响应于第三读数据请求发送的下一段数据。
[0013]可选地，接收电子设备响应于第三读数据请求发送的下一段数据之前，该数据获取方法还包括：向电子设备发送数据预取请求；数据预取请求用于指示电子设备对下一段数据执行数据预取操作；数据预取请求包括用于指示电子设备执行数据预取操作的数据预取请求标识。
[0014]可选地，该数据获取方法还包括：当待读取数据为消息队列中的第J段待读取数据时，向电子设备发送第二数据校验请求；第二数据校验请求用于确定在目标时间段内，消息队列中是否生成新的待读取数据；目标时间段为读取第J段待读取数据的时间段；J为大于0且小于N的整数；接收电子设备响应于第二数据校验请求发送的数据校验结果；当数据校验结果用于表示在目标时间段内，消息队列中生成新的待读取数据时，向电子设备发送用于获取所述第J段待读取数据的第四读数据请求。
[0015]可选地，该数据获取方法还包括：当从电子设备获取消息队列中的数据发生异常时，输出报警信息；报警信息包括发生异常数据的日志信息。
[0016]可选地，获取存储有消息队列中的数据的电子设备的位置信息，包括：向服务器发送位置信息获取请求；位置信息获取请求用于请求获取存储有消息队列中的数据的电子设备的位置信息；接收服务器发送的位置信息。
[0017]根据本公开实施例的第二方面，提供一种数据获取方法，该方法可以应用于服务器。该方法可以包括：接收客户端发送的位置信息获取请求；位置信息获取请求用于请求获取存储有消息队列中的数据的电子设备的位置信息；位置信息获取请求为客户端从服务器获取消息队列中的数据的滞后时间大于预设时间阈值时发送的；消息队列中的数据通过部署分布式文件系统存储于电子设备中；向客户端发送位置信息，以使得客户端基于电子设备的位置信息，从电子设备获取消息队列中满足预设条件的待读取数据；预设条件包括：待读取数据在分布式文件系统中的存储分区的目录下的文件完整，且待读取数据归属于消息队列中的前M段数据；M为大于0且小于N的整数；N为消息队列中的数据段数。
[0018]根据本公开实施例的第三方面，提供一种数据获取装置，该装置可以应用于客户
端。该装置可以包括：获取单元；获取单元，用于当从服务器获取消息队列中的数据的滞后时间大于预设时间阈值时，获取存储有消息队列中的数据的电子设备的位置信息；消息队列中的数据通过分布式文件系统存储于电子设备中；获取单元，还用于基于电子设备的位置信息，从电子设备获取消息队列中的待读取数据。
[0019]可选地，获取单元，具体用于：当待读取数据在分布式文件系统中的存储分区的目录下的文件完整，且待读取数据归属于消息队列中的前M段数据时，基于电子设备的位置信息，从电子设备获取消息队列中的待读取数据；M为大于0且小于N的整数；N为消息队列中的数据段数。
[0020]可选地，获取单元，具体用于：基于电子设备的位置信息，从电子设备获取索引文件；索引文件用于读取待读取数据在分布式文件系统中的存储分区的目录下的文件；索引文件包括起始偏移量和消息队列中的数据的偏移量；向电子设备发送包括起始偏移量和待读取数据的偏移量的第一读数据请求；接收电子设备响应于第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据获取方法，其特征在于，包括：当从服务器获取消息队列中的数据的滞后时间大于预设时间阈值时，获取存储有所述消息队列中的数据的电子设备的位置信息；所述消息队列中的数据通过分布式文件系统存储于所述电子设备中；基于所述电子设备的位置信息，从所述电子设备获取所述消息队列中的待读取数据。2.根据权利要求1所述的数据获取方法，其特征在于，所述基于所述电子设备的位置信息，从所述电子设备获取所述消息队列中的待读取数据，包括：当所述待读取数据在所述分布式文件系统中的存储分区的目录下的文件完整，且所述待读取数据归属于所述消息队列中的前M段数据时，基于所述电子设备的位置信息，从所述电子设备获取所述消息队列中的待读取数据；所述M为大于0且小于N的整数；所述N为所述消息队列中的数据段数。3.一种数据获取方法，其特征在于，包括：接收客户端发送的位置信息获取请求；所述位置信息获取请求用于请求获取存储有消息队列中的数据的电子设备的位置信息；所述位置信息获取请求为所述客户端从所述服务器获取所述消息队列中的数据的滞后时间大于预设时间阈值时发送的；所述消息队列中的数据通过部署分布式文件系统存储于所述电子设备中；向所述客户端发送所述位置信息，以使得所述客户端基于所述电子设备的位置信息，从所述电子设备获取所述消息队列中满足预设条件的待读取数据；所述预设条件包括：所述待读取数据在所述分布式文件系统中的存储分区的目录下的文件完整，且所述待读取数据归属于所述消息队列中的前M段数据；所述M为大于0且小于N的整数；所述N为所述消息队列中的数据段数。4.一种数据获取装置，其特征在于，包括：获取单元；所述获取单元，用于当从服务器获取消息队列中的数据的滞后时间大于预设时间阈值时，获取存储有所述消息队列中的数据的电子设备的位置信息；所述消息队列中的数据通过分布式文件系统存储于所述电子设备中；所述获取单元，还用于基于所述电子设备的位置信息，从所述电子设备获取所述消息队列中的待读取数据。5.一种数据获取装置，其特征在于，包括：接收单元和发送...

【专利技术属性】
技术研发人员：尹武松，赵博，洪亮，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：