一种线上服务系统、数据加载方法、装置及设备制造方法及图纸

本发明专利技术实施例提供了一种线上服务系统、数据加载方法、装置及设备，所述系统包括：数据库、线上服务器和kafka服务器，其中kafka服务器为：基于kafka架构的服务器。本发明专利技术实施例通过将运营商或用户上传的数据分别存储到数据库和kafka服务器中，线上服务器在相邻两次从数据库获得全量数据的时间间隔内，从kafka服务器中实时获取增量数据，基于此能够将增量数据及时的同步到线上服务器中。

An online service system, data loading method, device and equipment

The embodiment of the invention provides an online service system, a data loading method, a device and a device. The system comprises a database, an online server and a Kafka server, wherein the Kafka server is a server based on the Kafka architecture. The embodiment of the invention by the operator or user uploaded data are stored in the database and the Kafka server, the online server from the database in the adjacent two times the full amount of data within the time interval to obtain incremental data from the Kafka server in real time, this can be synchronized to the incremental data timely online server based on.

【技术实现步骤摘要】
一种线上服务系统、数据加载方法、装置及设备
本专利技术涉及计算机应用
，特别是涉及一种线上服务系统、数据加载方法、装置及设备。
技术介绍
随着互联技术的快速发展，为用户提供线上服务的运营商越来越多，基于此各种线上服务系统应运而生。上述线上服务系统可以理解为：用于通过互联网为用户提供数据服务的系统，例如，通过互联网为用户提供视频数据、新闻数据等等的系统。现有技术中一种线上服务系统包括：数据库和线上服务器，其中，数据库用于获得并存储运营商想要通过互联网为用户提供的各种数据，也就是，数据库用于获得并存储线上服务系统为用户提供数据服务所需的数据；线上服务器用于存储按照固定时间间隔从上述数据库中获得的数据，通常是上述数据库中所存储数据的一部分，另外，线上服务器是直接面向用户的设备，也就是，线上服务器是依据其所存储的数据通过互联网直接为用户提供数据服务的设备。线上服务器按照固定的时间间隔每次从数据库中获得的该线上服务器对应的数据称为全量数据。线上服务器在相邻两次从数据库中获得全量数据的时间间隔中，上述数据库还有可能存储新的数据，这些新的数据称之为增量数据，线上服务器只能在上述相邻两次从数据库获得全量数据中后一次获得上述增量数据，这样线上服务器无法及时获得上述增量数据，也就无法为用户提供针对上述增量数据的数据服务。基于此如何将增量数据及时地同步到线上服务器中，是开发人员迫切关心的问题。
技术实现思路
本专利技术实施例的目的在于提供一种线上服务系统、数据加载方法、装置及设备，以实现将增量数据及时的同步到线上服务器中。具体技术方案如下：本专利技术实施的一方面提供了一种线上服务系统，所述系统包括：数据库、线上服务器和kafka服务器，所述kafka服务器为：基于kafka架构的服务器；所述数据库，用于获得并存储所述线上服务系统为用户提供数据服务所需的数据；所述线上服务器，用于按照预设的时间间隔，从所述数据库获得所述线上服务器对应的全量数据，并在满足增量数据加载条件的情况下，确定所述线上服务器所存储数据中最新一条数据的存储时间点，从所述kafka服务器加载目标增量数据，其中，所述目标增量数据为：所述kafka服务器在所述存储时间点之后存储、且与所述线上服务器对应的数据；所述kafka服务器，用于获得并缓存所述线上服务系统为用户提供数据服务所需的数据，获得所述存储时间点，并根据所述存储时间点，从自身存储的数据中确定所述目标增量数据，向所述线上服务器反馈所述目标增量数据。可选的，所述系统还包括：分布式中心节点；所述kafka服务器，还用于将所述目标增量数据反馈至所述线上服务器后，向所述分布式中心节点发送所述目标增量数据的数据信息；所述分布式中心节点，用于接收所述kafka服务器发送的所述数据信息，并根据所述数据信息监控所述线上服务器的数据状态。可选的，所述数据信息包括以下信息中的至少一种：所述目标增量数据中所包含数据的条数；所述目标增量数据中所包含数据的数据索引；目标增量数据的名称；向线上服务器发送目标增量数据的时间。可选的，所述获得并缓存所述线上服务系统为用户提供数据服务所需的数据，包括：获得所述线上服务系统为用户提供数据服务所需的数据；确定所获得数据的数据类型；获得所确定数据类型对应的业务类型；计算所获得数据的标识的哈希值；根据计算得到的哈希值和所获得业务类型对应分区的序号，确定用于存储所获得数据的分区，并将所获得的数据缓存至所确定的分区中。可选的，所述根据所述存储时间点，从自身存储的数据中确定所述目标增量数据，包括：确定所述线上服务器对应的业务类型；在所确定业务类型对应的分区中，查找在所述存储时间点之后存储、且与所述线上服务器对应的数据，并将查找到的数据确定为目标增量数据。本专利技术实施的又一方面还提供了一种数据加载方法，应用于线上服务系统中的线上服务器，其中，所述线上服务系统包括：线上服务器、数据库和kafka服务器，所述kafka服务器为：基于kafka架构的服务器，所述kafka服务器，用于获得并缓存所述线上服务系统为用户提供数据服务所需的数据，所述数据库，用于获得并存储所述线上服务系统为用户提供数据服务所需的数据，所述方法包括：按照预设的时间间隔，从所述数据库获得所述线上服务器对应的全量数据后，判断是否满足增量数据加载条件；如果是，确定所述线上服务器所存储数据中最新一条数据的存储时间点；从所述kafka服务器加载目标增量数据，其中，所述目标增量数据为：所述kafka服务器在所述存储时间点之后存储、且与所述线上服务器对应的数据。可选的，所述按照预设的时间间隔，从所述数据库获得所述线上服务器对应的全量数据后，判断是否满足增量数据加载条件的步骤，包括：按照预设的时间间隔，从所述数据库获得所述线上服务器对应的全量数据后，判断是否达到预设的增量数据加载时间间隔，若为是，判定满足增量数据加载条件；或按照预设的时间间隔，从所述数据库获得所述线上服务器对应的全量数据后，检测是否接收到所述kafka服务器发送的增量数据加载指令，若接收到，判定满足增量数据加载条件。本专利技术实施的又一方面还提供了一种数据加载装置，应用于线上服务系统中的线上服务器，其中，所述线上服务系统包括：线上服务器、数据库和kafka服务器，所述kafka服务器为：基于kafka架构的服务器，所述kafka服务器，用于获得并缓存所述线上服务系统为用户提供数据服务所需的数据，所述数据库，用于获得并存储所述线上服务系统为用户提供数据服务所需的数据，所述装置包括：判断模块，用于按照预设的时间间隔，从所述数据库获得所述线上服务器对应的全量数据后，判断是否满足增量数据加载条件；确定模块，用于在满足增量数据加载条件时，确定所述线上服务器所存储数据中最新一条数据的存储时间点；加载模块，用于从所述kafka服务器加载目标增量数据，其中，所述目标增量数据为：所述kafka服务器在所述存储时间点之后存储、且与所述线上服务器对应的数据。本专利技术实施的又一方面还提供了一种线上服务器，所述线上服务器为：线上服务系统中的线上服务器，其中，所述线上服务系统包括：线上服务器、数据库和kafka服务器，所述kafka服务器为：基于kafka架构的服务器，所述kafka服务器，用于获得并缓存所述线上服务系统为用户提供数据服务所需的数据，所述数据库，用于获得并存储所述线上服务系统为用户提供数据服务所需的数据，所述线上服务器包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述任一数据加载方法。本专利技术实施的又一方面还提供了一种计算机可读存储介质，所述计算机可读存储介质为：线上服务系统中线上服务器中的存储介质，其中，所述线上服务系统包括：线上服务器、数据库和kafka服务器，所述kafka服务器为：基于kafka架构的服务器，所述kafka服务器，用于获得并缓存所述线上服务系统为用户提供数据服务所需的数据，所述数据库，用于获得并存储所述线上服务系统为用户提供数据服务所需的数据，所述计算机可读存储介质中存储有指令，当所述计算机可读存储介质在计算机上运行时，使得所述计算机实现上述任一数据加载本文档来自技高网...

【技术保护点】
一种线上服务系统，其特征在于，所述系统包括：数据库、线上服务器和kafka服务器，所述kafka服务器为：基于kafka架构的服务器；所述数据库，用于获得并存储所述线上服务系统为用户提供数据服务所需的数据；所述线上服务器，用于按照预设的时间间隔，从所述数据库获得所述线上服务器对应的全量数据，并在满足增量数据加载条件的情况下，确定所述线上服务器所存储数据中最新一条数据的存储时间点，从所述kafka服务器加载目标增量数据，其中，所述目标增量数据为：所述kafka服务器在所述存储时间点之后存储、且与所述线上服务器对应的数据；所述kafka服务器，用于获得并缓存所述线上服务系统为用户提供数据服务所需的数据，获得所述存储时间点，并根据所述存储时间点，从自身存储的数据中确定所述目标增量数据，向所述线上服务器反馈所述目标增量数据。

【技术特征摘要】
1.一种线上服务系统，其特征在于，所述系统包括：数据库、线上服务器和kafka服务器，所述kafka服务器为：基于kafka架构的服务器；所述数据库，用于获得并存储所述线上服务系统为用户提供数据服务所需的数据；所述线上服务器，用于按照预设的时间间隔，从所述数据库获得所述线上服务器对应的全量数据，并在满足增量数据加载条件的情况下，确定所述线上服务器所存储数据中最新一条数据的存储时间点，从所述kafka服务器加载目标增量数据，其中，所述目标增量数据为：所述kafka服务器在所述存储时间点之后存储、且与所述线上服务器对应的数据；所述kafka服务器，用于获得并缓存所述线上服务系统为用户提供数据服务所需的数据，获得所述存储时间点，并根据所述存储时间点，从自身存储的数据中确定所述目标增量数据，向所述线上服务器反馈所述目标增量数据。2.如权利要求1所述的系统，其特征在于，所述系统还包括：分布式中心节点；所述kafka服务器，还用于将所述目标增量数据反馈至所述线上服务器后，向所述分布式中心节点发送所述目标增量数据的数据信息；所述分布式中心节点，用于接收所述kafka服务器发送的所述数据信息，并根据所述数据信息监控所述线上服务器的数据状态。3.根据权利要求2所述的系统，其特征在于，所述数据信息包括以下信息中的至少一种：所述目标增量数据中所包含数据的条数；所述目标增量数据中所包含数据的数据索引；目标增量数据的名称；向线上服务器发送目标增量数据的时间。4.如权利要求1-3中任一项所述的系统，其特征在于，所述获得并缓存所述线上服务系统为用户提供数据服务所需的数据，包括：获得所述线上服务系统为用户提供数据服务所需的数据；确定所获得数据的数据类型；获得所确定数据类型对应的业务类型；计算所获得数据的标识的哈希值；根据计算得到的哈希值和所获得业务类型对应分区的序号，确定用于存储所获得数据的分区，并将所获得的数据缓存至所确定的分区中。5.如权利要求4所述的系统，其特征在于，所述根据所述存储时间点，从自身存储的数据中确定所述目标增量数据，包括：确定所述线上服务器对应的业务类型；在所确定业务类型对应的分区中，查找在所述存储时间点之后存储、且与所述线上服务器对应的数据，并将查找到的数据确定为目标增量数据。6.一种数据加载方法，其特征在于，应用于线上服务系统中的线上服务器，其中，所述线上服务系统包括：线上服务器、数据库和kafka服务器，所述kafka服务器为：基于kafka架构的服务器，所述kafka服务器，用于获得并缓存所述线上服务系统为用户提供数据服务所需的数据，所述数据库，用于获得并存储所述线上服务系统为用户提供数据服务所需的数据，所述方法包括：按照预设的时间间隔，从所述数据库获得所述线上服务器对应的全量数据后，判断是否满足增量数据加载条件；如果是，确定所述线上服务器所存储数据中最新一条数据的存...

【专利技术属性】
技术研发人员：陈骁杰，姚冕，张时骏，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京,11