回溯数据存储方法、装置及计算机设备制造方法及图纸

本申请实施例适用于数据存储技术领域，提供了一种回溯数据存储方法、装置及计算机设备，所述方法可以应用于回溯数据服务端，包括：确定多个服务节点；通过多个所述服务节点接收待存储的回溯数据；将待存储的所述回溯数据写入本地磁盘的日志文件中；当监听到所述日志文件中存在增量日志时，将所述增量日志发送至消息队列，所述消息队列用于被远端的检索数据库和对象存储服务器订阅，以将所述增量日志存储至所述检索数据库和所述对象存储服务器中。采用上述方法，可以实现回溯数据的快速上传，并保证回溯数据的高可用性，满足对回溯数据实时检索的需求。检索的需求。检索的需求。

【技术实现步骤摘要】
回溯数据存储方法、装置及计算机设备


[0001]本申请实施例属于数据存储
，特别是涉及一种回溯数据存储方法、装置及计算机设备。

技术介绍

[0002]在网上保险交易过程中，为了保障用户利益和解决交易纠纷，网站前端会记录用户使用网站过程中的交互数据用于回溯交互过程，记录下来的数据便是回溯数据。通过在服务器回放回溯数据中存储的样式变更信息可以形成回溯视频，生成的回溯视频可以用于解决交易纠纷、在线同屏指导交易等场景。因此对回溯数据的快速上传和和实时查询有一定的要求。
[0003]在现有技术中，回溯数据多直接存储在数据库中，但数据库存在容量有限、维护成本高以及存储海量数据时检索速度慢等问题。利用数据库进行存储，无法满足对保险交易过程中产生的海量回溯数据进行快速存储和实时检索的需求。

技术实现思路

[0004]有鉴于此，本申请实施例提供了一种回溯数据存储方法、装置及计算机设备，用以满足对保险交易过程中产生的海量回溯数据进行快速存储和实时检索的需求。
[0005]本申请实施例的第一方面提供了一种回溯数据存储方法，应用于回溯数据服务端，所述方法包括：
[0006]确定多个服务节点；
[0007]通过多个所述服务节点接收待存储的回溯数据；
[0008]将待存储的所述回溯数据写入本地磁盘的日志文件中；
[0009]当监听到所述日志文件中存在增量日志时，将所述增量日志发送至消息队列，所述消息队列用于被远端的检索数据库和对象存储服务器订阅，以将所述增量日志存储至所述检索数据库和所述对象存储服务器中。
[0010]本申请实施例的第二方面提供了一种回溯数据存储方法，应用于检索数据库，所述方法包括：
[0011]订阅消息队列，所述消息队列与远端的回溯数据服务端关联；
[0012]若所述消息队列中存在增量日志，则获取并存储所述增量日志，所述增量日志是所述回溯数据服务端在监听到本地磁盘的日志文件中存在所述增量日志时，将所述增量日志发送至所述消息队列的；
[0013]定期清空所述检索数据库中的历史数据。
[0014]本申请实施例的第三方面提供了一种回溯数据存储方法，应用于对象存储服务器，所述方法包括：
[0015]订阅消息队列，所述消息队列与远端的回溯数据服务端关联；
[0016]若所述消息队列中存在增量日志，则获取并压缩所述增量日志，所述增量日志是
所述回溯数据服务端在监听到本地磁盘的日志文件中存在所述增量日志时，将所述增量日志发送至所述消息队列的；
[0017]对压缩后的所述增量日志进行存储；
[0018]将已存储的所述增量日志写入物理盘中。
[0019]本申请实施例的第四方面提供了一种回溯数据存储装置，应用于回溯数据服务端，所述装置包括：
[0020]服务节点确定模块，用于确定多个服务节点；
[0021]回溯数据接收模块，用于通过多个所述服务节点接收待存储的回溯数据；
[0022]回溯数据缓存模块，用于将待存储的所述回溯数据写入本地磁盘的日志文件中；
[0023]回溯数据存储模块，用于当监听到所述日志文件中存在增量日志时，将所述增量日志发送至消息队列，所述消息队列用于被远端的检索数据库和对象存储服务器订阅，以将所述增量日志存储至所述检索数据库和所述对象存储服务器中。
[0024]本申请实施例的第五方面提供了一种回溯数据存储装置，应用于检索数据库，所述装置包括：
[0025]订阅模块，用于订阅消息队列，所述消息队列与远端的回溯数据服务端关联；
[0026]增量日志存储模块，用于若所述消息队列中存在增量日志，则获取并存储所述增量日志，所述增量日志是所述回溯数据服务端在监听到本地磁盘的日志文件中存在所述增量日志时，将所述增量日志发送至所述消息队列的；
[0027]数据清空模块，用于定期清空所述检索数据库中的历史数据。
[0028]本申请实施例的第六方面提供了一种回溯数据存储装置，应用于对象存储服务器，所述装置包括：
[0029]订阅模块，用于订阅消息队列，所述消息队列与远端的回溯数据服务端关联；
[0030]增量日志获取模块，用于若所述消息队列中存在增量日志，则获取并压缩所述增量日志，所述增量日志是所述回溯数据服务端在监听到本地磁盘的日志文件中存在所述增量日志时，将所述增量日志发送至所述消息队列的；
[0031]增量日志存储模块，用于对压缩后的所述增量日志进行存储；
[0032]增量日志写入模块，用于将已存储的所述增量日志写入物理盘中。
[0033]本申请实施例的第七方面提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面、第二方面和/或第三方面所述的回溯数据存储方法。
[0034]本申请实施例的第八方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面、第二方面和/或第三方面所述的回溯数据存储方法。
[0035]本申请实施例的第九方面提供了一种计算机程序产品，当所述计算机程序产品在计算机设备上运行时，使得所述计算机设备执行上述第一方面、第二方面和/或第三方面所述的回溯数据存储方法。
[0036]与现有技术相比，本申请实施例具有以下优点：
[0037]在本申请实施例中，在通过服务节点将待存储的回溯数据写入回溯数据服务端的本地磁盘的日志文件后，新写入的回溯数据可以作为日志文件中的增量日志被缓存至消息
队列，检索数据库和对象存储服务器通过订阅消息队列可以获取上述增量日志，从而实现对回溯数据的存储。存储至检索数据库中的回溯数据可以满足实时检索的需求，存储至对象存储服务器的回溯数据可以被长期存储。由于在回溯数据的上报过程中可以通过容器集群管理系统管理服务节点数量，且回溯数据上报后直接写入本地磁盘，因此不需要依赖外部条件便可实现大规模回溯数据的快速上报，实现水平扩容。此外本申请实施例通过实时采集新增日志，并将采集到的新增日志通过分布式消息队列写入检索数据库中，实现了短期热数据的实时检索。最终，本申请实施例将数据压缩后写入机械硬盘，确保数据可以长期存储，降低了数据的存储成本。
附图说明
[0038]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0039]图1是本申请实施例提供的一种回溯数据存储方法的示意图；
[0040]图2是本申请实施例提供的一种回溯数据存储方法中S101的一种实现方式的示意图；
[0041]图3是本申请实施例提供的另一种回溯数据存储方法的示意图；
[0042]图4是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种回溯数据存储方法，其特征在于，应用于回溯数据服务端，所述方法包括：确定多个服务节点；通过多个所述服务节点接收待存储的回溯数据；将待存储的所述回溯数据写入本地磁盘的日志文件中；当监听到所述日志文件中存在增量日志时，将所述增量日志发送至消息队列，所述消息队列用于被远端的检索数据库和对象存储服务器订阅，以将所述增量日志存储至所述检索数据库和所述对象存储服务器中。2.根据权利要求1所述的方法，其特征在于，所述确定多个服务节点，包括：获取待存储的所述回溯数据的数据总量；根据所述数据总量确定多个已配置的所述服务节点的上报平均值；判断所述上报平均值是否大于设定阈值；若所述上报平均值大于所述设定阈值，则增加至少一个所述服务节点；若所述上报平均值小于所述设定阈值，则减少至少一个所述服务节点。3.根据权利要求2所述的方法，其特征在于，所述减少至少一个所述服务节点，包括：确定待减少的所述服务节点的数量；计算减少所述数量的所述服务节点后，剩余所述服务节点的上报平均值是否仍小于所述设定阈值，其中剩余的所述服务节点的数量大于或等于所述服务节点的最小配置数量；若剩余的所述服务节点的上报平均值仍小于所述设定阈值，则减少所述数量的所述服务节点；否则，调整待减少的所述服务节点的数量，重复执行计算减少所述数量的所述服务节点后，剩余的所述服务节点的上报平均值是否仍小于所述设定阈值的步骤。4.根据权利要求1所述的方法，其特征在于，所述当监听到所述日志文件中存在增量日志时，将所述增量日志发送至消息队列，包括：监听所述日志文件中是否存在所述增量日志；若所述日志文件中存在所述增量日志，则通过轮询和事件并存的方式获取所述增量日志；将所述增量日志发送至所述消息队列。5.一种回溯数据存储方法，其特征在于，应用于检索数据库，所述方法包括：订阅消息队列，所述消息队列与远端的回溯数据服务端关联；若所述消息队列中存在增量日志，则获取并存储所...

【专利技术属性】
技术研发人员：李鉴庭，
申请(专利权)人：深圳手回科技集团有限公司，
类型：发明
国别省市：