转发记录实时查看系统、方法、计算机设备及存储介质技术方案

本发明专利技术属于数据通信技术领域，本发明专利技术公开了一种转发记录实时查看系统、方法、计算机设备及存储介质，该系统包括：信息转发客户端、消息服务器、数据采集集群、数据分发集群、数据存储集群和实时查询客户端；信息转发客户端用于根据用户指令转发消息服务器发送的消息；消息服务器用于获取信息转发客户端的转发记录数据并触发数据采集集群对转发记录数据进行采集；数据采集集群用于根据触发信息采集消息服务器中的转发记录数据并进行解析和存储；数据分发集群用于读取数据采集集群中存储的转发记录数据并写进数据存储集群；实时查询客户端用于提供信息检索入口并根据信息检索入口中的检索信息实时查询数据存储集群的转发记录数据。

Forwarding record real-time viewing system, method, computer equipment and storage medium

The invention belongs to the field of data communication technology, and discloses a forwarding record real-time viewing system, method, computer equipment and storage medium. The system comprises: information forwarding client, message server, data acquisition cluster, data distribution cluster, data storage cluster and real-time query client. The sending client is used to forward the message sent by the message server according to the user's instructions; the message server is used to obtain the forwarding record data of the information forwarding client and trigger the data acquisition cluster to collect the forwarding record data; and the data acquisition cluster is used to collect the forwarding record data from the triggering information server and to collect the forwarding record data according to the triggering information. The data distribution cluster is used to read the forwarding records stored in the data collection cluster and write them into the data storage cluster; the real-time query client is used to provide the information retrieval entrance and query the forwarding records of the data storage cluster according to the retrieval information in the information retrieval entrance.

【技术实现步骤摘要】
转发记录实时查看系统、方法、计算机设备及存储介质
本专利技术属于数据通信
，更具体地说，是涉及一种转发记录实时查看系统、方法、计算机设备及存储介质。
技术介绍
为了促成业务，当业务的APP发布新的业务活动时，需要业务员及时将APP上的业务活动通过自媒体转发给客户，使有意愿的客户购买业务。业务管理员为了考查业务员，需要对业务的转发记录进行监控。但是，业务管理者在需要查看业务APP的转发记录时，由于APP的转发记录都是T+1天同步到Hadoop，因此业务管理者需要T+1天才能查看业务员关于APP内容的转发记录，不能实时看到业务员的转发记录。
技术实现思路
有鉴于此，本专利技术实施例提供一种转发记录实时查看系统、方法、计算机设备和存储介质，以解决不能实时查看业务员转发记录的问题。本专利技术是这样实现的：第一方面，本专利技术实施例提供一种转发记录实时查看系统，所述转发记录实时查看系统包括信息转发客户端、消息服务器、数据采集集群、数据分发集群、数据存储集群和实时查询客户端；所述信息转发客户端，用于根据用户指令转发所述消息服务器发送的消息；所述消息服务器，用于获取所述信息转发客户端的转发记录数据并触发所述数据采集集群对所述转发记录数据进行采集；所述数据采集集群，用于根据触发信息采集所述消息服务器中的转发记录数据并进行解析和存储；所述数据分发集群，用于读取所述数据采集集群中存储的转发记录数据并写进所述数据存储集群；所述实时查询客户端，用于提供信息检索入口并根据所述信息检索入口中的检索信息实时查询所述数据存储集群的转发记录数据。第二方面，本专利技术实施例提供一种转发记录实时查看方法，所述方法应用于转发记录实时查看系统，所述系统包括信息转发客户端、消息服务器、数据采集集群、数据分发集群、数据存储集群和实时查询客户端；所述信息转发客户端根据用户指令转发所述消息服务器发送的消息；所述消息服务器获取所述信息转发客户端的转发记录数据并触发所述数据采集集群对所述转发记录数据进行采集；所述数据采集集群根据触发信息采集所述消息服务器中的转发记录数据并进行解析和存储；所述数据分发集群读取所述数据采集集群中存储的转发记录数据并写进所述数据存储集群；所述实时查询客户端根据信息检索入口的检索信息实时查询所述数据存储集群的转发记录数据。本专利技术第三方面提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如本专利技术实施例第二方面所述方法的步骤。本专利技术第四方面一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如本专利技术实施例第二方面所述方法的步骤。本专利技术实施例提供的转发记录实时查看系统、方法、计算机设备和存储介质，信息转发客户端根据用户指令对消息服务器发送的消息进行转发，消息服务器获取转发记录数据并触发数据采集集群进行采集、解析和存储；数据分发集群再将数据采集集群中的转发记录写进数据存储集群中，由实时查询客户端实现对转发记录数据实时的查询；使用户的转发记录数据可以实时地被查看，方便了对数据及时性要求比较高的数据的查看，使业务管理人员可以实时监控业务数据的最新情况。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例1提供的转发记录实时查看系统的结构示意图；图2为本专利技术实施例1进行具体配置的结构示意图；图3为本专利技术实施例1的SparkStreaming以receiver方式从Kafka读取数据的示意图；图4为本专利技术实施例1的SparkStreaming以direct方式从Kafka读取数据的示意图；图5为本专利技术实施例1将转发记录数据写进HBase集群的存储结构示意图；图6为本专利技术实施例2提供的转发记录实时查看方法的流程图；图7为本专利技术实施例4提供的计算机设备的示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例1请参考图1，其示出了本专利技术实施例提供的转发记录实时查看系统的结构示意图。如图1所示，转发记录实时查看系统10包括：信息转发客户端101、消息服务器102、数据采集集群103、数据分发集群104、数据存储集群105和实时查询客户端106。信息转发客户端101，用于根据用户指令转发消息服务器102发送的消息。具体地，信息转发客户端101与自媒体平台连接，例如微信、微博等自媒体平台。消息服务器102向用户推送消息，转发客户端101根据用户的指令将消息转发到自媒体平台。例如：保险APP将新办的业务活动信息发送给业务员，业务员通过信息转发客户端101将业务活动信息转发到微信朋友圈，业务员朋友圈的人就可以通过微信朋友圈看到该业务活动信息，查看业务活动信息的内容。消息服务器102，用于获取信息转发客户端101的转发记录数据并触发数据采集集群103对转发记录数据进行采集。其中，转发记录数据是指用户通过信息转发客户端101转发时获取的关于转发的用户名、转发时间、转发内容等内容。具体地，当用户通过信息转发客户端101转发信息到自媒体平台时，消息服务器102获取转发记录数据。当消息服务器102获取转发记录数据时，生成触发信息，并发送至数据采集集群通知进行转发记录数据的采集。其中，触发信息是指信息转发客户端101通过网络协议转发数据时消息服务器102生成的数据记录。数据采集集群103，用于根据触发信息采集消息服务器102中的转发记录数据并进行解析和存储。当数据采集集群103接收到消息服务器102发送的触发信息时，获取消息服务器102中的转发记录数据，解析成数据采集集群103可以接收的数据形式并进行存储。作为一种实施方式，数据采集集群103包括数据采集接口、数据解析模块和存储节点。其中，数据采集接口与消息服务器102和数据解析模块连接，数据解析模块与存储节点连接。当数据采集接口接收到消息服务器102发送的触发信息，数据采集接口启动对转发记录数据进行采集，并将采集到的转发记录数据发送到数据解析模块。由于转发记录数据可能不能为数据采集集群103所接收，因此，数据解析模块将转发记录数据进行解析并转换为数据采集集群103可以接收的数据形式后存储到存储节点。数据分发集群104，用于读取数据采集集群103中存储的转发记录数据并写进数据存储集群105。由于数据采集集群103存储的转发记录数据不能提供实时查询的接口，因此需要用数据分发集群104进一步将转发记录数据发送到数据存储集群105中，再通过实时查询客户端106实现对转发记录数据实时的查询。具体地，数据分发集群104与数据采集集群103和数据存储集群105连接，从数据采集集群103中读取转发记录数据并写进数据存储集群105中，其中，转发记录数据是以本文档来自技高网...

【技术保护点】
1.一种转发记录实时查看系统，其特征在于，所述转发记录实时查看系统包括信息转发客户端、消息服务器、数据采集集群、数据分发集群、数据存储集群和实时查询客户端；所述信息转发客户端，用于根据用户指令转发所述消息服务器发送的消息；所述消息服务器，用于获取所述信息转发客户端的转发记录数据并触发所述数据采集集群对所述转发记录数据进行采集；所述数据采集集群，用于根据触发信息采集所述消息服务器中的转发记录数据并进行解析和存储；所述数据分发集群，用于读取所述数据采集集群中存储的转发记录数据并写进所述数据存储集群；所述实时查询客户端，用于提供信息检索入口并根据所述信息检索入口中的检索信息实时查询所述数据存储集群的转发记录数据。

【技术特征摘要】
1.一种转发记录实时查看系统，其特征在于，所述转发记录实时查看系统包括信息转发客户端、消息服务器、数据采集集群、数据分发集群、数据存储集群和实时查询客户端；所述信息转发客户端，用于根据用户指令转发所述消息服务器发送的消息；所述消息服务器，用于获取所述信息转发客户端的转发记录数据并触发所述数据采集集群对所述转发记录数据进行采集；所述数据采集集群，用于根据触发信息采集所述消息服务器中的转发记录数据并进行解析和存储；所述数据分发集群，用于读取所述数据采集集群中存储的转发记录数据并写进所述数据存储集群；所述实时查询客户端，用于提供信息检索入口并根据所述信息检索入口中的检索信息实时查询所述数据存储集群的转发记录数据。2.如权利要求1所述的转发记录实时查看系统，其特征在于，所述数据采集集群为Kafka集群，所述Kafka集群包括数据采集接口、数据解析模块和Kafka存储节点，所述数据采集接口与所述消息服务器和所述数据解析模块连接，所述数据解析模块与所述Kafka存储节点连接；所述消息服务器，具体用于根据信息转发客户端通过网络协议转发json格式数据的方式生成触发信息，并将所述触发信息发送至所述数据采集接口；所述Kafka集群，具体用于根据所述触发信息通过数据采集接口对所述转发记录数据进行采集，将所述转发记录数据以字符串的形式根据预设周期发送至所述数据解析模块，所述数据解析模块将所述转发记录数据转换为json格式数据并存储到所述Kafka存储节点，所述转发记录数据包括：转发信息的用户名、转发时间、转发内容和转发次数。3.如权利要求2所述的转发记录实时查看系统，其特征在于，所述数据分发集群为SparkStreaming集群；所述SparkStreaming集群，具体用于通过receiver的方式从所述Kafka中获取所述转发记录数据，并启用预写日志机制，将所述转发记录数据写入所述数据存储集群；或者，所述SparkStreaming集群，具体用于通过direct的方式从所述Kafka中获取所述转发记录数据，并将所述转发记录数据写入所述数据存储集群。4.如权利要求3所述的转发记录实时查看系统，其特征在于，所述数据存储集群为HBase集群；所述SparkStreaming集群，具体用于根据所述转发信息的用户名作为行键将所述转发记录数据写入所述HBase集群。5.如权利要求4所述的转发记录实时查看系统，其特征在于，所述实时查询客户端为Phoenix客户端；所述Phoenix客户端，具体用于提供信息检索入口，并根据所述信息检索入口获取的所述转发记录数据的关键字，运用SQL的方式从所述HBase集群中实时获取所述转发记录数据。6.一种转...

【专利技术属性】
技术研发人员：许四平，戴珍，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：广东,44