一种账单处理方法、装置及系统制造方法及图纸

本申请涉及一种账单处理方法、装置及系统，该方法包括：构建数据消费进程；通过所述数据消费进程消费消息系统中的流水数据和账单数据，将所述流水数据和账单数据写入文件存储系统；根据接收到的统计任务从所述文件存储系统中调度所述流水数据和账单数据进行统计计算，得到统计结果；将所述统计结果同步到指定数据库。该技术方案在高并发、高每秒查询率下，保证大数据量数据可以持续准确地写入存储系统，同时，可以精准对用户调用内容安全识别服务对不同媒体类型的内容进行安全识别后所产生的账单进行统计计算，提高账单统计的可靠性。

【技术实现步骤摘要】
一种账单处理方法、装置及系统
本申请涉及数据处理领域，尤其涉及一种账单处理方法、装置及系统。
技术介绍
目前，内容安全识别服务的主要调用形式为通过API请求进行调用，以达到对图片、视频、音频、文本等不同内容形式的媒体进行安全识别，包括鉴黄、暴恐、违规、涉政等违规内容。主要计费方式包括按API调用频次、时长等方式进行账单统计计算。对于内容安全识别服务的账单统计方式主要根据用户调用的服务及安全识别的媒体类型生成响应的流水数据，统计服务对流水数据进行数据库存储，按不同账户计算后进行付费。现有技术仅适合小数据量级的账单统计计算，当数据量达到一定阈值后会出现计算任务耗时时间长，不能够满足大数据量级下客户对账单要求的稳定可靠要求。
技术实现思路
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请实施例提供了一种账单处理方法、装置及系统。根据本申请实施例的一个方面，提供了一种账单处理方法，包括：构建数据消费进程；通过所述数据消费进程消费消息系统中的流水数据和账单数据，将所述流水数据和账单数据写入文件存储系统；根据接收到的统计任务从所述文件存储系统中调度所述流水数据和账单数据进行统计计算，得到统计结果；将所述统计结果同步到指定数据库。可选的，所述通过所述数据消费进程消费消息系统中的流水数据和账单数据，将所述流水数据和账单数据写入文件存储系统，包括：确定所述消息系统中待消费的业务主题；将所述数据消费进程中数据收集组件的数据源地址信息配置为所述业务主题，将所述数据消费进程中数据发送组件的目标地址信息配置为所述文件存储系统；通过所述数据收集组件从所述业务主题读取所述流水数据和账单数据；通过所述数据发送组件将所述流水数据和账单数据发送到所述文件存储系统进行存储。可选的，当一条所述流水数据中包括多项内容安全识别服务交易时，所述根据接收到的统计任务从所述文件存储系统中调度所述流水数据和账单数据进行统计计算，包括：将所述流水数据拆分为多个子流水数据，每个所述子流水数据与一项所述内容安全识别服务交易对应；确定所述子流水数据对应的所述账单数据；根据所述子流水数据及其对应的所述账单数据进行统计计算。可选的，所述根据接收到的统计任务从所述文件存储系统中调度所述流水数据和账单数据进行统计计算，包括：确定所述统计任务对应的指定统计维度；根据所述指定统计维度对所述流水数据和账单数据进行统计计算。可选的，所述方法还包括：在内容安全识别服务被调用后生成所述流水数据和账单数据；将所述流水数据和账单数据写入到所述消息系统。可选的，所述在内容安全识别服务被调用后生成所述流水数据和账单数据，包括：获取被调用的所述内容安全识别服务对应的媒体格式及服务类型；根据所述媒体格式和服务类型生成所述内容安全识别服务对应的所述流水数据和账单数据。根据本申请实施例的另一个方面，提供了一种账单处理装置，包括：构建模块，用于构建数据消费进程；消费模块，用于通过所述数据消费进程消费消息系统中的流水数据和账单数据，将所述流水数据和账单数据写入文件存储系统；计算模块，用于根据接收到的统计任务从所述文件存储系统中调度所述流水数据和账单数据进行统计计算，得到统计结果；同步模块，用于将所述统计结果同步到指定数据库。根据本申请实施例的另一个方面，提供了一种账单处理系统，包括：消息系统，用于存储在内容安全识别服务被调用后生成的流水数据和账单数据；日志收集系统，用于构建数据消费进程，通过所述数据消费进程消费所述消息系统中的所述流水数据和账单数据，将所述流水数据和账单数据写入文件存储系统；所述文件存储系统，用于存储所述流水数据和账单数据；任务调度器，用于根据接收到的统计任务从所述文件存储系统中调度所述流水数据和账单数据；计算引擎，用于对所述任务调度器调度的所述流水数据和账单数据进行统计计算，得到统计结果，并将所述统计结果存储到所述文件存储系统；数据转移器，用于将所述文件存储系统中的所述统计结果同步到指定数据库；所述指定数据库，用于存储所述统计结果。根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的步骤。根据本申请实施例的另一方面，还提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行计算机程序时，实现上述方法步骤。根据本申请实施例的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法步骤。本申请实施例提供的上述技术方案与现有技术相比具有如下优点：通过数据消费进程消费消息系统中的流水数据和账单数据，将流水数据和账单数据写入文件存储系统，在高并发、高每秒查询率(Queries-per-second，简称QPS)下，保证大数据量数据可以持续准确地写入存储系统，同时，可以精准对用户调用内容安全识别服务对不同媒体类型的内容进行安全识别后所产生的账单进行统计计算，提高账单统计的可靠性。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例提供的一种账单处理方法的流程图；图2为本申请另一实施例提供的一种账单处理方法的流程图；图3为本申请另一实施例提供的一种账单处理方法的流程图；图4为本申请另一实施例提供的一种账单处理方法的流程图；图5为本申请实施例提供的一种账单处理装置的框图；图6为本申请实施例提供的一种账单处理系统的框图；图7为本申请实施例提供的一种电子设备的结构示意图。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请实施例，用户调用内容安全识别服务的应用程序接口(ApplicationProgrammingInterface，简称API)后，该次调用的流水数据和账单数据被发送至消息系统中，如Kafka，从消息系统中获取流水数据和账单数据进行统计。其中，Kafka是一种高吞吐量的本文档来自技高网...

【技术保护点】
1.一种账单处理方法，其特征在于，包括：/n构建数据消费进程；/n通过所述数据消费进程消费消息系统中的流水数据和账单数据，将所述流水数据和账单数据写入文件存储系统；/n根据接收到的统计任务从所述文件存储系统中调度所述流水数据和账单数据进行统计计算，得到统计结果；/n将所述统计结果同步到指定数据库。/n

【技术特征摘要】
1.一种账单处理方法，其特征在于，包括：
构建数据消费进程；
通过所述数据消费进程消费消息系统中的流水数据和账单数据，将所述流水数据和账单数据写入文件存储系统；
根据接收到的统计任务从所述文件存储系统中调度所述流水数据和账单数据进行统计计算，得到统计结果；
将所述统计结果同步到指定数据库。


2.根据权利要求1所述的方法，其特征在于，所述通过所述数据消费进程消费消息系统中的流水数据和账单数据，将所述流水数据和账单数据写入文件存储系统，包括：
确定所述消息系统中待消费的业务主题；
将所述数据消费进程中数据收集组件的数据源地址信息配置为所述业务主题，将所述数据消费进程中数据发送组件的目标地址信息配置为所述文件存储系统；
通过所述数据收集组件从所述业务主题读取所述流水数据和账单数据；
通过所述数据发送组件将所述流水数据和账单数据发送到所述文件存储系统进行存储。


3.根据权利要求1所述的方法，其特征在于，当一条所述流水数据中包括多项内容安全识别服务交易时，所述根据接收到的统计任务从所述文件存储系统中调度所述流水数据和账单数据进行统计计算，包括：
将所述流水数据拆分为多个子流水数据，每个所述子流水数据与一项所述内容安全识别服务交易对应；
确定所述子流水数据对应的所述账单数据；
根据所述子流水数据及其对应的所述账单数据进行统计计算。


4.根据权利要求1所述的方法，其特征在于，所述根据接收到的统计任务从所述文件存储系统中调度所述流水数据和账单数据进行统计计算，包括：
确定所述统计任务对应的指定统计维度；
根据所述指定统计维度对所述流水数据和账单数据进行统计计算。


5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在内容安全识别服务被调用后生成所述流水数据和账单数据；
将所述流水数据和账单数据写入到所述消息系统。


6.根据权利要求5所述的方法...

【专利技术属性】
技术研发人员：张永鹏，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：北京;11