一种基于服务开放平台的服务调用数据统计分析方法及系统技术方案

本发明专利技术公开了一种基于服务开放平台的服务调用数据统计分析方法及系统，所述方法包括：采集服务调用情况数据；采集服务调用情况数据，将以UDP采集方式采集的数据存储在分布式时序数据库中，将以HTTP采集方式采集的数据经分析后数据存入分布式事务数据库中；依据用户输入的关键字查询，若检测到分布式事务数据库的数据满足查询条件，输出分布式事务数据库的查询结果，否则输出分布式时序数据库的查询结果。本发明专利技术可以满足多客户端高并发访问平台服务的情况下，服务调用数据存储、查询及统计分析的实时性和准确性，支撑开放平台运营者和服务开发者根据服务调用数据快速决策。

A statistical analysis method and system of service call data based on service open platform

【技术实现步骤摘要】
一种基于服务开放平台的服务调用数据统计分析方法及系统
本专利技术涉及通信
，更具体地，涉及一种基于服务开放平台的服务调用数据统计分析方法及系统。
技术介绍
随着互联网、大数据和人工智能技术的发展，各公司和机构积累价值较高的数据资源、特定业务专题分析以及通用的人工智能感知能力，并为了数据和技术的价值最大化，将这些能力以服务的形式对内、对外开放，使得开放平台已经成为流行的服务模式。随着自研和外部开发者所开发的应用API接口接入到开放平台中，极大的丰富了平台的服务，供广大的互联网用户和应用开发者选择和使用，也为应用API开发者带来了经济收益。对于服务开放平台的运营者、将研发成果发布到开放平台的服务开发者而言，需要尽可能快地了解整个平台服务的服务调用数据情况，掌握服务收益，进而制定平台运营策略。因此，服务调用数据采集存储以及统计分析的高效性，是服务开放平台的一个关键技术实现。现阶段，基于大数据技术对服务调用日志进行分析可以实现平台开发各服务调用情况的统计分析，在平台开放服务较多和服务调用者较多的并发量较大的场景下，对服务调用数据的实时性提出了更高的挑战，而现有实现往往牺牲时效性，来保证服务调用数据的准确性，无法提供高效、快速的服务调用情况统计分析。
技术实现思路
为了解决
技术介绍
存在的服务调用情况分析时效性差的问题，本专利技术提供了一种基于服务开放平台的服务调用数据统计分析方法及系统，所述方法在服务调用数据采集端对服务调用情况进行日志记录，使用大数据实时计算框架对采集日志数据进行消费和访问记录叠加，保障服务调用统计情况的实时性和准确性；所述方法包括：采集服务调用情况数据，所述采集方式包括UDP采集方式以及HTTP采集方式；将以UDP采集方式采集的数据存储在分布式时序数据库中；将以HTTP采集方式采集的数据传输至消息队列中间件，调用日志数据处理服务完成消息队列中间件中数据的分析，将分析后数据存入分布式事务数据库中；依据用户输入的关健字查询，同时检测分布式事务数据库和分布式时序数据库，若所述分布式事务数据库统计分析数值大于或者等于分布式时序数据库统计分析数值，输出分布式事务数据库的查询结果，否则输出分布式时序数据库的查询结果。进一步的，所述UDP采集方式包括：读取服务调用采集数据类型；对所读取到的所述服务调用采集数据类型设定服务调用采集数据配置，对服务调用日志进行过滤得到关注的服务调用情况；解析过滤后服务调用日志，提取数据组装成约定格式的字符串，所述字符串包括度量的名称以及数值，设置所述数值的统计数据值类型。进一步的，所述服务调用采集数据类型包括访问来源维度、服务接口API、统计度量、服务请求数量、特定用户服务请求数量、服务访问不同响应状态计数、服务访问不同响应状态不同用户计数以及服务访问唯一用户数；所述访问来源维度包括用户和应用维度。进一步的，所述统计数据值类型包括计数类型、计时类型以及集合类型，所述集合类型标识服务调用次数、服务调用耗时以及服务调用用户集合。进一步的，所述HTTP采集方式包括：采集网关节点的服务调用日志；解析服务调用日志获得关健描述信息，将所述关健描述信息封装为json格式，得到封装后字符串。进一步的，所述日志数据处理服务包括：将接收的数据传输至消息队列中间件，在消息队列中形成待消费数据队列；使用大数据流式计算处理引擎对所述待消费数据队列中数据按预设度量结果读取，将读取结果与时间窗口的实时服务调用日志细粒度数据叠加后写入分布式事务数据库；将所述待消费数据队列中的数据写入日志明细查询存储引擎中，提供服务接口访问明细查询服务。进一步的，所述分布式事务数据库中包括根据设计指标的最小粒度度量记录以及根据服务调用目标设计的统计指标。进一步的，所述分布式事务数据库中数据更新后，将所述更新后数据同步至分布式事务数据库从库中，由分布式事务数据库从库提供数据查询统计服务。一种基于服务开放平台的服务调用数据统计分析系统，其特征在于：所述系统包括UDP数据采集客户端、HTTP数据采集客户端、UDP数据采集服务端、HTTP数据采集服务端、分布式时序数据库、消息队列中间件、日志数据处理服务单元、分布式事务数据库以及查询统计服务单元；所述UDP数据采集客户端用于以UDP采集方式采集服务调用情况数据；所述HTTP数据采集客户端用于以HTTP采集方式采集服务调用情况数据；所述UDP数据采集服务端用于将UDP数据采集客户端采集的数据存储在分布式时序数据库中；HTTP数据采集服务端用于将HTTP数据采集客户端采集的数据传输至消息队列中间件；所述分布式时序数据库用于提供按服务调用统计维度进行服务调用情况的查询和统计服务。所述消息队列中间件用于将接收的数据形成待消费数据队列；日志数据处理服务单元用于分析消息队列中间件中的数据，将分析后数据存入分布式事务数据库中；分布式事务数据库用于提供HTTP数据采集客户端采集数据的查询统计服务；查询统计服务单元用于依据用户输入的关健字查询，同时检测分布式事务数据库和分布式时序数据库，若所述分布式事务数据库统计分析数值大于或者等于分布式时序数据库统计分析数值，输出分布式事务数据库的查询结果，否则输出分布式时序数据库的查询结果。进一步的，所述UDP数据采集客户端用于读取服务调用采集数据类型；对所读取到的所述服务调用采集数据类型设定服务调用采集数据配置，对服务调用日志进行过滤得到关注的服务调用情况；所述UDP数据采集客户端用于解析过滤后服务调用日志，提取数据组装成约定格式的字符串，所述字符串包括度量的名称以及数值，设置所述数值的统计数据值类型。进一步的，所述服务调用采集数据类型包括访问来源维度、服务接口API、统计度量、服务请求数量、特定用户服务请求数量、服务访问不同响应状态计数、服务访问不同响应状态不同用户计数以及服务访问唯一用户数；所述访问来源维度包括用户和应用维度。进一步的，所述统计数据值类型包括计数类型、计时类型以及集合类型，所述集合类型标识服务调用次数、服务调用耗时以及服务调用用户集合。进一步的，所述HTTP数据采集客户端采集网关节点的服务调用日志；解析服务调用日志获得关健描述信息，将所述关健描述信息封装为json格式，得到封装后字符串。进一步的，所述关健信息包括所访问API接口的基本信息、请求接口基本信息以及响应基本信息。进一步的，日志数据处理服务单元用于使用大数据流式计算处理引擎对所述待消费数据队列中数据按预设度量结果读取，将读取结果与时间窗口的实时服务调用日志细粒度数据叠加后写入分布式事务数据库；所述日志数据处理服务单元还包括日志明细查询存储引擎模块，所述日志明细查询存储引擎模块用于接收所述待消费数据队列中的数据，提供服务接口访问明细查询服务。进一步的，所述分布式事务数据库中包括本文档来自技高网...

【技术保护点】
1.一种基于服务开放平台的服务调用数据统计分析方法，其特征在于：/n采集服务调用情况数据，所述采集方式包括UDP采集方式以及HTTP采集方式；/n将以UDP采集方式采集的数据存储在分布式时序数据库中；/n将以HTTP采集方式采集的数据传输至消息队列中间件，调用日志数据处理服务完成消息队列中间件中数据的分析，将分析后数据存入分布式事务数据库中；/n依据用户输入的关健字查询，同时检测分布式事务数据库和分布式时序数据库，若所述分布式事务数据库统计分析数值大于或者等于分布式时序数据库统计分析数值，输出分布式事务数据库的查询结果，否则输出分布式时序数据库的查询结果。/n

【技术特征摘要】
1.一种基于服务开放平台的服务调用数据统计分析方法，其特征在于：
采集服务调用情况数据，所述采集方式包括UDP采集方式以及HTTP采集方式；
将以UDP采集方式采集的数据存储在分布式时序数据库中；
将以HTTP采集方式采集的数据传输至消息队列中间件，调用日志数据处理服务完成消息队列中间件中数据的分析，将分析后数据存入分布式事务数据库中；
依据用户输入的关健字查询，同时检测分布式事务数据库和分布式时序数据库，若所述分布式事务数据库统计分析数值大于或者等于分布式时序数据库统计分析数值，输出分布式事务数据库的查询结果，否则输出分布式时序数据库的查询结果。


2.根据权利要求1所述的方法，其特征在于，所述UDP采集方式包括：
读取服务调用采集数据类型；
对所读取到的所述服务调用采集数据类型设定服务调用采集数据配置，对服务调用日志进行过滤得到关注的服务调用情况；
解析过滤后服务调用日志，提取数据组装成约定格式的字符串，所述字符串包括度量的名称以及数值，设置所述数值的统计数据值类型。


3.根据权利要求2所述的方法，其特征在于：
所述服务调用采集数据类型包括访问来源维度、服务接口API、统计度量、服务请求数量、特定用户服务请求数量、服务访问不同响应状态计数、服务访问不同响应状态不同用户计数以及服务访问唯一用户数；
所述访问来源维度包括用户和应用维度。


4.根据权利要求3所述的方法，其特征在于：
所述统计数据值类型包括计数类型、计时类型以及集合类型，所述集合类型标识服务调用次数、服务调用耗时以及服务调用用户集合。


5.根据权利要求1所述的方法，其特征在于，所述HTTP采集方式包括：
采集网关节点的服务调用日志；
解析服务调用日志获得关健描述信息，将所述关健描述信息封装为json格式，得到封装后字符串。


6.根据权利要求5所述的方法，其特征在于：
所述关健信息包括所访问API接口的基本信息、请求接口基本信息以及响应基本信息。


7.根据权利要求1所述的方法，其特征在于，所述日志数据处理服务包括：
将接收的数据传输至消息队列中间件，在消息队列中形成待消费数据队列；
使用大数据流式计算处理引擎对所述待消费数据队列中数据按预设度量结果读取，将读取结果与时间窗口的实时服务调用日志细粒度数据叠加后写入分布式事务数据库；
将所述待消费数据队列中的数据写入日志明细查询存储引擎中，提供服务接口访问明细查询服务。


8.根据权利要求7所述的方法，其特征在于：
所述分布式事务数据库中包括根据设计指标的最小粒度度量记录以及根据服务调用目标设计的统计指标。


9.根据权利要求7所述的方法，其特征在于：
所述分布式事务数据库中数据更新后，将所述更新后数据同步至分布式事务数据库从库中，由分布式事务数据库从库提供数据查询统计服务。


10.一种基于服务开放平台的服务调用数据统计分析系统，其特征在于：
所述系统包括UDP数据采集客户端、HTTP数据采集客户端、UDP数据采集服务端、HTTP数据采集服务端、分布式时序数据库、消息队列中间件、日志数据处理服务单元、分布式事务数据库以及查询统计服务单元；
所述UDP数据采集客户端用于以UDP采集方式采集服务调用...

【专利技术属性】
技术研发人员：舒南飞，白雪珂，林文辉，赖新明，
申请(专利权)人：航天信息股份有限公司，
类型：发明
国别省市：北京;11