一种基于B2B商城的实时计算查询系统及方法技术方案

本发明专利技术涉及一种基于B2B商城的实时计算查询系统及方法，该系统包括：业务数据库、HDFS分布式存储系统、Kudu列式数据库、前端WEB系统、实时采集转发单元、Shell脚本以及Hive。本发明专利技术业务数据通过大数据平台实时收集入Kudu列式数据库，保证了数据的及时性，用户的计算请求通过前端WEB系统实时录入提交，并通过大数据平台的运算能力，及时得到计算结果，用来支撑决策。

A real-time computing query system and method based on B2B mall

【技术实现步骤摘要】
一种基于B2B商城的实时计算查询系统及方法
本专利技术涉及大数据计算查询的
，尤其是涉及一种基于B2B商城的实时计算查询系统及方法。
技术介绍
针对业务数据量比较大，需要采用大数据计算时，目前大多采用制定调度任务，按照指定时间点抽取业务数据，再针对业务场景制定计算模型进行离线计算，主要采用技术有：Sqoop批量导入数据、HDFS批量存储数据、Hive/MapReduce批量计算数据、Hue任务调度、Hplsql计算处理、Impala查询引擎。申请公布号为CN109766368A的中国专利公开了一种基于Hive的数据查询多类型视图产出系统，包括：查询条件管理模块、查询结果管理模块、查询结果展示模块、自定义模板生成模块。该方案利用Hive，对海量数据集进行统计分析，通过多输入手段和多输出方式，将数据仓库中的大数据集进行批量统计、挖掘和分析，从而为用户提供基于大数据的智能决策引导和手段，让用户认清现状、把握趋势。上述中的现有技术方案存在以下缺陷：采用制定调度任务，按照指定时间点抽取业务数据，再针对业务场景制定计算模型进行离线计算，数据实时性不高；计算模型固定，例如：通过大数据计算客户成交金额、成交数量和最后成交时间，既定计算模型可能只能固定分别计算30天/60天/90天成交金额，业务部门针对计算结果再过滤哪部分客户需重点拜访，当有新品上线或有促销案执行或针对重点产品时，可能需要重点计算7天/10天或其他类型成交金额；数据粒度固定，例如：既定计算模型只能计算到客户的最小存货单位。专利技术内容针对现有技术存在的不足，本专利技术的目的是提供一种基于B2B商城的实时计算查询系统及基于B2B商城的实时计算查询方法。本专利技术的上述专利技术目的一是通过以下技术方案得以实现的：一种基于B2B商城的实时计算查询系统，包括：业务数据库：用于存储B2B商城的数据信息；HDFS分布式存储系统；Kudu列式数据库：通过大数据平台与所述业务数据库保持同步，且与所述HDFS分布式存储系统进行映射；前端WEB系统：用于录入数据，并将带有所述录入数据的请求信息通过大数据接口库转发；实时采集转发单元：用于实时采集所述前端WEB系统通过大数据接口库转发的带有所述录入数据的请求信息并转发；Shell脚本：用于接收所述实时采集转发单元转发的请求信息后调用Hpl/Sql进行处理，其中，所述Hpl/Sql根据所述Kudu列式数据库中的数据以及所述请求信息进行计算处理；以及Hive：用于存储所述Hpl/Sql的计算结果，并将所述计算结果推送到所述前端WEB系统。通过采用上述技术方案，业务数据通过大数据平台实时收集入Kudu列式数据库，保证了数据的及时性，用户的计算请求通过前端WEB系统实时录入提交，并通过大数据平台的运算能力，及时得到计算结果，用来支撑决策。本专利技术在一较佳示例中可以进一步配置为：所述实时采集转发单元包括实时采集单元、实时消息转发单元和SPARK引擎，所述实时采集单元用于实时监测和采集所述大数据接口库转发的请求信息并通过所述实时消息转发单元转发到所述SPARK引擎，所述SPARK引擎调用python程序进行接收所述请求信息并转发到所述Shell脚本中。通过采用上述技术方案，所述实时采集单元用于实时监测和采集所述大数据接口库转发的请求信息并通过所述实时消息转发单元转发到所述SPARK引擎，所述SPARK引擎调用python程序进行接收所述请求信息并转发到所述Shell脚本中。本专利技术在一较佳示例中可以进一步配置为：所述实时采集单元为Streamsets，所述实时消息转发单元为Kafka。通过采用上述技术方案，Streamsets没有缓存的功能，只要有新的请求信息进来，就会放入一个kafka队列里。本专利技术在一较佳示例中可以进一步配置为：还包括BI展示系统，用于根据所述计算结果提供报表并提出决策依据。通过采用上述技术方案，BI展示系统是一套完整的解决方案，用来将企业中现有的数据进行有效的整合，快速准确的提供报表并提出决策依据，帮助企业做出明智的业务经营决策。本专利技术的上述专利技术目的二是通过以下技术方案得以实现的：一种基于B2B商城的实时计算查询方法，采用Kudu列式数据库与HDFS分布式存储系统进行映射，且所述Kudu列式数据库中的数据通过大数据平台与业务数据库保持同步；前端WEB系统录入数据后将带有所述录入数据的请求信息通过大数据接口库发送到实时采集转发单元；Shell脚本接收所述实时采集转发单元转发的请求信息后调用Hpl/Sql，所述Hpl/Sql根据所述Kudu列式数据库中的数据以及所述请求信息进行计算处理并将计算结果存储于Hive中，前端WEB系统接收并应用所述计算结果。通过采用上述技术方案，业务数据通过大数据平台实时收集入Kudu列式数据库，保证了数据的及时性，用户的计算请求通过前端WEB系统实时录入提交，并通过大数据平台的运算能力，及时得到计算结果，用来支撑决策。本专利技术在一较佳示例中可以进一步配置为：所述实时采集转发单元包括实时采集单元、实时消息转发单元和SPARK引擎，所述实时采集单元用于实时监测和采集所述大数据接口库转发的请求信息并通过所述实时消息转发单元转发到所述SPARK引擎，所述SPARK引擎调用python程序进行接收所述请求信息并转发到所述Shell脚本中。通过采用上述技术方案，所述实时采集单元用于实时监测和采集所述大数据接口库转发的请求信息并通过所述实时消息转发单元转发到所述SPARK引擎，所述SPARK引擎调用python程序进行接收所述请求信息并转发到所述Shell脚本中。本专利技术在一较佳示例中可以进一步配置为：在计算结束后，所述Shell脚本将所述计算结果中的至少一个信息返回至所述SPARK引擎。通过采用上述技术方案，返回至所述SPARK引擎的计算结果用于更新接口表中的完成标记等信息。本专利技术在一较佳示例中可以进一步配置为：所述请求信息至少包括会话id以及前端WEB系统的录入数据。通过采用上述技术方案，会话id是唯一的，引入会话id有利于对各个请求信息及其处理计算结果进行分类处理和存储。本专利技术在一较佳示例中可以进一步配置为：所述前端WEB系统的录入数据包括至少一个客户静态标签和至少一个商品静态标签。通过采用上述技术方案，实现根据客户静态标签和商品静态标签两个维度中的任意静态标签的自由组合，而得到相应的计算动态标签结果。本专利技术在一较佳示例中可以进一步配置为：所述计算结果还发送到BI展示系统进行BI展示。通过采用上述技术方案，BI展示系统是一套完整的解决方案，用来将企业中现有的数据进行有效的整合，快速准确的提供报表并提出决策依据，帮助企业做出明智的业务经营决策。综上所述，本专利技术包括以下至少一种有益技术效果：1.业务数据通过大数据平台实时收集入Kudu列式数据库，保证了数据的及时性；2.用户的本文档来自技高网...

【技术保护点】
1.一种基于B2B商城的实时计算查询系统，其特征在于，包括：/n业务数据库：用于存储B2B商城的数据信息；/nHDFS分布式存储系统；/nKudu列式数据库：通过大数据平台与所述业务数据库保持同步，且与所述HDFS分布式存储系统进行映射；/n前端WEB系统：用于录入数据，并将带有所述录入数据的请求信息通过大数据接口库转发；/n实时采集转发单元：用于实时采集所述前端WEB系统通过大数据接口库转发的带有所述录入数据的请求信息并转发；/nShell脚本：用于接收所述实时采集转发单元转发的请求信息后调用Hpl/Sql进行处理，其中，所述Hpl/Sql根据所述Kudu列式数据库中的数据以及所述请求信息进行计算处理；以及/nHive：用于存储所述Hpl/Sql的计算结果，并将所述计算结果推送到所述前端WEB系统。/n

【技术特征摘要】
1.一种基于B2B商城的实时计算查询系统，其特征在于，包括：
业务数据库：用于存储B2B商城的数据信息；
HDFS分布式存储系统；
Kudu列式数据库：通过大数据平台与所述业务数据库保持同步，且与所述HDFS分布式存储系统进行映射；
前端WEB系统：用于录入数据，并将带有所述录入数据的请求信息通过大数据接口库转发；
实时采集转发单元：用于实时采集所述前端WEB系统通过大数据接口库转发的带有所述录入数据的请求信息并转发；
Shell脚本：用于接收所述实时采集转发单元转发的请求信息后调用Hpl/Sql进行处理，其中，所述Hpl/Sql根据所述Kudu列式数据库中的数据以及所述请求信息进行计算处理；以及
Hive：用于存储所述Hpl/Sql的计算结果，并将所述计算结果推送到所述前端WEB系统。


2.根据权利要求1所述的基于B2B商城的实时计算查询系统，其特征在于：所述实时采集转发单元包括实时采集单元、实时消息转发单元和SPARK引擎，所述实时采集单元用于实时监测和采集所述大数据接口库转发的请求信息并通过所述实时消息转发单元转发到所述SPARK引擎，所述SPARK引擎调用python程序进行接收所述请求信息并转发到所述Shell脚本中。


3.根据权利要求2所述的基于B2B商城的实时计算查询系统，其特征在于：所述实时采集单元为Streamsets，所述实时消息转发单元为Kafka。


4.根据权利要求1所述的基于B2B商城的实时计算查询系统，其特征在于：还包括BI展示系统，用于根据所述计算结果提供报表并提出决策依据。


5.一种基于B2B商城的...

【专利技术属性】
技术研发人员：崔素芳，钟朝，彭晓，
申请(专利权)人：广州统一企业有限公司，
类型：发明
国别省市：广东;44