一种海量多元数据智能归集系统及归集方法技术方案

本发明专利技术涉及一种海量多元数据智能归集系统及归集方法，其中，海量多元数据智能归集系统包括归集提取模块、归集存储模块、归集选择模块和归集查询模块。针对大规模用户环境下多元数据查询请求要素多样、查询请求并发性高、用户多元数据存储数据量大等特点，需要满足大规模用户在线并发请求的快速响应及海量多元数据多要素快速检索查询等关键问题。本发明专利技术的海量多元数据智能归集系统，在存储阶段根据发票的不同要素特点进行提取，归集分类后存储入归集信息表中，在查询阶段将原本需要进行地多要素联合查询简化为一次要素标识值计算和两次单要素查询，可以快速获得所有符合查询条件的电子发票信息，极大地优化查询时间。极大地优化查询时间。极大地优化查询时间。

【技术实现步骤摘要】
一种海量多元数据智能归集系统及归集方法


[0001]本专利技术属于数据处理
，具体涉及一种海量多元数据智能归集系统及归集方法。

技术介绍

[0002]随着信息时代的发展，海量多元数据使用规模也越来越大。如用户在注册新系统后，买家在订单下单后，商家在开具电子发票后，会将生成的数据将存入数据库中进行存储与等待后续的查询。
[0003]目前，业界通常使用关系型数据库对多元数据信息进行存储。关系型数据库，是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据，以便于用户理解，关系型数据库这一系列的行和列被称为表，一组表组成了数据库。
[0004]在关系型数据库中，虽然可以满足一般的存储、查询发票的需求，但是随着业务量的增加，在大规模用户下海量多源异构数据的存储与查询时，传统关系型数据库查询响应速度慢、高并发条件下易造成服务宕机等问题便日益严重。
[0005]以电子发票信息为例，目前大规模用户环境下数据服务平台查询存在以下问题：由于要为多字段建立索引，现有方法对海量多元数据进行联合查询时资源消耗极大，时间开销大，查询本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种海量多元数据智能归集系统，其特征在于，包括：归集提取模块，用于根据接收的发票归集请求，提取得到对应发票的关键要素，根据所述关键要素得到多个归集类型，获取每个归集类型对应的标识信息，根据所述多个标识信息生成对应发票的归集信息；归集存储模块，用于将所述归集信息存储在归集信息表中，并将所述归集信息表中的标识信息设置为索引项；归集选择模块，用于根据接收的发票查询请求，确定所述发票查询请求对应的归集类型，并计算得到该发票查询请求对应的要素标识值；归集查询模块，用于根据所述发票查询请求对应的归集类型和要素标识值，对所述归集信息表进行查询，得到符合条件的发票ID。2.根据权利要求1所述的海量多元数据智能归集系统，其特征在于，所述发票归集请求包括发票信息，所述发票信息包括发票的关键要素。3.根据权利要求2所述的海量多元数据智能归集系统，其特征在于，所述发票的关键要素，包括：发票ID、购买方姓名、购买方纳税人识别号、购买方地址，购买方电话，购买方开户银行，购买方开户账号、商品名称、商品单价、商品数量、商品总金额、商品税率、商品税额、销售方名称、销售方纳税人识别号、销售方地址、销售方电话、销售方开户银行、销售方开户账号、收款人姓名、开票人姓名、发票代码、开票日期、校验码和机器编码。4.根据权利要求2所述的海量多元数据智能归集系统，其特征在于，所述归集提取模块包括：关键要素提取单元，用于根据所述发票信息，提取得到对应发票的关键要素；归集类型划分单元，用于根据所述关键要素生成多个归集类型，所述归集类型为包括一个或多个关键要素的组合；归集信息生成单元，用于将每个所述归集类型中的关键要素进行级联操作得到合并关键要素，利用哈希算法对所述合并关键要素进行哈希值计算，得到每个归集类型对应的标识信息，根据发票ID和多个归集类型对应标识信息构成发票的归集信息。5.根据权利要求1所述的海量多元数据智能归集系统，其特征在于，所述发票查询请求包括发票的查询要素，所述查询要素包括发票的一个或多个关键要素。6.根据权利要求5所述的海量多元数据智能归集系统，其特征在于，所述归集选择模块，包括：归集类型确定单元，用于根据所述查询要素，确定所述发票查询请求对应的归集类型；标识值计算单元，用于将查询要素进行...

【专利技术属性】
技术研发人员：曹进，李泽健，郭振洋，李晖，赵兴文，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：