一种业务数据报表方法与系统技术方案

本发明专利技术公开了一种业务数据报表方法与系统，包括：生成并存储生成业务报表所需的原始数据；接收所述原始数据，并对所述原始数据进行降维处理；根据降维处理后的数据生成多维数据集；根据所述多维数据集生成报表。本发明专利技术通过使用接收原始数据，进行降维处理，从大量烦乱的原始数据中整理出制式化的格式数据写入多维数据集，根据不同角度的要求生成报表的技术方案，能够承载大量数据的存储、整理与呈现，在业务数据中心的大数据环境下能够正常工作。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了一种业务数据报表方法与系统，包括：生成并存储生成业务报表所需的原始数据；接收所述原始数据，并对所述原始数据进行降维处理；根据降维处理后的数据生成多维数据集；根据所述多维数据集生成报表。本专利技术通过使用接收原始数据，进行降维处理，从大量烦乱的原始数据中整理出制式化的格式数据写入多维数据集，根据不同角度的要求生成报表的技术方案，能够承载大量数据的存储、整理与呈现，在业务数据中心的大数据环境下能够正常工作。【专利说明】_种业务数据报表方法与系统
本专利技术涉及大数据处理领域，特别地，涉及一种业务数据报表方法与系统。
技术介绍
数据中心是一整套复杂的设施。它不仅仅包括计算机系统和其它与之配套的设备(例如通信和存储系统)，还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置。从应用层面看，包括业务系统、基于数据仓库的分析系统;从数据层面看，包括操作型数据和分析型数据以及数据与数据的集成/整合流程;从基础设施层面看，包括服务器、网络、存储和整体IT运行维护服务。报表系统是用于统计报表制作及报表及数据填报的企业级报表分析软件。报表是企业管理的基本措施和途径，是企业的基本业务要求，也是实施BI战略的基础。报表可以帮助企业访问、格式化数据，并把数据信息以可靠和安全的方式呈现给使用者。然而，报表系统能处理的数据量远远小于数据中心所需要处理的数据量，企业业务系统中不存在业务数据中心可用的完整的报表系统。针对现有技术中不存在业务数据中心可用的完整的报表系统的问题，目前尚没有有效的解决方案。
技术实现思路
有鉴于此，本专利技术的目的在于提出一种业务数据报表方法与系统，能够对数据中心中需要进行处理的大量数据进行报表，供使用者审核。基于上述目的，本专利技术提供的技术方案如下:根据本专利技术的一个方面，提供了一种业务数据报表方法，包括:生成并存储生成业务报表所需的原始数据；接收原始数据，并对原始数据进行降维处理；根据降维处理后的数据生成多维数据集；根据多维数据集生成报表。其中，对原始数据进行降维处理的同时，还进行以下处理，包括:收集原始数据，并提取出有效数据和变量；识别数据中的值、填补空缺值、减少数据噪声、消除数据的不一致性；将数据和变量标准化、离散化。并且，生成并存储原始数据的步骤包括以下至少一种方式:通过在线业务产生的数据，并存储于业务数据库中；异步生成消息，并存储于异步消息队列中；使用接口获取外界平台生成的高实时性数据；记录操作生成的事件数据，并存储于日志文件中。并且，通过在线业务产生的数据，并存储于业务数据库中包括:对业务数据库进行主从备份，并在业务数据库的从库中使用ETL工具采集并接收数据，其中，业务数据库的主库与从库具有数据隔离；记录操作生成的事件数据，并存储于日志文件中包括:创建定时任务，并根据定时任务从日志文件中采集并接收数据，其中，定时任务中记录有指定的数据采集时间。另外，对原始数据进行降维处理之后，还存储降维处理后的数据；根据降维处理后的数据生成多维数据集为:获取存储的降维处理后的数据并使用基于联机分析处理技术的数学模型对数据进行聚类处理，根据实际业务需求生成多维数据集。并且，多维数据集包括监控业务数据、直播业务数据和点播业务数据。并且，根据多维数据集生成报表包括:获取多维数据集，并存储常用数据与查询过的数据；根据常用数据与查询过的数据形成直播业务报表、点播业务报表和监控业务报表；使用图形化分别展示业务报表、点播业务报表和监控业务报表。根据本专利技术的另一个方面，提供了一种业务数据报表系统，包括:数据源模块，数据源模块为业务数据报表系统的起点，数据源模块存储用于生成业务报表所需的原始数据；数据采集模块，数据采集模块连接至数据源模块，数据采集模块包括数据约简单元，数据约简单元从数据源模块接收数据并进行降维处理；数据分析模块，数据分析模块连接至数据采集模块，数据分析模块获取数据采集模块降维处理后的数据并生成多维数据集；报表模块，报表模块连接至数据分析模块，报表模块获取数据分析模块生成的多维数据集并形成报表。其中，数据采集模块还包括数据整合单元、数据清洗单元和数据变换单元，其中:数据整合单元用于从数据源模块中收集原始数据，并提取出必要的数据和变量；数据清洗单元连接至数据整合单元，用于获取数据整合单元提取的数据和变量，并识别数据中的值、填补空缺值、减少数据噪声、消除数据的不一致性；数据变换单元连接至数据清洗单元，用于获取数据清洗单元处理的数据和变量，并将数据和变量标准化、离散化。并且，数据源模块包括以下至少之一:业务数据库，业务数据库存储在线业务产生的数据；消息单元，消息单元使用异步消息队列发送数据；接口单元，接口单元用于传输高实时性数据；日志文件，日志文件用于记录操作事件。并且，数据采集模块从业务数据库接收数据包括:数据采集模块对业务数据库进行主从备份，并在业务数据库的从库中使用ETL工具采集并接收数据，其中，业务数据库的主库与从库具有数据隔离；数据采集模块从日志文件接收数据包括:数据采集模块创建定时任务，并根据定时任务从日志文件中采集并接收数据，其中，定时任务中记录有指定的数据采集时间。另外，数据采集模块还包括数据仓库，数据采集模块对原始数据进行降维处理之后，还降维处理后的数据存储到数据仓库；数据分析模块获取数据仓库存储的降维处理后的数据并生成多维数据集为:数据分析模块获取数据采集模块降维处理后的数据并使用基于联机分析处理技术的数学模型对数据进行聚类处理，根据实际业务需求生成多维数据集。并且，多维数据集包括监控业务数据、直播业务数据和点播业务数据。并且，报表模块包括:缓存单元，缓存单元存储常用数据与查询过的数据；报表单元，报表单元用于形成直播业务报表、点播业务报表和监控业务报表；页面展示单元，页面展示单元使用图形化展示分别业务报表、点播业务报表和监控业务报表。从上面所述可以看出，本专利技术实施例提供的技术方案通过使用接收原始数据，进行降维处理，从大量烦乱的原始数据中整理出制式化的格式数据写入多维数据集，根据不同角度的要求生成报表，能够承载大量数据的存储、整理与呈现，在业务数据中心的大数据环境下能够正常工作。【附图说明】为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例的业务数据报表方法的流程图；图2为本专利技术实施例的业务数据报表系统的结构图；图3为本专利技术实施例的业务数据报表系统的详细结构图。【具体实施方式】为使本专利技术的目的、技术方案和优点更加清楚明白，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进一步进行清楚、完整、详细地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本专利技术保护的范围。根据本专利技术的一个实施例，提供了一种业务数据报表方法。如图1所示，根据本专利技术实施例提供的业务数据报表方法包括:步骤SlOl，生成并存储生成业务报表所需的原始数据；步骤S102，接收原始数据，并对原始本文档来自技高网...

【技术保护点】
一种业务数据报表方法，其特征在于，包括：生成并存储生成业务报表所需的原始数据；接收所述原始数据，并对所述原始数据进行降维处理；根据降维处理后的数据生成多维数据集；根据所述多维数据集生成报表。

【技术特征摘要】

【专利技术属性】
技术研发人员：杨继伟，刘永华，王孝庆，
申请(专利权)人：乐视控股北京有限公司，乐视云计算有限公司，
类型：发明
国别省市：北京;11