一种Excel数据整合分析系统和方法技术方案

本发明专利技术提供了一种excel数据整合分析系统和方法，该系统中，用于对接入系统的excel数据进行数据处理的应用体系包括资源表定义模块、文件规则配置模块、导入任务配置模块、导入任务监控模块和比对规则配置模块；用于自定义数据检索和数据比对处理的展现体系包括资源数据检索模块和资源数据比对模块；用于存储接入系统的excel数据、系统处理数据的任务记录和系统设定的规则配置的数据体系包括系统资源库、系统配置库和系统规则库。通过应用体系对excel数据的灵活配置和定义，使得接入和处理的excel数据内容更加广泛，操作便捷，实用性强；还具有数据灵活碰撞分析功能，能够进一步发现数据之间深层次的隐形关系，有利于灵活数据碰撞分析和数据关系挖掘。

【技术实现步骤摘要】
一种Excel数据整合分析系统和方法
本专利技术涉及数据处理、检索和比对的分析系统，特别涉及一种对Excel数据进行整合后的自定义检索与灵活碰撞比对的分析系统及方法。
技术介绍
随着信息技术的快速发展及办公自动化业务的全面普及，在各个行业、不同业务单位都积累了大量Excel数据，这些Excel数据存储分散又相互独立。如何实现对这些excel数据进行有效整合和处理，对处理后数据进行高效检索和灵活分析，进而发现数据之间的隐性关系以及数据内部深层次的价值，是当前急需解决的问题。为了解决这些问题，当市场上出现了多种Excel数据分析系统，比如Excel数据管理系统(主要实现Excel数据分类上传管理)、excel数据接入系统(主要实现excel数据分类存储)、excel数据检索系统(主要实现Excel数据的整合入库并按关键词搜索)等。但上述系统主要原理都基于excle数据分类管理与存储、按条件检索整合后的数据；最终获取的数据是一个或多个独立文件或者独立存储的数据，很难发现文件内容之间的关联关系，更难以发现多个Excel文件之间的数据关联关系。因此，这些Excel数据应用分析系统不能很好满足业务的实际需求，不能获知Excel数据之间的关联性，也难以发现多个Excel数据之间隐藏的深层次关联关系。现有技术中也公开了数据灵活比对方面的内容，例如专利CN104731814A。然而，专利CN104731814A进行比对的数据来源是任意关系数据库，需要首先在数据库中存储符合设定格式的相关数据，再进行比对；比对的结果可以作为下一步比对的输入，实现数据深层次循环比对，对于比对的结果不仅可以查看还可以进行预警提示及比重结果溯源。该专利公开的数据比对方法中需要占用较多的数据库存储空间和大量的人工储存数据工作，不能对原始数据文件，特别是excel数据进行比对，因此，无法实现excel数据的灵活比对。由于上述问题的存在，本专利技术人对现有的Excel数据处理和数据比对等相关技术进行深入研究和分析，以期待研制出可以简便快速接入批量Excel文件数据、根据需求进行自定义数据检索和灵活设置数据比对模型对处理数据进行碰撞分析，从而发现数据深层次关联关系的一种excel数据整合分析系统和方法。
技术实现思路
为了解决上述问题，本专利技术人进行了锐意研究，结果发现：设置含有应用体系、展现体系和数据体系的分析系统中，通过应用体系中资源表定义模块对excel数据文件进行资源数据表及数据字段的配置和通过文件规则配置模块对excel数据文件的数据项进行灵活定义，以利于不同内容数据文件的灵活接入和数据项灵活配置；通过导入任务配置模块对数据字段与数据项进行关系映射；导入任务监控模块对配置的导入任务执行过程进行监控管理；比对规则配置模块对任意两个资源表进行碰撞字段的灵活配置；数据资源检索模块实现对资源表的自定义检索，精确获取数据资源；数据资源比对模块可以实现数据的灵活碰撞分析，进一步发现数据之间的关联关系，为业务分析提供更多有价值的数据信息；通过基于导入资源数据表的excel数据实现数据的灵活比对和查看比对结果，从而完成本专利技术。本专利技术的目的在于提供以下方面：第一方面，本专利技术提供一种excel数据整合分析系统，该系统包括：应用体系2用于对接入系统的excel数据进行数据处理，包括资源表定义模块21、文件规则配置模块22、导入任务配置模块23、导入任务监控模块24和比对规则配置模块25；展现体系1用于自定义数据检索和数据比对处理，其包括资源数据检索模块11和资源数据比对模块12；数据体系3用于存储接入系统的excel数据、系统处理数据的任务记录和系统设定的规则配置，包括系统资源库31、系统配置库32和系统规则库33。所述应用体系2中，资源表定义模块21，其用于对接入整合分析系统的excel数据配置资源数据表和数据字段，同时设定数据字段的使用属性；文件规则配置模块22，其用于对接入整合分析系统的excel数据配置数据项；所述数据项包括在excel数据中数据表头或数据分类下的数据内容和位置信息；导入任务配置模块23，其用于对资源表定义模块21传送的数据字段配置信息与文件规则配置模块22传递的数据项信息进行关系映射，映射关系作为导入数据任务传送至导入任务监控模块24；导入任务监控模块24，其用于根据导入任务配置模块23传送的导入数据任务提取excel数据中包括内容信息和位置信息的数据项信息，并根据导入数据任务中的映射关系关联数据项和资源数据表中的数据字段；比对规则配置模块25，其用于接收资源表定义模块21传送的资源数据表及数据字段信息，基于数据内容和业务需求，设置不同资源数据表及数据字段之间的数据字段比对信息。第二方面，本专利技术提供了一种通用的excel数据整合分析方法，优选使用上述整合分析系统进行，该方法包括以下步骤：S1，配置资源表，对需要接入系统的excel数据配置资源数据表和数据字段，同时设定数据字段的使用属性，存储配置信息；S2，配置文件规则，对需要接入系统的excel数据配置数据项，并存储；S3，导入任务配置，对配置的数据字段和数据项进行关系映射并存储；S4，导入任务监控，根据数据字段和数据项之间的映射关系提取和关联数据项和数据字段，存储关联结果；S5，比对规则配置，任意选取经S1中配置的两张资源表，根据业务需求自定义资源表之间的数据字段比对信息，并存储比对信息；S6，结果数据分析应用，根据S4中产生的资源数据，可以基于S1配置的资源表进行数据自定义检索和/或基于S5配置的数据字段比对信息进行数据碰撞分析。根据本专利技术提供的一种Excel数据整合分析系统和方法，具有以下有益效果：(1)本专利技术提供的一种excel数据整合分析系统和方法，通过设置excel文件接入规则，可以灵活定义接入多种内容项处理规则，使得接入和处理的excel数据内容更加广泛，操作更加便捷，提高了该系统的实用性；(2)本专利技术提供的一种excel数据整合分析系统和方法，通过基于接入的Excel数据配置实体表，以实体表为媒介，可以灵活的配置数据映射关系，使得excel数据处理过程中，数据映射方式多样，提高了系统的灵活性和人的主观能动性；(3)本专利技术提供的一种excel数据整合分析系统和方法，通过设置任务监控模块，能够多方式定义数据处理任务的执行方式，并且能够实时监控数据处理任务的执行状态、执行进度；(4)本专利技术提供的一种excel数据整合分析系统和方法，通过设置数据字段的使用属性，可以直接灵活地展示数据内容和进行自定义数据条件检索；(5)本专利技术提供的一种excel数据整合分析系统和方法，具有数据灵活碰撞分析功能，能够进一步发现数据之间深层次的隐形关系，便于使用者进行灵活数据碰撞分析和数据关系挖掘。(6)本专利技术提供的excel数据整合分析系统和方法可以实现不同内容的excel文件根据需求进行灵活汇集和任务监控，对汇集的结果进行本文档来自技高网...

【技术保护点】
1.一种excel数据整合分析系统，其特征在于，该系统包括：/n应用体系(2)用于对接入系统的excel数据进行数据处理，包括资源表定义模块(21)、文件规则配置模块(22)、导入任务配置模块(23)、导入任务监控模块(24)和比对规则配置模块(25)；/n展现体系(1)用于自定义数据检索和数据比对处理，其包括资源数据检索模块(11)和资源数据比对模块(12)；/n数据体系(3)用于存储接入系统的excel数据、系统处理数据的任务记录和系统设定的规则配置，包括系统资源库(31)、系统配置库(32)和系统规则库(33)。/n

【技术特征摘要】
1.一种excel数据整合分析系统，其特征在于，该系统包括：
应用体系(2)用于对接入系统的excel数据进行数据处理，包括资源表定义模块(21)、文件规则配置模块(22)、导入任务配置模块(23)、导入任务监控模块(24)和比对规则配置模块(25)；
展现体系(1)用于自定义数据检索和数据比对处理，其包括资源数据检索模块(11)和资源数据比对模块(12)；
数据体系(3)用于存储接入系统的excel数据、系统处理数据的任务记录和系统设定的规则配置，包括系统资源库(31)、系统配置库(32)和系统规则库(33)。


2.根据权利要求1所述的数据整合分析系统，其特征在于，所述应用体系(2)中，
资源表定义模块(21)，其用于对接入整合分析系统的excel数据配置资源数据表和数据字段，同时设定数据字段的使用属性；
文件规则配置模块(22)，其用于对接入整合分析系统的excel数据配置数据项；所述数据项包括在excel数据中数据表头或数据分类下的数据内容和位置信息；
导入任务配置模块(23)，其用于对资源表定义模块(21)传送的数据字段配置信息与文件规则配置模块(22)传递的数据项信息进行关系映射，映射关系作为导入数据任务传送至导入任务监控模块(24)；
导入任务监控模块(24)，其用于根据导入任务配置模块(23)传送的导入数据任务提取excel数据中包括内容信息和位置信息的数据项信息，并根据导入数据任务中的映射关系关联数据项和资源数据表中的数据字段；
比对规则配置模块(25)，其用于接收资源表定义模块(21)传送的资源数据表及数据字段信息，基于数据内容和业务需求，设置不同资源数据表及数据字段之间的数据字段比对信息。


3.根据权利要求1或2所述的数据整合分析系统，其特征在于，
所述资源表定义模块(21)包括：
数据表配置子模块，其用于对接入整合分析系统的excel数据配置资源数据表；
数据字段配置子模块，其用于对接入整合分析系统的excel数据配置数据字段信息，同时在配置数据字段时定义数据字段的使用属性；
优选地，文件规则配置模块(22)包括：
规则名称配置子模块，其用于配置数据项的文件规则名称和规则描述，以便系统存储和查找；
数据项配置子模块，其用于配置接入系统的excel数据的数据项内容信息和位置信息；
优选地，比对规则配置模块(25)包括，
比对规则名称子模块，其用以配置和存储数据比对规则的名称；
数据过滤子模块，其用于配置不同资源数据表比对时的检索字段；优选地，在数据过滤时，在比对的资源数据表中分别设置过滤条件或检索字段；
数据碰撞子模块，其用于关联数据过滤子模块过滤出的比对的资源数据表中的数据字段；
数据输出子模块，其用于配置数据碰撞结果的输出条件，优选将数据碰撞结果输出或传送至资源数据比对模块12。


4.根据权利要求1或2所述的数据整合分析系统，其特征在于，所述资源表定义模块(21)生产的资源数据表与数据字段信息分别存放于资源数据表与资源字段表中；
优选地，资源数据表中包括主键表标识、表名称和表描述信息；资源字段表包括主键字段标识、字段名称、字段类型、使用类别和表标识信息；
文件规则配置模块(22)产生的信息存放于接入文件规则表，其包括主键接入规则标识、规则名称、规则描述、数据项名称、数据项位置、文件路径和使用状态信息；
导入任务配置模块(23)产生的信息存放于导入任务配置表，其包括主键任务标识、任务名称、字段标识、数据项名称、表标识、接入规则标识和使用状态信息；
导入任务监控模块(24)产生的信息存放于导入任务监控表，其包括主键监控任务标识、任务状态、执行方式、执行状态、执行进度、任务标识、任务处理开始时间和任务处理结束时间；
比对规则配置模块(25)产生的信息存放于比对规则配置表，其包括主键比对规则标识、比对规则名称、表标识、过滤条件、碰撞条件和输出条件。


5.根据权利要求1所述的数据整合分析系统，其特征在...

【专利技术属性】
技术研发人员：尚林林，
申请(专利权)人：北京宸瑞科技股份有限公司，
类型：发明
国别省市：北京;11