一种基于多源异构数据融合的自动报表系统及其方法技术方案

本发明专利技术是一种基于多源异构数据融合的自动报表系统，其特点是：它包括全局设置及控制模块、形成数据源的自定义表、数据抓取模块、数据融合模块和自动报表模块。所述全局设置及控制模块是提供设置、控制所述自动报表系统运行及操作界面的程序；所述数据抓取模块由N个数据抓取子程序构成，用于抓取N个数据源系统的统一XML格式的数据；所述数据融合模块由一个接口文件和N个中间数据文件构成，能够实现多源异构数据的自动融合；所述自动报表模块是独立流程自动化子程序，能够将欲录入上报网页的数据从融合后的接口文件读入数组后再写入网页对应文本框，以实现从两个及以上独立专业系统获取数据并融合后自动填入另一个网页上报系统中。

An automatic report system based on multi-source heterogeneous data fusion and its method

【技术实现步骤摘要】
一种基于多源异构数据融合的自动报表系统及其方法
本专利技术涉及计算机，是一种基于多源异构数据融合的自动报表系统及其方法。
技术介绍
电网调度不仅要组织和协调电网的计划检修以及指挥和指导电网运行的事故处理和异常调整。同时，电网调度运行人员每日均需从管辖发电厂、变电站及大用户收集当日电量数据进行取舍与计算，并按要求做成电量报表向上级调度机构汇报以及企业内部发布，此项工作要从每日晚23点持续到次日凌晨1点多，正是常人深睡之时，人工操作极易产生纰漏和错误。在信息化建设的过程中，电网企业各部门根据自身业务和功能需要，各自组建了相互隔离的异构数据源系统，由于各系统开发的时间和厂商各异，又没有统一的规划，开发平台、数据结构和数据库系统各不相同，致使专业壁垒凸显，数据未有效贯通，形成了多个专业数据源系统。而电网调度运行人员每天半夜要做的日电量报表所需的数据就存在在这些专业数据源系统中，若能将这些多源异构数据融合在一起并自动生成报表，并自动上传至上级调度部门相应网站，将大大减少上报数据出错的几率，同时提高运行人员的工作效率。现有的多源异构数据融合方法中，大多需要开发人员精通各个系统的开发工具和平台以及原有厂商的技术支持或开放接口，门槛较高，入门困难，无法兼顾对现有系统整合利用、不大拆大建、不推倒重来、因地制宜、先行先试，以达到实用性、经济性和便捷性为目的的泛在电力物联网建设原则。而本专利技术的多源异构数据融合平台支持个性化设置，门槛较低，入门容易，鲁棒性强，适用于各专业或行业。无须各数据源系统厂商提供技术支持与资料，只需要有各系统普通查询用户权限即可。是一种能对现有系统整合利用，不需要重建数据应用系统，不需要改变原有系统数据结构、实际应用价值极高的一种多源异构数据融合及自动报表方法。
技术实现思路
本专利技术所要解决的技术问题是：克服现有技术的缺点，提供一种基于多源异构数据融合的自动报表系统及其方法。本专利技术解决技术问题的总体方案是：一种基于多源异构数据融合的自动报表系统，其特征是：它包括全局设置及控制模块、形成数据源的自定义表、数据抓取模块、数据融合模块和自动报表模块，所述全局设置及控制模块是提供设置、控制所述自动报表系统运行及操作界面的程序；所述数据抓取模块由N个数据抓取子程序构成，用于抓取所需时刻的各个数据源系统的统一XML格式的数据，所述N≥2，N为自然数；所述数据融合模块是由Excel格式的1个接口文件和N个中间数据文件构成；所述自动报表模块是具有自动报表功能的独立流程自动化子程序。所述全局设置及控制模块用于设置各数据源系统、数据抓取模块、数据融合模块和自动报表模块的网址、用户名、密码、相关子程序自动启动时间、手动自动切换及前后台运行方式切换的内容，以使所述自动报表系统的使用人员通过各设置项能够修改每个数据源系统数据抓取子程序的上述各项内容，并可通过该模块提供的用户界面手动操作各模块的运行。所述形成数据源的自定义表为在各数据源系统事先自定义好的、满足数据抓取模块需要的统一XML格式的模板文件。所述数据抓取模块的数据抓取子程序是由Q语言及VBScript脚本应用流程自动化技术开发的独立功能代码，用以抓取所需时刻的各数据源系统事先自定义好格式的自定义表，以形成中间数据文件，为数据融合模块提供数据，所述中间数据文件格式为Excel格式。所述中间数据文件为：数据抓取模块通过模仿手动查询步骤、按给定查询条件及自定义集合中的记录查询目标数据，目标数据查到后，选择以XML结构输出，若该数据源系统无XML结构输出的选项，则由查询结果转换过程把查询结果转换成XML结构输出；再将查询到的结果命名为中间数据文件、并以Excel格式保存到指定文件夹下。所述数据融合模块是由Excel格式的1个接口文件和N个中间数据文件构成的，接口文件中有1个数据融合总表和N个中间数据表，数据融合总表的数据由N个中间数据表的数据计算、融合而成，N个中间数据表的结构分别与各自对应的数据源的自定义表及抓取生成的中间数据文件格式完全相同、且与中间数据文件对应单元格间数值为绝对引用关系。所述自动报表模块是由Q语言及VBScript脚本结合网页操作插件开发的具有自动报表功能的独立流程自动化子程序，包括对运行程序初始化、定时启动设置函数、进入数据报送表单页面、用网页操作命令将数组数据逐一写入网页对应的输入文本框中、提交并保存数据环节，直到上报数据检查通过。当所述自动报表系统运行在两个或多个采取了物理隔离措施的网络电脑时，在所述自动报表系统设置KVM+加密U盘切换开关，用于运行在两个或多个采取了物理隔离措施的网络电脑间数据的快速传递。所述自动报表系统运行在两个或多个采取了物理隔离措施的网络电脑时，全局设置及控制模块均分别在两个或多个所述电脑上设置各数据源系统、数据抓取模块、数据融合模块和自动报表模块的网址、用户名、密码、相关子程序自动启动时间、手动自动切换及前后台运行方式切换的内容。本专利技术解决技术问题的具体方案是：一种基于多源异构数据融合的自动报表方法，其特征是：包括全局设置与控制、形成数据源的自定义表、数据抓取、数据融合和自动报表，步骤如下：1)全局设置与控制⑴设置各数据源系统、数据抓取模块、数据融合模块和自动报表模块的网址、用户名、密码、相关子程序自动启动时间、手动自动切换及前后台运行方式切换；⑵提供手动操作各模块运行的用户界面；2)按照数据抓取模块需要，对数据源进行自定义，形成数据源的自定义表，自定义表为统一XML格式的模板文件；3)数据抓取⑴进行各种环境参数的初始化设置；⑵设置定时函数，实现该子程序的定时启动运行；⑶启动浏览器，打开该数据源查询系统；⑷以普通用户身份自动登录；⑸按给定查询条件及自定义集合中的记录查询目标数据；⑹查询结果以XML结构输出，若该数据源系统无此选项，则将查询结果用Office插件转换成XML格式输出，此步为异构数据融合打下基础；⑺将输出的查询结果命名为指定的中间数据文件名、并以Excel格式保存到指定文件夹；⑻判断指定文件夹下是否生成了该数据源的中间数据文件，如已生成则子程序运行结束，如未生成，则程序返回启动浏览器和打开该数据源系统的URL处重新运行，直到数据抓取成功；4)数据融合⑴接口文件中的N个中间数据表与各数据源的中间数据文件格式结构完全相同、且对应单元格间数值为绝对引用关系；⑵接口文件中的数据融合总表的数据由N个中间数据表的数据经一系列公式计算、融合而成，只要中间数据文件被替换，数据融合总表的数据就自动更新；5)自动报表⑴启动自动报表程序，对参数初始化设置、定义数组；⑵设置定时函数，实现该报表系统的定时启动运行；⑶启动浏览器，打开报表系统网站；⑷以普通用户身份自动登录；⑸用网页操作命令将数组的数据逐一写入网页对应位置；⑹提交并保存数据；⑺检查确认数据的完整性。当所述自动报表系本文档来自技高网...

【技术保护点】
1.一种基于多源异构数据融合的自动报表系统，其特征是：它包括全局设置及控制模块、形成数据源的自定义表、数据抓取模块、数据融合模块和自动报表模块，所述全局设置及控制模块是提供设置、控制所述自动报表系统运行及操作界面的程序；所述数据抓取模块由N个数据抓取子程序构成，用于抓取所需时刻的各个数据源系统的统一XML格式的数据，所述N≥2，N为自然数；所述数据融合模块是由Excel格式的1个接口文件和N个中间数据文件构成；所述自动报表模块是具有自动报表功能的独立流程自动化子程序。/n

【技术特征摘要】
1.一种基于多源异构数据融合的自动报表系统，其特征是：它包括全局设置及控制模块、形成数据源的自定义表、数据抓取模块、数据融合模块和自动报表模块，所述全局设置及控制模块是提供设置、控制所述自动报表系统运行及操作界面的程序；所述数据抓取模块由N个数据抓取子程序构成，用于抓取所需时刻的各个数据源系统的统一XML格式的数据，所述N≥2，N为自然数；所述数据融合模块是由Excel格式的1个接口文件和N个中间数据文件构成；所述自动报表模块是具有自动报表功能的独立流程自动化子程序。


2.如权利要求1所述的基于多源异构数据融合的自动报表系统，其特征是：所述自动报表系统设置KVM+加密U盘切换开关，用于运行在两个或多个采取了物理隔离措施的网络电脑间数据的快速传递。


3.如权利要求1所述的基于多源异构数据融合的自动报表系统，其特征是：所述全局设置及控制模块用于设置各数据源系统、数据抓取模块、数据融合模块和自动报表模块的网址、用户名、密码、相关子程序自动启动时间、手动自动切换及前后台运行方式切换的内容，以使所述自动报表系统的使用人员通过各设置项能够修改每个数据源系统数据抓取子程序的上述各项内容，并可通过该模块提供的用户界面手动操作各模块的运行；
所述自动报表系统运行在两个或多个采取了物理隔离措施的网络电脑时，全局设置及控制模块均分别在两个或多个所述电脑上设置各数据源系统、数据抓取模块、数据融合模块和自动报表模块的网址、用户名、密码、相关子程序自动启动时间、手动自动切换及前后台运行方式切换的内容。


4.如权利要求1所述的基于多源异构数据融合的自动报表系统，其特征是：所述形成数据源的自定义表为在各数据源系统事先自定义好的、满足数据抓取模块需要的统一XML格式的模板文件。


5.如权利要求1所述的基于多源异构数据融合的自动报表系统，其特征是：所述数据抓取模块的数据抓取子程序是由Q语言及VBScript脚本应用流程自动化技术开发的独立功能代码，用以抓取所需时刻的各数据源系统事先自定义好格式的自定义表，以形成中间数据文件，为数据融合模块提供数据，所述中间数据文件格式为Excel格式。


6.如权利要求5所述的基于多源异构数据融合的自动报表系统，其特征是：所述中间数据文件为：数据抓取模块通过模仿手动查询步骤、按给定查询条件及自定义集合中的记录查询目标数据，目标数据查到后，选择以XML结构输出，若该数据源系统无XML结构输出的选项，则由查询结果转换过程把查询结果转换成XML结构输出；再将查询到的结果命名为中间数据文件、并以Excel格式保存到指定文件夹下。


7.如权利要求1所述的基于多源异构数据融合的自动报表系统，其特征是：所述数据融合模块是由Excel格式的1个接口文件和N个中间数据文件构成的，接口文件中有1个数据融合总表和N个中间数据表，数据融合总表的数据由N个中间数据表的数据计算、融合而成，N个...

【专利技术属性】
技术研发人员：刘诗，刘雪晴，鲁歆旸，韩璐，李振新，赵亮，刘玉剑，尹航，傅代印，李焕奇，董兰兰，于天蛟，赫韬元，马冬梅，郭健，阚中锋，郭威，邢铁，李花顺，姜伟，
申请(专利权)人：国网吉林省电力有限公司吉林供电公司，东北电力大学，
类型：发明
国别省市：吉林;22