具有数据校验功能的1+N文件共享装置及方法制造方法及图纸

本发明专利技术公开了具有数据校验功能的1+N文件共享装置及方法，属于数据共享技术领域，要解决的技术问题为如何实现数据规范化上报并实现数据标签化。文件上传流程模块用于支持数据收集方发起文件上传流程，并配置需收集数据的数据模型，并将数据模型下发至指定数据提供方；用于支持数据提供方执行如下：将响应模型的文件上传至前端节点，并在文件上传完成后向数据收集方发送文件上传成功通知；场景订阅模块用于支持数据收集方基于应用场景为模型指定标签；文件订阅下载流程模块用于支持数据收集方发起订阅下载流程。基于应用场景从数据提供方的前端节点订阅文件；将通过校验的文件推送至订阅文件列表；向提供文件的数据提供方发起文件下载完成通知。起文件下载完成通知。起文件下载完成通知。

【技术实现步骤摘要】
具有数据校验功能的1+N文件共享装置及方法


[0001]本专利技术涉及数据共享
，具体地说是具有数据校验功能的1+N文件共享装置及方法。

技术介绍

[0002]运营商通信市场的数据跨地域生产，各省自治为常态，面对集团统一监管、数据价值集中挖掘的集中自治要求，数据共享成为无可避免的重要环节。目前采用的FTP文件共享、Kafka流级共享均存在共享数据的人工校验过程，校验内容多集中在是否按要求上报，上报数据波动是否正常，如何实现数据规范化上报并实现数据标签化，是需要解决的技术问题。

技术实现思路

[0003]本专利技术的技术任务是针对以上不足，提供具有数据校验功能的1+N文件共享装置及方法，来解决如何实现数据规范化上报并实现数据标签化的技术问题。
[0004]第一方面，本专利技术的一种具有数据校验功能的1+N文件共享装置，用于实现数据收集方和多个数据提供方的数据共享，所述装置包括文件上传流程模块、场景订阅模块以及文件订阅下载流程模块；所述文件上传流程模块用于支持数据收集方发起文件上传流程，并执行如下：配置需收集数据的数据模型，并将数据模型下发至指定数据提供方；对应的，所述文件上传流程模块用于支持数据提供方执行如下：基于接收的数据模型提供数据，并将响应模型的文件上传至所述数据提供方的前端节点，并在文件上传完成后向数据收集方发送文件上传成功通知；所述场景订阅模块用于支持数据收集方执行如下：对于每个模型，基于应用场景为所述模型指定标签；所述文件订阅下载流程模块用于支持数据收集方发起订阅下载流程，并执行如下：基于应用场景从数据提供方的前端节点订阅文件；基于数据模型对订阅的文件进行校验，将通过校验的文件从数据提供方的前端节点推送至数据收集方的订阅文件列表；从订阅列表下载文件后，向提供所述文件的数据提供方发起文件下载完成通知。
[0005]作为优选，所述文件上传流程模块包括：注册文件模型单元，所述注册文件模型单元通过注册文件界面与数据收集方交互，用于支持数据收集方配置数据模型，数据模型的配置内容包括数据本身、数据载体以及数据存储，所述数据本身的内容包括数据名称、数据维度、字段中文名称、字段英文名称、数据类型、单位、字段算法以及备注，所述数据载体包括传输协议、数据名称、传送周期以及传送时延，所述数据存储包括数据提供方省端前置节点的服务器ip、端口、账号、密码以及文
件存放路径；下发文件模型单元，所述下发文件模型单元通过下发文件界面与数据收集方交互，用于通过单选或多选的方式将数据模型发送至数据提供方；上传文件单元，所述上传文件单元通过上传文件界面与数据提供方交互，用于上传涵盖数据模型的文件；上传完成通知单元，所述上传完成通知单元用于在数据提供方将文件上传至数据提供方前端节点后，通过消息触发机制向数据收集方自动发送文件上传完成通知。
[0006]作为优选，所述标签的内容包括文件名称、文件价值、文件应用以及文件量级。
[0007]作为优选，所述文件订阅下载流程模块用于执行如下操作对订阅的文件进行校验：基于数据模型对文件进行格式校验，判定订阅的文件的格式内容是否符合，所述格式内容包括文件命名以及字段个数；对订阅的文件进行文件数据校验，所述文件数据校验为针对连续订阅数据、基于同比变化情况判定是否异常，基于数据内不同指标的内在逻辑关系判定是否异常；对订阅的文件进行文件重复校验，所述文件重复校验针对只能调用一次的文件，若出现多次调用，需根据文件名称、是否订阅完成唯一判定是否重复调用，若是，则判定为异常。
[0008]作为优选，所述装置还包括文件共享管控模块，所述文件共享管控模块通过文件共享管控界面对外交互，用于提供领导视图统计展示和运维视图统计展示；其中，所述领导视图统计展示用于统计并展示订阅文件种类、订阅文件次数、文件成功订阅的数量以及文件校验异常的数量；所述运维视图统计展示用于统计并展示各个订阅文件对应订阅任务的执行情况。
[0009]第二方面， 本专利技术一种具有数据校验功能的1+N文件共享方法，用于通过如第一方面任一项所述的具有数据校验功能的1+N文件共享装置实现数据收集方和多个数据提供方的数据共享，所述方法包括如下步骤：数据收集方发起文件上传流程，并配置需收集数据的数据模型，并将数据模型下发至指定数据提供方；对于每个模型，数据收集方基于应用场景为所述模型指定标签；数据收集方基于接收的模型提供数据，并将响应模型的文件上传至所述数据提供方的前端节点，并在文件上传完成后向数据收集方发送文件上传成功通知；数据收集方发起订阅下载流程，并执行如下：基于应用场景从数据提供方的前端节点订阅文件；基于数据模型对订阅的文件进行校验，将通过校验的文件从数据提供方的前端节点推送至数据收集方的订阅文件列表；从订阅列表下载文件后，向提供所述文件的数据提供方发起文件下载完成通知。
[0010]作为优选，所述数据模型的配置内容包括数据本身、数据载体以及数据存储，所述数据本身的内容包括数据名称、数据维度、字段中文名称、字段英文名称、数据类型、单位、字段算法以及备注，所述数据载体包括传输协议、数据名称、传送周期以及传送时延，所述
数据存储包括数据提供方省端前置节点的服务器ip、端口、账号、密码以及文件存放路径；数据收集方通过单选或多选的方式将数据模型发送至数据提供方；数据提供方将文件上传至数据提供方前端节点后，通过消息触发机制向数据收集方自动发送文件上传完成通知。
[0011]作为优选，所述标签的内容包括文件名称、文件价值、文件应用以及文件量级。
[0012]作为优选，对订阅的文件进行校验，包括如下操作：基于数据模型对文件进行格式校验，判定订阅的文件的格式内容是否符合，所述格式内容包括文件命名以及字段个数；对订阅的文件进行文件数据校验，所述文件数据校验为针对连续订阅数据、基于同比变化情况判定是否异常，基于数据内不同指标的内在逻辑关系判定是否异常；对订阅的文件进行文件重复校验，所述文件重复校验针对只能调用一次的文件，若出现多次调用，需根据文件名称、是否订阅完成唯一判定是否重复调用，若是，则判定为异常。
[0013]作为优选，所述方法还包括：提供领导视图统计展示和运维视图统计展示；其中，所述领导视图统计展示用于统计并展示订阅文件种类、订阅文件次数、文件成功订阅的数量以及文件校验异常的数量；所述运维视图统计展示用于统计并展示各个订阅文件对应订阅任务的执行情况。
[0014]本专利技术的具有数据校验功能的1+N文件共享装置及方法具有以下优点：文件上传流程模块、场景订阅模块以及文件订阅下载流程模块配合，实现了规范要求下发、应用场景构建、共享智能审核、自动订阅下载全流程环节的融合，上述文件上传流程模块、场景订阅模块以及文件订阅下载流程模块封装为一个装置，通过该装置可实现上述功能在不同场景的快速复用，有效减少1+N文件共享情况下的接口联调工作。
附图说明
[0015]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种具有数据校验功能的1+N文件共享装置，其特征在于，用于实现数据收集方和多个数据提供方的数据共享，所述装置包括文件上传流程模块、场景订阅模块以及文件订阅下载流程模块；所述文件上传流程模块用于支持数据收集方发起文件上传流程，并执行如下：配置需收集数据的数据模型，并将数据模型下发至指定数据提供方；对应的，所述文件上传流程模块用于支持数据提供方执行如下：基于接收的数据模型提供数据，并将响应模型的文件上传至所述数据提供方的前端节点，并在文件上传完成后向数据收集方发送文件上传成功通知；所述场景订阅模块用于支持数据收集方执行如下：对于每个模型，基于应用场景为所述模型指定标签；所述文件订阅下载流程模块用于支持数据收集方发起订阅下载流程，并执行如下：基于应用场景从数据提供方的前端节点订阅文件；基于数据模型对订阅的文件进行校验，将通过校验的文件从数据提供方的前端节点推送至数据收集方的订阅文件列表；从订阅列表下载文件后，向提供所述文件的数据提供方发起文件下载完成通知。2.根据权利要求1所述的具有数据校验功能的1+N文件共享装置，其特征在于，所述文件上传流程模块包括：注册文件模型单元，所述注册文件模型单元通过注册文件界面与数据收集方交互，用于支持数据收集方配置数据模型，数据模型的配置内容包括数据本身、数据载体以及数据存储，所述数据本身的内容包括数据名称、数据维度、字段中文名称、字段英文名称、数据类型、单位、字段算法以及备注，所述数据载体包括传输协议、数据名称、传送周期以及传送时延，所述数据存储包括数据提供方省端前置节点的服务器ip、端口、账号、密码以及文件存放路径；下发文件模型单元，所述下发文件模型单元通过下发文件界面与数据收集方交互，用于通过单选或多选的方式将数据模型发送至数据提供方；上传文件单元，所述上传文件单元通过上传文件界面与数据提供方交互，用于上传涵盖数据模型的文件；上传完成通知单元，所述上传完成通知单元用于在数据提供方将文件上传至数据提供方前端节点后，通过消息触发机制向数据收集方自动发送文件上传完成通知。3.根据权利要求1所述的具有数据校验功能的1+N文件共享装置，其特征在于，所述标签的内容包括文件名称、文件价值、文件应用以及文件量级。4.根据权利要求1所述的具有数据校验功能的1+N文件共享装置，其特征在于，所述文件订阅下载流程模块用于执行如下操作对订阅的文件进行校验：基于数据模型对订阅的文件进行格式校验，判定订阅的文件的格式内容是否符合，所述格式内容包括文件命名以及字段个数；对订阅的文件进行文件数据校验，所述文件数据校验为针对连续订阅数据、基于同比变化情况判定是否异常，基于数据内不同指标的内在逻辑关系判定是否异常；对订阅的文件进行文件重复校验，所述文件重复校验针对只能调用一次的文件，若出现多次调用，需根据文件名称、是否订阅完成唯一判定是否重复调用，若是，则判定为异常。
5.根据权利要求1
‑
4任一项所述的具有数据校验功能的1+N文件共享装置，其特征在于，所述装置还包括文件共享管控模块，所述文件共享管...

【专利技术属性】
技术研发人员：陈小超，张笑笑，
申请(专利权)人：浪潮通信信息系统有限公司，
类型：发明
国别省市：