一种数据服务系统技术方案

本发明专利技术提供一种数据服务系统，包括服务器端和若干客户端，服务器端用于对客户端发送的数据进行管理，包括数据接收模块，接收客户端发送的数据；数据审核模块，接收数据接收模块发送的数据，并对接收的数据进行审核；数据评估模块，接收数据审核模块发送的审核数据，并对审核数据进行评估；数据定价模块，基于数据评估模块的评估结果，对评估后的数据进行定价；数据发布模块，对数据定价模块定价后的数据进行发布；数据存储模块，用于数据接收模块、数据审核模块、数据评估模块和数据定价模块中的数据进行存储；以及对数据进行管理的数据管理模块。本发明专利技术的数据服务系统能够实现对客户端的数据的有效管理。

【技术实现步骤摘要】

本专利技术涉及一种数据服务系统，具体涉及一种对供应商提供的数据进行服务的数据服务系统。
技术介绍
随着虚拟数据的广泛交易，推出了各种提供数据交易的数据服务平台，数据服务平台涉及供应商提供的数据的管理，包括数据存储、价值评估、定价等一系列操作服务。目前的数据服务平台不能有效的对供应商提供的数据进行管理。
技术实现思路
针对上述技术问题，本专利技术提供一种能够有效对供应商提供的数据进行有效管理的数据服务系统。本专利技术采用的技术方案为：本专利技术的实施例提供一种数据服务系统，包括服务器端和若干客户端，所述服务器端用于对客户端发送的数据进行管理，包括数据接收模块，接收所述客户端发送的数据，并将接收的数据发送给所述数据审核模块；数据审核模块，接收所述数据接收模块发送的数据，并对接收的数据进行审核；数据评估模块，接收所述数据审核模块发送的审核数据，并对所述审核数据进行评估；数据定价模块，基于所述数据评估模块的评估结果，对评估后的数据进行定价；数据发布模块，对所述数据定价模块定价后的数据进行发布；数据存储模块，用于对数据接收模块、数据审核模块、数据定价模块中的数据进行存储；以及数据管理模块，用于对数据接收模块、数据审核模块、数据定价模块和数据存储模块中的数据进行管理。优选地，所述数据审核模块将被审核的数据组装为一个个元数据，在调用审核接口时，传输元数据ID进行审核，并为所有要进行审核的流数据添加一个时间戳，以便于数据的分页读取。优选地，所述数据审核模块包括接收到要审核的元数据ID的通知审核接口和根据元数据ID查询数据的审核状态的查询审核结果接口。优选地，所述数据评估模块包括多个数据评估单元，每个数据评估单元基于预定的评估指标对经数据审核模块审核后的数据进行评估，并给出评估得分，在所有数据评估单元都给出评估得分后，通过指定的加权方法来确定数据的最终评估得分，以及为所有要进行评估的流数据添加一个时间戳，以便于数据的分页读取。优选地，所述预定的评估指标包括8项评估指标，分别为数据一致性、数据时效性、数据稀缺性、数据重复性、数据量、数据结构化程度、数据完整性和数据冗余度。优选地，每个数据评估单元基于以下公式(1)给出评估得分：其中，P为数据评估单元给出的数据评估得分；fi为数据的第i个数据评估指标的评估得分；wi为第i个数据评估指标的权重；所述数据的最终评估得分通过以下公式(2)得出：其中，T为数据评估模块给出的数据的最终得分，Pi为每个数据评估单元给出的数据评估得分，Gi为赋予的数据评估单元的重要度。优选地，所述数据一致性通过以下方法进行指标评估：其中，H1为数据一致性指标评估得分；La表示实际数据量；Lm为元数据记录数据量；Sa为实际数据文件大小；Sm为元数据记录文件大小；P为数据格式一致性，其使用文件后缀名判别，如果文件后缀名与元数据中记录的数据名相同则赋值1，否则赋值为0；所述数据时效性通过以下方法进行指标评估：其中，H4为数据时效性指标评估得分；Tf为记录的最终时间，如无记录时间，则使用元数据时间；Ts为记录的起始时间，如无记录时间，则使用元数据时间；Tn为当前时间；所述数据冗余度通过以下方法进行指标评估：其中，H3为数据冗余度指标评估得分；ci为第i条重复记录出现的次数；R为记录的总数；所述数据完整性通过以下方法进行指标评估：其中，H2为数据完整性指标评估得分；aij为第i行、第j列数据是否为空值，如果是空值则取0，不是空值则取1；N为全体的数据个数，当数据商品共m行、n列，则N＝m×n，且m和n为自然数；所述数据量通过以下方法进行指标评估：其中，H5为数据量指标评估得分；x为当前的数据量；O1为评估全量数据量；O2为元数据量；O3是承诺数据；所述数据重复性通过以下方法进行指标评估：式中，fc表示重复性指标的得分，ai表示某条重复记录出现的次数；N为记录的总数；其中，fc取值范围为[0，1],fc值越大，信息重复性小，数据价值越高；所述数据稀缺性通过以下方法进行指标评估：其中，fx表示稀缺性指标的得分，y表示市场出现的相似数据商品的数据数量；x表示当前数据商品的数据数量，e为自然对数的底；所述数据量通过以下方法进指标评估：式中，fs表示数据量指标的得分，La表示实际数据量；Lm表示元数据记录数据量；fs的取值范围为[0,1]，当fs接近于0说明数据量远小于元数据中的数据量；fs等于1时表明数据量符合元数据提供的数量。优选地，所述数据定价模块基于所述数据评估模块的评估结果以及客户端的预期价格，按照数据的类型和不同的定价方式来对评估的数据进行定价。优选地，所述定价方式包括第一定价方式、第二定价方式和第三定价方式，其中所述第一定价方式为定价整块数据的价位，第二定价方式为定价访问一条数据的价位或者定价打包购买若干条数据的价位，第三定价方式为定价按月调用API查询数据的价位；其中，对于文件数据采用第一定价方式进行定价，对于静态表数据采用第一定价方式、第二定价方式或第三低价方式进行定价，对于动态流数据采用第二定价方式或者第三定价方式进行定价。本专利技术的数据服务系统能够对客户端(供应商)提供的数据进行包括审核、评估、定价和发布等一系列服务操作，使得系统能够与客户端进行实时互动，并能够根据客户端实时输入的数据动态进行动态更新，方便便捷，实时高效，经济适用性强。附图说明图1为本专利技术实施例提供的数据服务系统的结构示意图。具体实施方式以下结合附图对本专利技术的数据服务系统进行介绍。图1为本专利技术实施例提供的数据服务系统的结构示意图。如图1所示，本专利技术的实施例提供的数据服务系统，包括服务器端2和若干客户端1，所述服务器端2用于对客户端1发送的数据进行管理，通过网络与客户端1进行通讯连接。客户端1可为提供数据的供应商，可为企业或者个人等，可通过电子设备，如手机、个人电脑等与服务器端2进行信息交互。服务器端2可包括数据接收模块21，通过数据接收端口接收所述客户端发送的数据，并将接收的数据发送给所述数据审核模块；数据审核模块22，接收所述数据接收模块发送的数据，并对接收的数据进行审核；数据评估模块23，接收所述数据审核模块发送的审核数据，并对所述审核数据进行评估；数据定价模块24，基于所述数据评估模块的评估结果，对评估后的数据进行定价；数据发布模块25，对所述数据定价模块定价后的数据进行发布；数据存储模块27，所述数据存储模块支持PB级的海量存储和访问、动态可插拔水平线性扩展以及适应未知的数据变化及应用扩展；所述数据存储模块基于分布式文件系统HDFS，兼容主流Hadoop发行版，具备Hadoop架构体系下的各种功能特点，同时提供多级索引、服务端计算、用户角色权限控制、SQL接口、大表联合查询、查询优化等能力；以及对数据进行管理的数据管理模块26。以下，对本专利技术的数据服务系统的主要模块进行介绍。在本专利技术中，数据审核模块22用于对客户端1上传的数据进行审核，保证数据完整、正确的进入后续模块中进行操作。具体地，所述数据审核模块将被审核的数据组装为一个个元数据，在调用审核接口时，传输元数据ID进行审核，当查询元数据详情时，同样是使用元数据ID去调用系统的接口进行查询，并为所有要进行审核的流数据添加一个时间戳，以便于数据的分页读取。所述数据审核模块可包括接收到本文档来自技高网...

【技术保护点】
一种数据服务系统，其特征在于，包括服务器端和若干客户端，所述服务器端用于对客户端发送的数据进行管理，包括数据接收模块，接收所述客户端发送的数据，并将接收的数据发送给所述数据审核模块；数据审核模块，接收所述数据接收模块发送的数据，并对接收的数据进行审核；数据评估模块，接收所述数据审核模块发送的审核数据，并对所述审核数据进行评估；数据定价模块，基于所述数据评估模块的评估结果，对评估后的数据进行定价；数据发布模块，对所述数据定价模块定价后的数据进行发布；数据存储模块，所述数据存储模块支持PB级的海量存储和访问、动态可插拔水平线性扩展以及适应未知的数据变化及应用扩展；数据存储模块，用于对数据接收模块、数据审核模块、数据定价模块中的数据进行存储；以及数据管理模块，用于对数据接收模块、数据审核模块、数据定价模块和数据存储模块中的数据进行管理。

【技术特征摘要】
1.一种数据服务系统，其特征在于，包括服务器端和若干客户端，所述服务器端用于对客户端发送的数据进行管理，包括数据接收模块，接收所述客户端发送的数据，并将接收的数据发送给所述数据审核模块；数据审核模块，接收所述数据接收模块发送的数据，并对接收的数据进行审核；数据评估模块，接收所述数据审核模块发送的审核数据，并对所述审核数据进行评估；数据定价模块，基于所述数据评估模块的评估结果，对评估后的数据进行定价；数据发布模块，对所述数据定价模块定价后的数据进行发布；数据存储模块，所述数据存储模块支持PB级的海量存储和访问、动态可插拔水平线性扩展以及适应未知的数据变化及应用扩展；数据存储模块，用于对数据接收模块、数据审核模块、数据定价模块中的数据进行存储；以及数据管理模块，用于对数据接收模块、数据审核模块、数据定价模块和数据存储模块中的数据进行管理。2.根据权利要求1所述的数据服务系统，其特征在于，所述数据审核模块将被审核的数据组装为一个个元数据，在调用审核接口时，传输元数据ID进行审核，并为所有要进行审核的流数据添加一个时间戳，以便于数据的分页读取。3.根据权利要求2所述的数据服务系统，其特征在于，所述数据审核模块包括接收到要审核的元数据ID的通知审核接口和根据元数据ID查询数据的审核状态的查询审核结果接口。4.根据权利要求1所述的数据服务系统，其特征在于，所述数据评估...

【专利技术属性】
技术研发人员：薛海鹏，刘希，温颖，
申请(专利权)人：国信优易数据有限公司，
类型：发明
国别省市：北京;11