数据流通中的数据监控方法及装置、存储介质、服务器制造方法及图纸

一种数据流通中的数据监控方法及装置、存储介质、服务器，所述数据监控方法包括：接收多个需方各自的数据，所述数据包括数据标识；对所述多个需方的全部数据标识进行统计，以得到总查询数据量；对所述多个需方的全部数据标识中的重复数据标识进行滤除，以得到去重后数据标识；对所述去重后数据标识进行统计，以得到去重后查询数据量；根据所述总查询数据量和去重后查询数据量，判断数据是否存在异常。本发明专利技术提供的技术方案可以监控数据接力配送过程，有助于优化数据流通。

【技术实现步骤摘要】
数据流通中的数据监控方法及装置、存储介质、服务器
本专利技术涉及大数据
，具体地涉及一种数据流通中的数据监控方法及装置、存储介质、服务器。
技术介绍
随着互联网技术的快速发展，各行各业都沉淀海量数据，不同行业所需的数据类型和数据量也随之增加，数据配送量巨大，数量级达到亿级数量，数据流通已成为必然趋势。在数据交易平台的中国视听群体(ChinaAudienceProfile，简称CAP)产品订单交易过程中，存在着一种特殊的数据配送模式：接力配送。这个模式的出现是由于随着订单的增长，粗略的统计多家需方查询数据后发现同一种类的查询标签重复率非常高，数据交易平台通过沟通各个需方后确立了一种特殊的配送模式，使用聚合购买并配送的方式，称为接力配送。在整个配送流程中存在两个阶段：不同的需方在数据学习和共享平台(DatalearningandsharingPlatform，简称DLS)对伪供方下订单，伪供方接收订单数据并发送给伪需方，伪需方对实际供方下订单，此阶段称为上游阶段；实际供方将数据进行处理后返回给伪需方，再由伪需方将数据拆分处理后本文档来自技高网...

【技术保护点】
1.一种数据流通中的数据监控方法，其特征在于，包括：/n接收多个需方各自的数据，所述数据包括数据标识；/n对所述多个需方的全部数据标识进行统计，以得到总查询数据量；/n对所述多个需方的全部数据标识中的重复数据标识进行滤除，以得到去重后数据标识；/n对所述去重后数据标识进行统计，以得到去重后查询数据量；/n根据所述总查询数据量和去重后查询数据量，判断数据是否存在异常。/n

【技术特征摘要】
1.一种数据流通中的数据监控方法，其特征在于，包括：
接收多个需方各自的数据，所述数据包括数据标识；
对所述多个需方的全部数据标识进行统计，以得到总查询数据量；
对所述多个需方的全部数据标识中的重复数据标识进行滤除，以得到去重后数据标识；
对所述去重后数据标识进行统计，以得到去重后查询数据量；
根据所述总查询数据量和去重后查询数据量，判断数据是否存在异常。


2.根据权利要求1所述的数据监控方法，其特征在于，所述对所述去重后数据标识进行统计包括：
对于所述多个需方中的每一需方，统计所述需方去重后的数据标识的数据量；
统计所述需方的数据重复率，所述数据重复率等于所述需方的去重数据数量与所述需方去重前的数据标识的数据量之比，所述需方的去重数据数量等于所述需方去重前的数据标识的数据量与所述需方去重后的数据标识的数据量之差。


3.根据权利要求1所述的数据监控方法，其特征在于，在对所述多个需方的全部数据标识中的重复数据标识进行滤除之前，所述数据监控方法还包括：
对于所述多个需方中的任意两个需方，统计所述任意两个需方的数据重复数量，所述数据重复数量等于所述任意两个需方之间去重后的数据标识的交集的数据量，每一所述需方的去重后的数据标识是对该需方的全部数据标识中的相同数据标识进行滤除得到的。


4.根据权利要求1所述的数据监控方法，其特征在于，还包括：
向供方发送所述去重后数据标识，并接收所述供方返回的数据查询结果；
对所述数据查询结果进行统计，并计算各个所述需方的数据匹配率，所述数据匹配率等于每一所述需方的数据查询结果的数据量与该需方去重后的数据标识的数据量之比，每一所述需方的去重后的数据标识是对该需方的全部数据标识中的相同数据标识进行滤除得到的；
其中，所述需方的数据查询结果是对所述供方返回的数据查询结果进行拆分、整合得到的。

【专利技术属性】
技术研发人员：汤奇峰，周伟，
申请(专利权)人：上海数据交易中心有限公司，
类型：发明
国别省市：上海;31