数据监控方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本发明专利技术实施例提供了一种数据监控方法、装置、电子设备及计算机可读存储介质，该方法会确定目标数据抓取周期中从目标渠道提取得到的目标对象所对应数据源的数据量，作为第一数据量；并确定目标数据抓取周期中从所得到的数据源中提取到目标数据库的数据量，作为第二数据量；再计算用以表征第一数据量与第二数据量之间差异的第一差异值，以及用以表征第一预设阈值与第一数据量之间差异的第二差异值；当第二差异值大于第二预设阈值时，判定第一环节出现错误；当第一差异值大于第三预设阈值时，判定第二环节出现错误。本发明专利技术实施例提供的方案可以自动定位数据抓取过程中问题所出现的具体环节。

【技术实现步骤摘要】
数据监控方法、装置、电子设备及计算机可读存储介质
本专利技术涉及计算机
，特别是涉及一种数据监控方法、装置、电子设备及计算机可读存储介质。
技术介绍
广告、游戏等对象通常是在多渠道中投放的，渠道会产生针对对象的统计数据，如针对广告的点击量等。例如，对于某一公司而言，其下的某一广告可以在雅虎(一个互联网服务网站)以及facebook(脸书，一个社交网络服务网站)上进行投放，则雅虎的服务器上会产生该广告对应的统计数据，Facebook上也会产生该广告对应的统计数据；而对于该公司而言，需要将各个渠道上关于该广告的统计数据进行汇总。为此，现有技术中，针对每一渠道，对象所对应数据的抓取过程包括如下两个环节：第一个环节，对该渠道针对对象的原始统计数据进行清洗后提取得到数据源，第二个环节，对所提取得到的上述数据源进行数据处理，例如格式转换，将数据处理后的数据源存放到预设的数据库中，以供查看和使用。在数据抓取过程出现问题时，需要定位出问题出现的具体环节，进而便于针对具体环节解决问题。但是现有技术中，工作人员只能发现整个数据抓取过程出现问题，并不能定位出问题出现的具体环节。
技术实现思路
本专利技术实施例的目的在于提供一种数据监控方法、装置、电子设备及计算机可读存储介质，以实现在整个数据抓取过程出现问题时，定位出问题出现的具体环节。具体技术方案如下：为达上述目的，第一方面，本专利技术实施例提供了一种数据监控方法，所述方法包括：确定目标数据抓取周期中从目标渠道提取得到的目标对象所对应数据源的数据量，作为第一数据量；确定所述目标数据抓取周期中从所述数据源中提取到目标数据库的数据量，作为第二数据量；计算用以表征所述第一数据量与所述第二数据量之间差异的第一差异值，以及用以表征第一预设阈值与所述第一数据量之间差异的第二差异值；当所述第二差异值大于第二预设阈值时，判定第一环节出现错误，其中，所述第一环节为所述目标数据抓取周期中从所述目标渠道提取所述数据源的环节；当所述第一差异值大于第三预设阈值时，判定第二环节出现错误，其中，所述第二环节为所述目标数据抓取周期中从所述数据源向所述目标数据库提取数据的环节。可选的，所述第一差异值为所述第一数据量与所述第二数据量的差值或差异百分比；所述第二差异值为所述第一预设阈值与所述第一数据量的差值或差异百分比。可选的，在所述判定第一环节出现错误的步骤之后，所述方法还包括：依次对所述第一环节和所述第二环节进行数据回补；在所述判定第二环节出现错误的步骤之后，所述方法还包括：对所述第二环节进行数据回补。可选的，所述方法还包括：在判定出目标环节出现错误的情况下，生成表征所述目标环节出现错误的预警信息；其中，当所述第一环节出现错误时，所述目标环节为所述第一环节；当所述第二环节出现错误时，所述目标环节为所述第二环节。可选的，在所述生成表征所述目标环节出现错误的预警信息的步骤之后，所述方法还包括：显示所述预警信息；获得用户输入的针对所述目标环节的数据回补指令；在所述目标环节为所述第一环节时，按照所述数据回补指令，对所述第一环节和所述第二环节依次进行数据回补；在所述目标环节为所述第二环节时，按照所述数据回补指令，对所述第二环节进行数据回补。可选的，所述显示所述预警信息的步骤，包括：将所述预警信息发送给终端，以使得终端显示所述预警信息；相应的，所述获得用户输入的针对所述目标环节的数据回补指令的步骤，包括：接收用户通过终端输入并发送的针对所述目标环节的数据回补指令。第二方面，本专利技术实施例提供了一种数据监控装置，所述装置包括：第一确定模块，用于确定目标数据抓取周期中从目标渠道提取得到的目标对象所对应数据源的数据量，作为第一数据量；第二确定模块，用于确定所述目标数据抓取周期中从所述数据源中提取到目标数据库的数据量，作为第二数据量；计算模块，用于计算用以表征所述第一数据量与所述第二数据量之间差异的第一差异值，以及用以表征第一预设阈值与所述第一数据量之间差异的第二差异值；第一判定模块，用于当所述第二差异值大于第二预设阈值时，判定第一环节出现错误，其中，所述第一环节为所述目标数据抓取周期中从所述目标渠道提取所述数据源的环节；第二判定模块，用于当所述第一差异值大于第三预设阈值时，判定第二环节出现错误，其中，所述第二环节为所述目标数据抓取周期中从所述数据源向所述目标数据库提取数据的环节。可选的，所述第一差异值为所述第一数据量与所述第二数据量的差值或差异百分比；所述第二差异值为所述第一预设阈值与所述第一数据量的差值或差异百分比。可选的，所述装置还包括：第一回补模块，用于在判定出所述第一环节出现错误的情况下，依次对所述第一环节和所述第二环节进行数据回补；第二回补模块，用于在判定出所述第二环节出现错误的情况下，对所述第二环节进行数据回补；其中，当所述第一环节出现错误时，所述目标环节为所述第一环节；当所述第二环节出现错误时，所述目标环节为所述第二环节。可选的，所述装置还包括：生成模块，用于在判定出目标环节出现错误的情况下，生成表征所述目标环节出现错误的预警信息；其中，当所述第一环节出现错误时，所述目标环节为所述第一环节；当所述第二环节出现错误时，所述目标环节为所述第二环节。可选的，所述装置还包括：显示模块，用于在生成所述预警信息后，显示所述预警信息；获得模块，用于获得用户输入的针对所述目标环节的数据回补指令；第三回补模块，用于在所述目标环节为所述第一环节时，按照所述数据回补指令，对所述第一环节和所述第二环节依次进行数据回补；在所述目标环节为所述第二环节时，按照所述数据回补指令，对所述第二环节进行数据回补。可选的，所述显示模块，具体用于：将所述预警信息发送给终端，以使得终端显示所述预警信息；相应的，所述获得模块，具体用于：接收用户通过终端输入并发送的针对所述目标环节的数据回补指令。第三方面，本专利技术实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述任一数据监控方法所述的方法步骤。第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一数据监控方法所述的方法步骤。由以上可知，本专利技术实施例提供的方案中，会确定目标数据抓取周期中从目标渠道提取得到的目标对象所对应数据源的数据量，作为第一数据量；并确定目标数据抓取周期中从所得到的数据源中提取到目标数据库的数据量，作为第二数据量；再计算用以表征第一数据量与第二数据量之间差异的第一差异值，以及用以表征第一预设阈值与第一数据量之间差异的第二差异值；当第二差异值大于第二预设阈值时，判定第一环节出现错误；当第一差异值大于第三预设阈值时，判定第二环节出现错误；其中，第一环节为目标数据抓取周期中从目标渠道提取得到上述数据源的环节；第二环节为目标数据抓取周期中从所提取数据源向目标数据库提取数据的环节。与现有技术相比，本专利技术实施例提供的方案可以自动定位数据抓取过程中问题所出现的具体环节，以便于操作人员可以快速发现问题所出现的具体环节，并针对该该具体环节解决所出现的数据抓取问题。附图说明为了更本文档来自技高网...

【技术保护点】
1.一种数据监控方法，其特征在于，所述方法包括：确定目标数据抓取周期中从目标渠道提取得到的目标对象所对应数据源的数据量，作为第一数据量；确定所述目标数据抓取周期中从所述数据源中提取到目标数据库的数据量，作为第二数据量；计算用以表征所述第一数据量与所述第二数据量之间差异的第一差异值，以及用以表征第一预设阈值与所述第一数据量之间差异的第二差异值；当所述第二差异值大于第二预设阈值时，判定第一环节出现错误，其中，所述第一环节为所述目标数据抓取周期中从所述目标渠道提取所述数据源的环节；当所述第一差异值大于第三预设阈值时，判定第二环节出现错误，其中，所述第二环节为所述目标数据抓取周期中从所述数据源向所述目标数据库提取数据的环节。

【技术特征摘要】
1.一种数据监控方法，其特征在于，所述方法包括：确定目标数据抓取周期中从目标渠道提取得到的目标对象所对应数据源的数据量，作为第一数据量；确定所述目标数据抓取周期中从所述数据源中提取到目标数据库的数据量，作为第二数据量；计算用以表征所述第一数据量与所述第二数据量之间差异的第一差异值，以及用以表征第一预设阈值与所述第一数据量之间差异的第二差异值；当所述第二差异值大于第二预设阈值时，判定第一环节出现错误，其中，所述第一环节为所述目标数据抓取周期中从所述目标渠道提取所述数据源的环节；当所述第一差异值大于第三预设阈值时，判定第二环节出现错误，其中，所述第二环节为所述目标数据抓取周期中从所述数据源向所述目标数据库提取数据的环节。2.根据权利要求1所述的方法，其特征在于，所述第一差异值为所述第一数据量与所述第二数据量的差值或差异百分比；所述第二差异值为所述第一预设阈值与所述第一数据量的差值或差异百分比。3.根据权利要求1或2所述的方法，其特征在于，在所述判定第一环节出现错误的步骤之后，所述方法还包括：依次对所述第一环节和所述第二环节进行数据回补；在所述判定第二环节出现错误的步骤之后，所述方法还包括：对所述第二环节进行数据回补。4.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：在判定出目标环节出现错误的情况下，生成表征所述目标环节出现错误的预警信息；其中，当所述第一环节出现错误时，所述目标环节为所述第一环节；当所述第二环节出现错误时，所述目标环节为所述第二环节。5.根据权利要求4所述的方法，其特征在于，在所述生成表征所述目标环节出现错误的预警信息的步骤之后，所述方法还包括：显示所述预警信息；获得用户输入的针对所述目标环节的数据回补指令；在所述目标环节为所述第一环节时，按照所述数据回补指令，对所述第一环节和所述第二环节依次进行数据回补；在所述目标环节为所述第二环节时，按照所述数据回补指令，对所述第二环节进行数据回补。6.根据权利要求5所述的方法，其特征在于，所述显示所述预警信息的步骤...

【专利技术属性】
技术研发人员：代林，
申请(专利权)人：珠海市君天电子科技有限公司，
类型：发明
国别省市：广东,44