数据检测方法、装置、设备及存储介质制造方法及图纸

本公开提供了数据检测方法、装置、设备及存储介质，涉及计算机技术领域，尤其涉及数据处理技术领域。具体技术方案包括：获取目标数据在目标系统中的记录信息；记录信息包括目标数据在目标系统的起始节点对应的第一记录信息和/或目标数据在目标系统的终止节点对应第二记录信息；基于记录信息确定目标数据的数据状态；基于数据状态，确定目标数据在目标系统中的生效状态信息。本公开的技术方案可降低对目标系统的侵入性，同时可实现对单条数据的检测，提高检测的精细度。提高检测的精细度。提高检测的精细度。

【技术实现步骤摘要】
数据检测方法、装置、设备及存储介质


[0001]本公开涉及计算机
，尤其涉及数据处理
，具体涉及一种数据检测方法、装置、设备及存储介质。

技术介绍

[0002]搜索引擎、推荐引擎等的内容生效系统对于数据生效的可靠性和时效性有着很高的要求，建设一套对内容生效系统的数据流(或称数据生效流)进行观测的观测系统就显得尤为重要。现有的数据流观测系统对内容生效系统的侵入性较高，接入成本较大，且观测粒度不够精细，难以满足实际需求。

技术实现思路

[0003]本公开提供了一种数据检测方法、装置、设备及存储介质。
[0004]根据本公开的第一方面，提供了一种数据检测方法，包括：
[0005]获取目标数据在目标系统中的记录信息；记录信息包括目标数据在目标系统的起始节点对应的第一记录信息和/或目标数据在目标系统的终止节点对应第二记录信息；
[0006]基于记录信息确定目标数据的数据状态；
[0007]基于数据状态，确定目标数据在目标系统中的生效状态信息。
[0008]根据本公开的第二方面，提供了一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据检测方法，包括：获取目标数据在目标系统中的记录信息；所述记录信息包括所述目标数据在所述目标系统的起始节点对应的第一记录信息和/或所述目标数据在所述目标系统的终止节点对应第二记录信息；基于所述记录信息确定所述目标数据的数据状态；基于所述数据状态，确定所述目标数据在所述目标系统中的生效状态信息。2.根据权利要求1所述的数据检测方法，其中，所述基于所述记录信息确定所述目标数据的数据状态，包括：基于所述目标数据的标识信息，为所述目标数据分配目标运算单元；基于所述标识信息，将所述记录信息存储于所述目标运算单元的第一存储结构中；利用所述目标运算单元，基于所述第一存储结构中存储的记录信息，确定所述目标数据的数据状态。3.根据权利要求2所述的数据检测方法，其中，所述基于所述记录信息确定所述目标数据的数据状态，还包括：获取所述目标数据在所述目标系统中的属性信息；基于所述属性信息中的时间信息，将所述属性信息存储于所述目标运算单元中的第二存储结构；所述基于所述第一存储结构中存储的记录信息，确定所述目标数据的数据状态，包括：基于所述第二存储结构的读取时序，从所述第二存储结构中读取所述属性信息；基于读取到的所述属性信息，从第一存储结构中读取对应的记录信息；基于所述记录信息，确定所述目标数据的数据状态。4.根据权利要求1至3中任一项所述的数据检测方法，其中，所述基于所述记录信息确定所述目标数据的数据状态，包括：在基于所述记录信息，确定采集到所述第二记录信息的情况下，确定所述数据状态包括所述目标数据对应的数据流为正常数据流。5.根据权利要求1至3中任一项所述的数据检测方法，其中，所述基于所述记录信息确定所述目标数据的数据状态，包括：在基于所述记录信息，确定采集到所述第一记录信息，未采集到所述第二记录信息，并且从第一记录信息对应的目标数据的处理时间开始到当前时间的时长大于预设时长的情况下，确定所述数据状态包括所述目标数据对应的数据流为异常数据流。6.根据权利要求1至3中任一项所述的数据检测方法，其中，所述基于所述记录信息确定所述目标数据的数据状态，包括：在基于所述记录信息，确定采集到所述第一记录信息，未采集到所述第二记录信息，并且从第一记录信息对应的目标数据的处理时间开始到当前时间的时长小于或等于预设时长的情况下，确定所述数据状态包括所述目标数据对应的数据流为正常数据流。7.根据权利要求1至3中任一项所述的数据检测方法，其中，所述基于所述数据状态，确定所述目标数据在所述目标系统中的生效状态信息，包括：在所述数据状态包括所述目标数据对应的数据流为异常数据流的情况下，确定所述生效状态信息包括所述目标数据为异常生效状态；
在所述数据状态包括所述目标数据对应的数据流为正常数据流的情况下，确定所述生效状态信息包括所述目标数据为正常生效状态。8.根据权利要求1至3中任一项所述的数据检测方法，其中，所述基于所述数据状态，确定所述目标数据在所述目标系统中的生效状态信息，包括：在所述数据状态包括目标数据对应的数据流为异常数据流的情况下，获取所述目标系统中各处理节点的异常日志；根据所述异常日志，在所述各处理节点中确定瓶颈节点；所述瓶颈节点为导致所述数据流为异常数据流的处理节点；基于所述瓶颈节点，确定所述生效状态信息；其中所述生效状态信息包括所述瓶颈节点的标识信息。9.根据权利要求1至3中任一项所述的数据检测方法，还包括：获取所述目标数据在所述目标系统中的数据处理信息，并确定所述目标系统中各处理节点的数据老化指标；根据所述数据老化指标，在所述各处理节点中确定瓶颈节点；所述瓶颈节点为数据流为异常数据流的处理节点；基于所述瓶颈节点，确定所述生效状态信息；其中所述生效状态信息包括所述瓶颈节点的标识信息。10.根据权利要求9所述的数据检测方法，其中，所述确定所述目标系统中各个模块的数据老化指标，包括：根据所述数据处理信息确定所述各处理节点之间的拓扑关系；根据所述拓扑关系，确定每个处理节点的上游存储结构；针对每个处理节点，获取该处理节点的上游存储结构中第一个目标数据和最后一个目标数据的时间信息；其中，所述上游存储结构用于存储上一个处理节点发送给该处理节点的数据；根据所述第一个目标数据和最后一个目标数据的时间信息，确定该处理节点的数据老化指标。11.根据权利要求1至3中任一项所述的数据检测方法，还包括：获取所述目标数据在所述目标系统中的数据处理信息；根据所述数据处理信息确定所述目标系统中各处理节点之间的拓扑关系；根据所述拓扑关系，确定所述各处理节点的上游存储结构的存储空间是否已经全部被占用；对于每个处理节点，在该处理节点的上游存储结构的存储空间已经全部被占用的情况下，确定该处理节点为瓶颈节点；所述瓶颈节点为数据流为异常数据流的处理节点；基于所述瓶颈节点，确定所述生效状态信息；其中所述生效状态信息包括所述瓶颈节点的标识信息。12.一种数据检测装置，包括：第一信息获取模块，用于获取目标数据在目标系统中的记录信息；所述记录信息包括所述目标数据在所述目标系统的起始节点对应的第一记录信息和/或所述目标数据在所述目标系统的终止节点对应第二记录信息；
数据状态确定模块，用于基于所述记录信息确定所述目标数据的数据状态；第一生效状态确定模块，用于基于所述数据状态，确定所述目标数据在所述目标系统中的生效状态信息。13.根据权利要求12所述的数据检测...

【专利技术属性】
技术研发人员：宁智贤，刘桐仁，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：