System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及数据处理,尤其涉及一种标签数据的自动化检查方法、装置及电子设备。
技术介绍
1、标签数据是一种人工或者系统自动对原始数据进行标注、注释或理解得到的数据,在数据处理领域,根据所添加的标签数据可对原始数据进行深一层次的数据处理,以达到预期的数据处理效果。示例性的,为用户的消费行为数据添加额外的分类标签,可根据添加的分类标签分析出用户针对某类商品的喜好。可见,标签数据的准确性决定了后续数据处理的精准程度。
2、现有技术中,为了保证标签数据的准确性,通常是由检查人员根据自身的实际经验,耗费大量的人力时间,根据标签数据实际的数据处理效果对标签数据进行检查。此种检查方式依赖于人工,成本较高,且存在一定的检查时延。
技术实现思路
1、有鉴于此,本申请提供了一种标签数据的自动化检查方法、装置及电子设备,以解决现有的标签数据检查方法耗费大量人力,占用成本较高的问题。
2、第一方面,本申请提供了一种标签数据的自动化检查方法,其中,该方法包括:
3、基于标签数据的各生产过程,确定各生产过程对应的标签数据检查策略,其中,所述生产过程包括:原始数据输入过程、标签数据加工过程以及标签数据存储过程;
4、根据确定得到的标签数据检查策略,对各所述生产过程中涉及到的标签数据进行正确性检查。
5、结合第一方面,在第二种可能的实施例中,针对所述生产过程为所述原始数据输入过程的情形,所述方法还包括:
6、根据所确定得到的原始数据输入过程对应
7、结合第一方面,在第三种可能的实施例中,针对所述生产过程为所述标签数据加工过程的情形,所述根据确定得到的标签数据检查策略,对各所述生产过程中涉及到的标签数据进行正确性检查,包括:
8、根据当前次生产得到的当前标签数据与前一次生产得到的前一次标签数据,计算当前标签数据与前一次标签数据之间的第一数据差异;
9、若所述第一数据差异大于预设数据差异阈值,则确定所述标签数据加工过程得到的当前次生产得到的当前标签数据的正确性检查不通过。
10、结合第一方面,在第四种可能的实施例中,针对所述生产过程为所述标签数据存储过程的情形,所述根据确定得到的标签数据检查策略,对各所述生产过程中涉及到的标签数据进行正确性检查,包括:
11、获取参考标签数据,其中,所述参考标签数据为基于所述原始数据中的部分原始数据作为标准数据,单独进行标签加工后,正确性已知的标签数据;
12、按照所述参考标签数据的id标识,以及所述参考标签数据的标签值,检索目标存储介质中是否存在相同id标识,以及相同的标签值的目标正式标签数据,所述目标存储介质中存储有所述标签数据存储过程产生的所有正式标签数据;
13、若存在,则确定所述目标正式标签数据的正确性检查通过。
14、结合第一方面的第二种可能的实施例,在第五种可能的实施例中,所述根据所确定得到的原始数据输入过程对应的标签数据检查策略,对所述原始数据输入过程中涉及到的标签数据进行正确性检查,包括:
15、根据预设通用设备id标识格式、预设标签数据的值的类型格式,确定第一原始数据的id标识是否满足所述预设通用设备id标识格式要求,以及确定所述第一原始数据对应的原始标签数据的标签值的类型是否满足所述预设标签数据的值的类型格式要求;
16、若均满足,确定是否存在其他与所述第一原始数据的id标识相同,以及与所述第一原始数据对应的原始标签数据的标签值相同的第二原始数据;
17、若无,则确定所述第一原始数据通过正确性检查。
18、结合第一方面的第二种可能的实施例,在第六种可能的实施例中,所述根据所确定得到的原始数据输入过程对应的标签数据检查策略,对所述原始数据输入过程中涉及到的标签数据进行稳定性检查,包括:
19、基于第一原始数据生成所述第一原始数据对应的标签数据,并计算生成所述第一原始数据对应的标签数据前,所有标签数据的第一总数量;
20、计算生成所述第一原始数据对应的标签数据后,所有标签数据的第二总数量,并计算所述标签数据的数据分布稳定性指数;
21、若所述第一总数据量与所述第二总数据量之间的变化幅度小于预设变化范围,且所述数据分布稳定性指数位于预设数据分布稳定性指数范围,则确定所述原始数据输入过程中涉及到的标签数据稳定性检查通过。
22、第二方面,本申请提供了一种标签数据的自动化检查装置,其中,该装置包括:
23、确定模块,用于基于标签数据的各生产过程,确定各生产过程对应的标签数据检查策略,其中,所述生产过程包括:原始数据输入过程、标签数据加工过程以及标签数据存储过程;
24、检查模块,用于根据确定得到的标签数据检查策略,对各所述生产过程中涉及到的标签数据进行正确性检查。
25、结合第二方面,在第二种可能的实施例中,针对所述生产过程为所述原始数据输入过程的情形,所述检查模块,还用于:
26、根据所确定得到的原始数据输入过程对应的标签数据检查策略,对所述原始数据输入过程中涉及到的标签数据进行正确性检查以及稳定性检查。
27、结合第二方面的第二种可能的实施例,在第三种可能的实施例中,所述检查模块,具体用于根据预设通用设备id标识格式、预设标签数据的值的类型格式,确定第一原始数据的id标识是否满足所述预设通用设备id标识格式要求,以及确定所述第一原始数据对应的原始标签数据的标签值的类型是否满足所述预设标签数据的值的类型格式要求;若均满足,确定是否存在其他与所述第一原始数据的id标识相同,以及与所述第一原始数据对应的原始标签数据的标签值相同的第二原始数据;若无,则确定所述第一原始数据通过正确性检查。
28、结合第二方面的第二种可能的实施例,在第四种可能的实施例中,所述检查模块,具体还用于基于第一原始数据生成所述第一原始数据对应的标签数据,并计算生成所述第一原始数据对应的标签数据前,所有标签数据的第一总数量,以及计算生成所述第一原始数据对应的标签数据后,所有标签数据的第二总数量;并计算所述标签数据的数据分布稳定性指数;若所述第一总数据量与所述第二总数据量之间的变化幅度小于预设变化范围,且所述数据分布稳定性指数位于预设数据分布稳定性指数范围,则确定所述原始数据输入过程中涉及到的标签数据稳定性检查通过。
29、结合第二方面,在第五种可能的实施例中,针对所述生产过程为所述标签数据加工过程的情形,所述检查模块,还用于:
30、根据当前次生产得到的当前标签数据与前一次生产得到的前一次标签数据,计算当前标签数据与前一次标签数据之间的第一数据差异;
31、若所述第一数据差异大于预设数据差异阈值,则确定所述标签数据加工过程得到的当前次生产得到的当前标签数据的正确性检查不通过。
...【技术保护点】
1.一种标签数据的自动化检查方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,针对所述生产过程为所述原始数据输入过程的情形,所述方法还包括:
3.根据权利要求1所述的方法,其特征在于,针对所述生产过程为所述标签数据加工过程的情形,所述根据确定得到的标签数据检查策略,对各所述生产过程中涉及到的标签数据进行正确性检查,包括:
4.根据权利要求1所述的方法,其特征在于,针对所述生产过程为所述标签数据存储过程的情形,所述根据确定得到的标签数据检查策略,对各所述生产过程中涉及到的标签数据进行正确性检查,包括:
5.根据权利要求2所述的方法,其特征在于,所述根据所确定得到的原始数据输入过程对应的标签数据检查策略,对所述原始数据输入过程中涉及到的标签数据进行正确性检查,包括:
6.根据权利要求2所述的方法,其特征在于,所述根据所确定得到的原始数据输入过程对应的标签数据检查策略,对所述原始数据输入过程中涉及到的标签数据进行稳定性检查,包括:
7.一种标签数据的自动化检查装置,其特征在于,所述装置包括
8.根据权利要求7所述的装置,其特征在于,针对所述生产过程为所述原始数据输入过程的情形,所述检查模块,还用于:
9.根据权利要求7所述的装置,其特征在于,针对所述生产过程为所述标签数据加工过程的情形,所述检查模块,还用于:
10.一种电子设备,其特征在于,所述电子设备包括:
11.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使计算机执行根据权利要求1-6中任一项所述的方法。
...【技术特征摘要】
1.一种标签数据的自动化检查方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,针对所述生产过程为所述原始数据输入过程的情形,所述方法还包括:
3.根据权利要求1所述的方法,其特征在于,针对所述生产过程为所述标签数据加工过程的情形,所述根据确定得到的标签数据检查策略,对各所述生产过程中涉及到的标签数据进行正确性检查,包括:
4.根据权利要求1所述的方法,其特征在于,针对所述生产过程为所述标签数据存储过程的情形,所述根据确定得到的标签数据检查策略,对各所述生产过程中涉及到的标签数据进行正确性检查,包括:
5.根据权利要求2所述的方法,其特征在于,所述根据所确定得到的原始数据输入过程对应的标签数据检查策略,对所述原始数据输入过程中涉及到的标签数据进行正...
【专利技术属性】
技术研发人员:杨凯,史承毅,宁维宇,柴方中,李艺,
申请(专利权)人:度小满科技北京有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。