模型检测方法及装置制造方法及图纸

本说明书一个或多个实施例公开了一种模型检测方法及装置，用以实现模型检测的自动化，从而提高模型检测的准确率及效率。所述方法包括：确定指定业务的分类模型对目标事件的分类结果；其中，所述分类结果至少包括第一类结果和第二类结果；所述分类模型用于对所述指定业务中发生的业务事件进行分类；监测所述目标事件，以获得第一类用户对所述目标事件的第一反馈信息和/或第二类用户对所述目标事件的第二反馈信息；其中，所述第一类用户与所述第二类用户之间具有预设对立关系；根据所述第一反馈信息和/或所述第二反馈信息，对所述目标事件的分类结果进行检测，获得检测结果。

【技术实现步骤摘要】
模型检测方法及装置
本说明书涉及数据检测
，尤其涉及一种模型检测方法及装置。
技术介绍
目前，在一些需要数据核查的领域(如欺诈审理)中，准确率和覆盖率主要依赖于人工核查，即每次在查看相关准确率的时候总需要人工去抽样，不仅耗时耗力，时间也比较漫长，这种交互方式对于模型建模或者监管方和管理者的压力都是不利的。主要表现在：一方面，即使采用人工双盲查看的方式也可能导致核查结果偏差，如可能仅有90％的一致率；另一方面，投诉信息较为复杂时，若没有经过专业训练的人员，则很可能无法轻易查看相关投诉信息，不具有通用性；再一方面，人工核实的方式无法实现规模化，尤其是在数据核实量级变大的情况下。
技术实现思路
本说明书一个或多个实施例的目的是提供一种模型检测方法及装置，用以实现模型检测的自动化，从而提高模型检测的准确率及效率。为解决上述技术问题，本说明书一个或多个实施例是这样实现的：一方面，本说明书一个或多个实施例提供一种模型检测方法，包括：确定指定业务的分类模型对目标事件的分类结果；其中，所述分类结果至少包括第一类结果和第二类结果；所述分类模型用于对所述指定业务中发生的业务事件进行分类；监测所述目标事件，以获得第一类用户对所述目标事件的第一反馈信息和/或第二类用户对所述目标事件的第二反馈信息；其中，所述第一类用户与所述第二类用户之间具有预设对立关系；根据所述第一反馈信息和/或所述第二反馈信息，对所述目标事件的分类结果进行检测，获得检测结果。在一个实施例中，所述预设对立关系包括投诉方和被投诉方的关系。另一方面，本说明书一个或多个实施例提供一种模型检测方法，包括：确定指定业务的分类模型对目标投诉事件的分类结果；其中，所述分类结果包括欺诈事件或非欺诈事件；所述分类模型用于对所述指定业务中发生的投诉事件进行分类；监测所述目标投诉事件，以获得第一类用户对所述目标投诉事件的反馈信息和/或第二类用户对所述目标投诉事件的解除投诉信息；根据所述反馈信息和/或所述解除投诉信息，对所述目标投诉事件的分类结果进行检测，获得检测结果。在一个实施例中，所述解除投诉信息包括解限信息；相应的，所述根据所述反馈信息和/或所述解除投诉信息，对所述目标投诉事件的分类结果进行检测，包括：判断所述指定业务是否具有解限操作的功能；若是，则根据所述第二类用户对所述目标投诉事件的解限信息，对所述目标投诉事件的分类结果进行检测；若否，则根据所述第一类用户对所述目标投诉事件的反馈信息，对所述目标投诉事件的分类结果进行检测。在一个实施例中，所述第二类用户包括所述目标投诉事件对应的被投诉方；相应的，所述根据所述第二类用户对所述目标投诉事件的解限信息，对所述目标投诉事件的分类结果进行检测，包括：针对所述分类结果为所述欺诈事件的所述目标投诉事件，对所述被投诉方进行行为限制操作；当接收到所述被投诉方针对所述行为限制操作的解限操作时，对所述解限操作对应的解限信息进行检测，以判断所述解限信息是否正确；若是，则解除对所述被投诉方的行为限制操作；及，确定所述目标投诉事件的分类结果错误；若否，则维持对所述被投诉方的行为限制操作；及，确定所述目标投诉事件的分类结果正确。在一个实施例中，所述第一类用户包括所述目标投诉事件的投诉方；所述反馈信息包括所述目标投诉事件为所述欺诈事件或所述非欺诈事件；相应的，所述根据所述第一类用户对所述目标投诉事件的反馈信息，对所述目标投诉事件的分类结果进行检测，包括：若所述反馈信息与所述分类模型对所述目标投诉事件的分类结果一致，则确定所述目标投诉事件的分类结果正确；若所述反馈信息与所述分类模型对所述目标投诉事件的分类结果不一致，则确定所述目标投诉事件的分类结果错误。再一方面，本说明书一个或多个实施例提供一种模型检测装置，包括：第一确定模块，用于确定指定业务的分类模型对目标事件的分类结果；其中，所述分类结果至少包括第一类结果和第二类结果；所述分类模型用于对所述指定业务中发生的业务事件进行分类；第一监测模块，用于监测所述目标事件，以获得第一类用户对所述目标事件的第一反馈信息和/或第二类用户对所述目标事件的第二反馈信息；其中，所述第一类用户与所述第二类用户之间具有预设对立关系；第一检测模块，用于根据所述第一反馈信息和/或所述第二反馈信息，对所述目标事件的分类结果进行检测，获得检测结果。在一个实施例中，所述预设对立关系包括投诉方和被投诉方的关系。再一方面，本说明书一个或多个实施例提供一种模型检测装置，包括：第二确定模块，用于确定指定业务的分类模型对目标投诉事件的分类结果；其中，所述分类结果包括欺诈事件或非欺诈事件；所述分类模型用于对所述指定业务中发生的投诉事件进行分类；第二监测模块，用于监测所述目标投诉事件，以获得第一类用户对所述目标投诉事件的反馈信息和/或第二类用户对所述目标投诉事件的解除投诉信息；第二检测模块，用于根据所述反馈信息和/或所述解除投诉信息，对所述目标投诉事件的分类结果进行检测，获得检测结果。在一个实施例中，所述解除投诉信息包括解限信息；相应的，所述第二检测模块包括：判断单元，用于判断所述指定业务是否具有解限操作的功能；第一检测单元，用于若所述指定业务具有解限操作的功能，则根据所述第二类用户对所述目标投诉事件的解限信息，对所述目标投诉事件的分类结果进行检测；第二检测单元，用于若所述指定业务不具有解限操作的功能，则根据所述第一类用户对所述目标投诉事件的反馈信息，对所述目标投诉事件的分类结果进行检测。在一个实施例中，所述第二类用户包括所述目标投诉事件对应的被投诉方；相应的，所述第一检测单元还用于：针对所述分类结果为所述欺诈事件的所述目标投诉事件，对所述被投诉方进行行为限制操作；当接收到所述被投诉方针对所述行为限制操作的解限操作时，对所述解限操作对应的解限信息进行检测，以判断所述解限信息是否正确；若是，则解除对所述被投诉方的行为限制操作；及，确定所述目标投诉事件的分类结果错误；若否，则维持对所述被投诉方的行为限制操作；及，确定所述目标投诉事件的分类结果正确。在一个实施例中，所述第一类用户包括所述目标投诉事件的投诉方；所述反馈信息包括所述目标投诉事件为所述欺诈事件或所述非欺诈事件；相应的，所述第二检测单元还用于：若所述反馈信息与所述分类模型对所述目标投诉事件的分类结果一致，则确定所述目标投诉事件的分类结果正确；若所述反馈信息与所述分类模型对所述目标投诉事件的分类结果不一致，则确定所述目标投诉事件的分类结果错误。再一方面，本说明书一个或多个实施例提供一种模型检测设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：确定指定业务的分类模型对目标事件的分类结果；其中，所述分类结果至少包括第一类结果和第二类结果；所述分类模型用于对所述指定业务中发生的业务事件进行分类；监测所述目标事件，以获得第一类用户对所述目标事件的第一反馈信息和/或第二类用户对所述目标事件的第二反馈信息；其中，所述第一类用户与所述第二类用户之间具有预设对立关系；根据所述第一反馈信息和/或所述第二反馈信息，对所述目标事件的分类结果进行检测，获得检测结果。再一方面，本说明书一个或多个实施例提供一种模型检测设备，包括：处理器；以及被安排成存储计算机可执本文档来自技高网...

【技术保护点】
1.一种模型检测方法，包括：确定指定业务的分类模型对目标事件的分类结果；其中，所述分类结果至少包括第一类结果和第二类结果；所述分类模型用于对所述指定业务中发生的业务事件进行分类；监测所述目标事件，以获得第一类用户对所述目标事件的第一反馈信息和/或第二类用户对所述目标事件的第二反馈信息；其中，所述第一类用户与所述第二类用户之间具有预设对立关系；根据所述第一反馈信息和/或所述第二反馈信息，对所述目标事件的分类结果进行检测，获得检测结果。

【技术特征摘要】
1.一种模型检测方法，包括：确定指定业务的分类模型对目标事件的分类结果；其中，所述分类结果至少包括第一类结果和第二类结果；所述分类模型用于对所述指定业务中发生的业务事件进行分类；监测所述目标事件，以获得第一类用户对所述目标事件的第一反馈信息和/或第二类用户对所述目标事件的第二反馈信息；其中，所述第一类用户与所述第二类用户之间具有预设对立关系；根据所述第一反馈信息和/或所述第二反馈信息，对所述目标事件的分类结果进行检测，获得检测结果。2.根据权利要求1所述的方法，所述预设对立关系包括投诉方和被投诉方的关系。3.一种模型检测方法，包括：确定指定业务的分类模型对目标投诉事件的分类结果；其中，所述分类结果包括欺诈事件或非欺诈事件；所述分类模型用于对所述指定业务中发生的投诉事件进行分类；监测所述目标投诉事件，以获得第一类用户对所述目标投诉事件的反馈信息和/或第二类用户对所述目标投诉事件的解除投诉信息；根据所述反馈信息和/或所述解除投诉信息，对所述目标投诉事件的分类结果进行检测，获得检测结果。4.根据权利要求3所述的方法，所述解除投诉信息包括解限信息；相应的，所述根据所述反馈信息和/或所述解除投诉信息，对所述目标投诉事件的分类结果进行检测，包括：判断所述指定业务是否具有解限操作的功能；若是，则根据所述第二类用户对所述目标投诉事件的解限信息，对所述目标投诉事件的分类结果进行检测；若否，则根据所述第一类用户对所述目标投诉事件的反馈信息，对所述目标投诉事件的分类结果进行检测。5.根据权利要求4所述的方法，所述第二类用户包括所述目标投诉事件对应的被投诉方；相应的，所述根据所述第二类用户对所述目标投诉事件的解限信息，对所述目标投诉事件的分类结果进行检测，包括：针对所述分类结果为所述欺诈事件的所述目标投诉事件，对所述被投诉方进行行为限制操作；当接收到所述被投诉方针对所述行为限制操作的解限操作时，对所述解限操作对应的解限信息进行检测，以判断所述解限信息是否正确；若是，则解除对所述被投诉方的行为限制操作；及，确定所述目标投诉事件的分类结果错误；若否，则维持对所述被投诉方的行为限制操作；及，确定所述目标投诉事件的分类结果正确。6.根据权利要求4所述的方法，所述第一类用户包括所述目标投诉事件的投诉方；所述反馈信息包括所述目标投诉事件为所述欺诈事件或所述非欺诈事件；相应的，所述根据所述第一类用户对所述目标投诉事件的反馈信息，对所述目标投诉事件的分类结果进行检测，包括：若所述反馈信息与所述分类模型对所述目标投诉事件的分类结果一致，则确定所述目标投诉事件的分类结果正确；若所述反馈信息与所述分类模型对所述目标投诉事件的分类结果不一致，则确定所述目标投诉事件的分类结果错误。7.一种模型检测装置，包括：第一确定模块，用于确定指定业务的分类模型对目标事件的分类结果；其中，所述分类结果至少包括第一类结果和第二类结果；所述分类模型用于对所述指定业务中发生的业务事件进行分类；第一监测模块，用于监测所述目标事件，以获得第一类用户对所述目标事件的第一反馈信息和/或第二类用户对所述目标事件的第二反馈信息；其中，所述第一类用户与所述第二类用户之间具有预设对立关系；第一检测模块，用于根据所述第一反馈信息和/或所述第二反馈信息，对所述目标事件的分类结果进行检测，获得检测结果。8.根据权利要求7所述的装置，所述预设对立关系包括投诉方和被投诉方的关系。9.一种模型检测装置，包括：第二确定模块，用于确定指定业务的分类模型对目标投诉事件的分类结果；其中，所述分类结果包括欺诈事件或非欺诈事件；所述分类模型用于对所述指定业务中发生的投诉事件进行分类；第二监测模块，用于监测所述目标投诉事件，以获得第一类用户对所述目标投诉事件的反馈信息和/或第二类用户对所述目标投诉事件的解除投诉信息；第二检测模块，用于根据所述反馈信息和/或所述解除投诉信息，对所述目标投诉事件的分类...

【专利技术属性】
技术研发人员：袁锦程，许辽萨，易灿，崔世文，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY