算法模型检测方法、装置、设备及系统制造方法及图纸

本申请提供一种算法模型检测方法、装置、设备及系统，该系统包括：评测模块，用于通过算法模型对待评测的信息进行评测，所述算法模型包括待测算法模型和历史算法模型，所述历史算法模型是所述待测算法模型的前一次迭代模型；算法模型检测模块，用于确定所述待测算法模型的正确率；算法模型训练模块，用于根据训练样本集训练所述算法模型。通过历史算法模型处理用户评价信息的结果来检测待测算法模型处理用户评价信息的正确率，提高了算法模型的测试准确度，不需人工测试算法模型，提高了算法模型的测试速度。

Algorithm model detection method, device, equipment and system

This application provides an algorithm for model checking method, device, equipment and system, the system includes: evaluation module, the evaluation model for the algorithm towards information evaluation, the algorithm model including the algorithm model and algorithm model to measure the history, the history of the algorithm of the model is tested before the algorithm model iteration model; algorithm model for determining the correct rate of detection module, tested the algorithm model; algorithm model training module for training according to the training sample set by the algorithm model. The result of user evaluation information is processed by the historical algorithm model to detect the accuracy rate of users' evaluation information processed by the algorithm model. The accuracy of the algorithm is improved, and the speed of algorithm model is improved without manual testing algorithm model.

【技术实现步骤摘要】
算法模型检测方法、装置、设备及系统
本申请涉及互联网技术，尤其涉及一种算法模型检测方法及装置。
技术介绍
现有技术中，算法模型如同人类的认知模式，需要不断被更正、不断被训练，具体地，算法模型在处理样本数据的过程中，不断地更改其自身的参数，使得算法模型不断的被迭代，但是，如果任其不断的迭代，不对迭代后的算法模型进行测试，将无法确定迭代后的算法模型是否能够按照预设的正确率处理样本数据。现有技术对算法模型的测试方法有以下两种方法：一种是人工测试，例如，算法模型对100个样本数据进行了处理得到100个结果，该100个结果中有处理正确的结果，也有处理错误的结果，为了验证算法模型的正确率，人工判断该100个结果中有多少个正确结果，多少个错误结果，以评估算法模型的正确率和/或错误率。但是，当算法模型需要处理大量的样本数据，且算法模型的迭代周期较短时，人工测试的效率较低。另一种是预先建立两个数据集，一个数据集中的数据实际是正确的，另一个数据集中的数据实际是错误的，算法模型依次处理这两个数据集中的数据，产生每个数据对应的处理结果，根据每个数据对应的处理结果和该数据自身的正确与否，确定该算法模型的正确率和/或错误率。但是，算法模型实际处理的数据并不局限于这两个数据集中的数据，若将算法模型处理预设数据的正确率和/或错误率作为算法模型处理非预设数据的正确率和/或错误率，同样无法准确的检测出算法模型的正确率和/或错误率。因此，现有技术缺乏一种既准确又快速的算法模型的测试方法。
技术实现思路
本申请提供一种算法模型检测方法、装置、设备及系统，以快速精确的检测算法模型。一个方面，本申请提供一种信息评测系统，包括：评测模块，用于通过算法模型对待评测的信息进行评测，所述算法模型包括待测算法模型和历史算法模型，所述历史算法模型是所述待测算法模型的前一次迭代模型；算法模型检测模块，用于获取待测算法模型对应的第一样本集和历史算法模型对应的第二样本集中相同的目标样本；获取所述待测算法模型对所述目标样本进行处理后得到的第一结果集合，以及所述历史算法模型对所述目标样本进行处理后得到的第二结果集合；根据所述第一结果集合和所述第二结果集合，确定第一集合，所述第一集合是在所述第一结果集合和所述第二结果集合中对应有相同处理结果的目标样本构成的集合；根据所述第一集合中的目标样本的个数，以及所述第一结果集合中的目标样本的个数，确定所述待测算法模型的正确率；算法模型训练模块，用于根据训练样本集训练所述算法模型。另一方面，本申请提供一种用户评价信息检测方法，包括：获取多个用户评价信息；通过待测算法模型对所述多个用户评价信息分别进行判别得到第一结果集合，所述第一结果集合包括所述待测算法模型对每个用户评价信息进行判别后得到的第一判别结果；通过历史算法模型对所述多个用户评价信息分别进行判别得到第二结果集合，所述第二结果集合包括所述历史算法模型对每个用户评价信息进行判别后得到的第二判别结果；根据所述第一结果集合和所述第二结果集合，确定第一集合，所述第一集合是在所述第一结果集合和所述第二结果集合中对应有相同判别结果的用户评价信息构成的集合；根据所述第一集合中的用户评价信息的个数，以及所述多个用户评价信息的个数，确定所述待测算法模型的正确率；根据所述待测算法模型的正确率，确定所述多个用户评价信息分别对应的判别结果；其中，所述历史算法模型是所述待测算法模型的前一次迭代模型。另一方面，本申请提供一种算法模型检测方法，包括：获取待测算法模型对应的第一样本集和历史算法模型对应的第二样本集中相同的目标样本，所述历史算法模型是所述待测算法模型的前一次迭代模型；获取所述待测算法模型对所述目标样本进行处理后得到的第一结果集合，以及所述历史算法模型对所述目标样本进行处理后得到的第二结果集合；根据所述第一结果集合和所述第二结果集合，确定第一集合，所述第一集合是在所述第一结果集合和所述第二结果集合中对应有相同处理结果的目标样本构成的集合；根据所述第一集合中的目标样本的个数，以及所述第一结果集合中的目标样本的个数，确定所述待测算法模型的正确率。再一方面，本申请提供一种算法模型检测装置，包括：第一获取模块，用于获取待测算法模型对应的第一样本集和历史算法模型对应的第二样本集中相同的目标样本，所述历史算法模型是所述待测算法模型的前一次迭代模型；第二获取模块，用于获取所述待测算法模型对所述目标样本进行处理后得到的第一结果集合，以及所述历史算法模型对所述目标样本进行处理后得到的第二结果集合；第一确定模块，用于根据所述第一结果集合和所述第二结果集合，确定第一集合，所述第一集合是在所述第一结果集合和所述第二结果集合中对应有相同处理结果的目标样本构成的集合；第二确定模块，用于根据所述第一集合中的目标样本的个数，以及所述第一结果集合中的目标样本的个数，确定所述待测算法模型的正确率。还一方面，本申请提供一种检测设备，包括：存储器和处理器；所述存储器和所述处理器耦合，所述存储器用于存储待测算法模型对应的第一样本集和历史算法模型对应的第二样本集，所述历史算法模型是所述待测算法模型的前一次迭代模型；以及存储所述待测算法模型对所述目标样本进行处理后得到的第一结果集合和所述历史算法模型对所述目标样本进行处理后得到的第二结果集合；所述处理器用于确定所述第一样本集和所述第二样本集中相同的目标样本；根据所述第一结果集合和所述第二结果集合，确定第一集合，所述第一集合是在所述第一结果集合和所述第二结果集合中对应有相同处理结果的目标样本构成的集合；根据所述第一集合中的目标样本的个数，以及所述第一结果集合中的目标样本的个数，确定所述待测算法模型的正确率。在本申请中，通过待测算法模型对目标样本进行处理后得到的第一结果集合，以及历史算法模型对同样的目标样本进行处理后得到的第二结果集合，确定待测算法模型和历史算法模型处理结果相同的目标样本，根据待测算法模型和历史算法模型均判定为同一个结果的目标样本的个数，以及待测算法模型判定为该结果的目标样本的个数，可确定出待测算法模型的正确率，通过历史算法模型处理用户评价信息的结果来检测待测算法模型处理用户评价信息的正确率，提高了算法模型的测试准确度，另外，不需人工测试算法模型，提高了算法模型的测试速度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例一提供的信息评测系统的结构示意图；图2为本申请实施例二提供的信息评测系统的结构示意图；图3为本申请一实施例提供的用户评价信息检测方法的流程图；图3A为本申请实施例一提供的算法模型检测结果的示意图；图3B为本申请实施例一提供的算法模型检测结果的示意图；图3C为本申请实施例一提供的算法模型检测结果的示意图；图3D为本申请实施例一提供的算法模型检测结果的示意图；图4为本申请实施例一提供的算法模型检测方法的流程图；图4A为本申请实施例二提供的算法模型检测结果的示意图；图4B为本申请实施例二提供的算法模型检测结果的示意图；图4C为本申本文档来自技高网...

【技术保护点】
一种信息评测系统，其特征在于，包括：评测模块，用于通过算法模型对待评测的信息进行评测，所述算法模型包括待测算法模型和历史算法模型，所述历史算法模型是所述待测算法模型的前一次迭代模型；算法模型检测模块，用于获取待测算法模型对应的第一样本集和历史算法模型对应的第二样本集中相同的目标样本；获取所述待测算法模型对所述目标样本进行处理后得到的第一结果集合，以及所述历史算法模型对所述目标样本进行处理后得到的第二结果集合；根据所述第一结果集合和所述第二结果集合，确定第一集合，所述第一集合是在所述第一结果集合和所述第二结果集合中对应有相同处理结果的目标样本构成的集合；根据所述第一集合中的目标样本的个数，以及所述第一结果集合中的目标样本的个数，确定所述待测算法模型的正确率；算法模型训练模块，用于根据训练样本集训练所述算法模型。

【技术特征摘要】
1.一种信息评测系统，其特征在于，包括：评测模块，用于通过算法模型对待评测的信息进行评测，所述算法模型包括待测算法模型和历史算法模型，所述历史算法模型是所述待测算法模型的前一次迭代模型；算法模型检测模块，用于获取待测算法模型对应的第一样本集和历史算法模型对应的第二样本集中相同的目标样本；获取所述待测算法模型对所述目标样本进行处理后得到的第一结果集合，以及所述历史算法模型对所述目标样本进行处理后得到的第二结果集合；根据所述第一结果集合和所述第二结果集合，确定第一集合，所述第一集合是在所述第一结果集合和所述第二结果集合中对应有相同处理结果的目标样本构成的集合；根据所述第一集合中的目标样本的个数，以及所述第一结果集合中的目标样本的个数，确定所述待测算法模型的正确率；算法模型训练模块，用于根据训练样本集训练所述算法模型。2.根据权利要求1所述的系统，其特征在于，所述系统还包括：显示组件，用于显示用户交互界面；存储器，用于存储所述用户交互界面中的待评测的信息，所述待评测的信息包括如下至少一种信息：所述用户输入的信息、统一资源定位符、图片信息。3.根据权利要求2所述的系统，其特征在于，所述系统还包括：数据处理平台，用于从所述存储器中获取所述待评测的信息，以供所述评测模块对所述待评测的信息进行评测。4.根据权利要求3所述的系统，其特征在于，所述系统还包括：管控模块，用于当所述评测模块判断出所述待评测的信息为需要受限的信息时，控制所述显示组件屏蔽所述需要受限的信息。5.根据权利要求4所述的系统，其特征在于，所述系统还包括：算法模型迭代控制模块，用于根据所述算法模型检测模块检测出的待测算法模型的正确率和/或错误率，控制所述算法模型训练模块是否需要停止迭代所述算法模型。6.根据权利要求1-5任一项所述的系统，其特征在于，所述训练样本集中的训练样本包括如下至少一种：所述需要受限的信息、卖家举报买家的举报信息、买家投诉卖家的投诉信息、预先被识别的信息。7.根据权利要求1-5任一项所述的系统，其特征在于，所述待评测的信息包括用户评价信息；所述评测模块具体用于通过算法模型对所述用户评价信息进行评测，确定所述用户评价信息是否为广告信息。8.一种用户评价信息检测方法，其特征在于，包括：获取多个用户评价信息；通过待测算法模型对所述多个用户评价信息分别进行判别得到第一结果集合，所述第一结果集合包括所述待测算法模型对每个用户评价信息进行判别后得到的第一判别结果；通过历史算法模型对所述多个用户评价信息分别进行判别得到第二结果集合，所述第二结果集合包括所述历史算法模型对每个用户评价信息进行判别后得到的第二判别结果；根据所述第一结果集合和所述第二结果集合，确定第一集合，所述第一集合是在所述第一结果集合和所述第二结果集合中对应有相同判别结果的用户评价信息构成的集合；根据所述第一集合中的用户评价信息的个数，以及所述多个用户评价信息的个数，确定所述待测算法模型的正确率；根据所述待测算法模型的正确率，确定所述多个用户评价信息分别对应的判别结果；其中，所述历史算法模型是所述待测算法模型的前一次迭代模型。9.根据权利要求8所述的方法，其特征在于，所述通过待测算法模型对所述多个用户评价信息分别进行判别，包括：通过所述待测算法模型判别各用户评价信息是否为被限制信息；所述通过历史算法模型对所述多个用户评价信息分别进行判别，包括：通过所述历史算法模型判别各用户评价信息是否为被限制信息；其中，所述被限制信息包括广告信息。10.根据权利要求9所述的方法，其特征在于，所述第一集合是所述第一结果集合中所述待测算法模型和所述历史算法模型均判别为广告信息的用户评价信息构成的集合；或者所述第一集合是所述第一结果集合中所述待测算法模型和所述历史算法模型均判别为非广告信息的用户评价信息构成的集合。11.一种算法模型检测方法，其特征在于，包括：获取待测算法模型对应的第一样本集和历史算法模型对应的第二样本集中相同的目标样本，所述历史算法模型是所述待测算法模型的前一次迭代模型；获取所述待测算法模型对所述目标样本进行处理后得到的第一结果集合，以及所述历史算法模型对所述目标样本进行处理后得到的第二结果集合；根据所述第一结果集合和所述第二结果集合，确定第一集合，所述第一集合是在所述第一结果集合和所述第二结果集合中对应有相同处理结果的目标样本构成的集合；根据所述第一集合中的目标样本的个数，以及所述第一结果集合中的目标样本的个数，确定所述待测算法模型的正确率。12.根据权利要求11所述的方法，其特征在于，所述根据所述第一结果集合和所述第二结果集合，确定第一集合，包括：根据所述第一结果集合，确定所述第一结果集合中的第一结果对应的目标样本；根据所述第二结果集合，确定所述第二结果集合中的第一结果对应的目标样本；确定所述第一结果集合中的第一结果对应的目标样本和所述第二结果集合中的第一结果对应的目标样本的交集为所述第一集合。13.根据权利要求12所述的方法，其特征在于，所述根据所述第一集合中的目标样本的个数，以及所述第一结果集合中的目标样本的个数，确定所述待测算法模型的正确率，包括：计算所述第一集合中的第一结果对应的目标样本的个数与所述第一结果集合中的第一结果对应的目标样本的个数的第一比值；确定所述第一比值与衰减系数的比值为所述待测算法模型的正确率，所述衰减系数等于第三结果集合中的第一结果对应的目标样本的个数与第四结果集合中的第一结果对应的目标样本的个数的比值，所述第三结果集合是所述历史算法模型对所述第二样本集中的第二样本进行处理后得到的结果集合，所述第四结果集合是所述待测算法模型对所述第一样本集中的第一样本进行处理后得到的结果集合。14.根据权利要求11-13任一项所述的方法，其特征在于，所述确定所述待测算法模型的正确率之后，还包括：根据所述待测算法模型的正确率和所述历史算法模型的正确率，确定所述待测算法模型是否需要停止迭代。15.根据权利要求14所述的方法，其特征在于，所述根据所述待测算法模型的正确率和所述历史算法模型的正确率，确定所述待测算法模型是否需要停止迭代，包括：若所述待测算法模型的正确率大于或等于所述历史算法模型的正确率，则确定所述待测算法模型不需要停止迭代；若所述待测算法模型的正确率小于所述历史算法模型的正确率，则确定所述待测算法模型需要停止迭代。...

【专利技术属性】
技术研发人员：倪静，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY