一种自反馈人工智能模型管理系统技术方案

本发明专利技术提出了一种自反馈人工智能模型管理系统，包括：计算模块、反馈模块和统计查询模块，其中，所述计算模块用于接收调用方发送来的识别任务，对该识别任务进行计算后得到识别结果，将所述识别结果反馈至所述调用方；所述反馈模块用于接收来自所述调用方的申诉请求，并将该申诉请求转至工作人员进行处理，将处理后的申诉结果返回给所述调用方；所述统计查询模块用于以预设周期统计每个识别任务的服务运行数据，以进行服务效果评估，并反馈给管理员。本发明专利技术可以在调用方对识别结果不满意时，接收其申诉请求，并向调用方反馈经过修正的申诉结果，以提高调用方的服务体验，提升人工和算法进行配合工作的效率。

A Model Management System of Self-Feedback Artificial Intelligence

The invention provides a self-feedback artificial intelligence model management system, which comprises a computing module, a feedback module and a statistical query module, wherein the computing module is used to receive the identification task sent by the caller, and the recognition result is obtained after calculating the identification task, and the recognition result is fed back to the caller; the feedback module is used to receive the identification task from the caller; and the feedback module is used to receive the identification result from the caller. The user's appeal request is transferred to the staff for processing, and the processed appeal result is returned to the caller. The statistical query module is used to count the service operation data of each identification task in a preset cycle for service effect evaluation and feedback to the administrator. When the caller is unsatisfied with the identification result, the invention can receive the appeal request and feedback the revised appeal result to the caller, so as to improve the service experience of the caller and improve the efficiency of cooperation between the manual and the algorithm.

【技术实现步骤摘要】
一种自反馈人工智能模型管理系统
本专利技术涉及人工智能计算
，特别涉及一种自反馈人工智能模型管理系统。
技术介绍
人工智能计算服务大多需要一个监督学习下生成的模型，该模型需要不断更新迭代，在这个过程中也需要不断收集反馈信息。现有常见业务管理系统中，都是对人的经营业务的情况进行记录分析，没有针对模型优化过程以及人与算法的配合过程的设计的数字化管理体系。
技术实现思路
本专利技术的目的旨在至少解决所述技术缺陷之一。为此，本专利技术的目的在于提出一种自反馈人工智能模型管理系统。为了实现上述目的，本专利技术的实施例提供一种自反馈人工智能模型管理系统，包括：计算模块、反馈模块和统计查询模块，其中，所述计算模块用于接收调用方发送来的识别任务，对该识别任务进行计算后得到识别结果，将所述识别结果反馈至所述调用方；所述反馈模块用于接收来自所述调用方的申诉请求，并将该申诉请求转至工作人员进行处理，将处理后的申诉结果返回给所述调用方；所述统计查询模块用于以预设周期统计每个识别任务的服务运行数据，以进行服务效果评估，并反馈给管理员。进一步，本专利技术还包括：数据库，所述数据库还用于存储来自所述计算模块的识别结果。进一步，所述数据库还用于存储来自所述反馈模块的申诉结果。进一步，所述申诉结果为工作人员根据所述申请请求所针对的任务结果进行重新识别处理及修正的结果。进一步，所述统计查询模块的统计的服务运行数据包括：所述识别任务的计算量、针对要识别的整张图片的正确率、申诉率、不同识别对象的出现次数、针对每个sku单元的识别正确率。进一步，所述统计查询模块还用于对申诉结果的工作进行阶段性统计总结，以进行迭代优化。进一步，所述统计查询模块根据所述调用方申诉的数量，计算模型得分、sku识别效果得分，并进而根据模型得分、sku识别效果得分计算训练集得分，根据训练集得分优化模型生产线和在线服务。进一步，所述统计查询模块根据预设周期内的客户申诉的数量，计算每个项目当前模型的模型得分。进一步，所述统计查询模块根据每个提出申诉请求的任务中的sku数量，计算出每个预设的sku识别效果得分。进一步，所述预设周期为24小时或7天。根据本专利技术实施例的自反馈人工智能模型管理系统，可以在调用方对识别结果不满意时，接收其申诉请求，并向调用方反馈经过修正的申诉结果，以提高调用方的服务体验。并且，本专利技术可以对每次服务的执行数据进行统计，并进行迭代优化，提升人工和算法进行配合工作的效率。本专利技术使得人工智能服务算法效果能够不断提高，帮助企业为客户提供更好的服务。同时经营人员可以更有效的通过数据掌握人工智能服务供应链各个环节的工作情况，更好的优化企业管理，从而提升企业整体的经营效益。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术实施例的自反馈人工智能模型管理系统的结构图；图2为根据本专利技术实施例的自反馈人工智能模型管理系统的数据流程图；图3为根据本专利技术实施例的自反馈人工智能模型管理系统的示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。本专利技术提供一种自反馈的人工智能模型管理系统，可以提供人工智能计算服务。如图1和图2所示，本专利技术实施例的自反馈人工智能模型管理系统，包括：计算模块1、反馈模块2和统计查询模块3。具体的，计算模块1用于接收调用方发送来的识别任务，对该识别任务进行计算后得到识别结果，将识别结果反馈至调用方。在本专利技术的实施例中，识别任务可以为对实体产品或图像的识别。其中，识别任务：主要针对包含实体产品或其他需要识别的对象的图片或视频，任务会从这些图片或视频中提取不同业务场景所需的信息。本专利技术实施例的自反馈人工智能模型管理系统，还包括：数据库。数据库还用于存储来自计算模块1的识别结果。反馈模块2用于接收来自调用方的申诉请求，并将该申诉请求转至工作人员进行处理，将处理后的申诉结果返回给调用方。具体的，当调用方对计算模块1反馈的识别结果不满意时，可以向反馈模块2发出申诉请求。反馈模块2负责收集人工智能算法的效果评价，记录该次计算结果是否被申诉，如被申诉则交由工作人员人力介入进行结果修正。同时该工作人员修正结果(即申诉结果)相关的数据，也会被记录。即，数据库还用于存储来自反馈模块2的申诉结果。如果该任务被申诉，反馈模块2则将任务结果调出，由人工重新进行识别处理，并提交人工处理的结果。人工结果同时被返回给调用方，并记录在数据库中。人工工作情况也会同时被记录。在本专利技术的一个实施例中，申诉结果为工作人员根据申请请求所针对的任务结果进行重新识别处理及修正的结果。统计查询模块3用于以预设周期统计每个识别任务的服务运行数据，以进行服务效果评估，并反馈给管理员。在本专利技术的一个实施例中，服务运行数据包括：识别任务的计算量、针对要识别的整张图片的正确率、申诉率、不同识别对象的出现次数、针对每个sku单元的识别正确率，将这些数据可用作模型效果评估。此外，统计查询模块3还用于对申诉结果的工作进行阶段性统计总结，以提升人工和算法进行配合工作的效率，最终使模型可以不断被迭代优化。具体的，统计查询模块3根据调用方申诉的数量，计算模型得分、sku识别效果得分，并进而根据模型得分、sku识别效果得分计算训练集得分，根据训练集得分优化模型生产线和在线服务。具体来说，训练集得分能够反应出，训练集中每种sku数据在训练过数据集的缺陷，工作人员可以根据这个结论有针对性的优化训练机，提升服务效果。统计查询模块3根据预设周期内的客户申诉的数量，计算每个项目当前模型的模型得分。设模型得分为score(model)，申诉统计周期为T，申诉数量为p，模型本身的准确率为a，召回率为r，sku总数为s，被申诉的sku数为n。score(model)由T，p，a，r组合计算得到。简记为：score(model)＝F(T,p,a,r,s,n)在本专利技术的一个实施例中，预设周期为24小时或7天。需要说明的是，预设周期是由管理员进行配置，其时间长度可以由管理员根据需要进行设置。统计查询模块3根据每个提出申诉请求的任务中的sku数量，计算出每个预设的sku识别效果得分。设sku识别效果得分为score(sku)。sku在出现的图片数为n，sku出现总数为s，被正确识别出的次数为r，计算周期为T，则score(sku)＝F(n,s,r,T)图3为根据本专利技术实施例的自反馈人工智能模型管理系统的示意图。1.计算模块每次计算一个任务，将任务结果进行记录，并返回给调用端。2.如果该任务被申诉，则将任务结果调出，由人工重新进行识别处理，并提交人工处理的结果(即，申诉结果)。人工结果同时被返回给调用方，并记录在数据库中。人工工作情况也会同时被记录。3.根据需要查询出评估人工智能算法的效果所需的数据。4.根据一个周期内的客户申诉的数量，计算每一个项目当前模型的得分。5.根据每一个申诉的任务中，包含的s本文档来自技高网...

【技术保护点】
1.一种自反馈人工智能模型管理系统，其特征在于，包括：计算模块、反馈模块和统计查询模块，其中，所述计算模块用于接收调用方发送来的识别任务，对该识别任务进行计算后得到识别结果，将所述识别结果反馈至所述调用方；所述反馈模块用于接收来自所述调用方的申诉请求，并将该申诉请求转至工作人员进行处理，将处理后的申诉结果返回给所述调用方；所述统计查询模块用于以预设周期统计每个识别任务的服务运行数据，以进行服务效果评估，并反馈给管理员。

【技术特征摘要】
1.一种自反馈人工智能模型管理系统，其特征在于，包括：计算模块、反馈模块和统计查询模块，其中，所述计算模块用于接收调用方发送来的识别任务，对该识别任务进行计算后得到识别结果，将所述识别结果反馈至所述调用方；所述反馈模块用于接收来自所述调用方的申诉请求，并将该申诉请求转至工作人员进行处理，将处理后的申诉结果返回给所述调用方；所述统计查询模块用于以预设周期统计每个识别任务的服务运行数据，以进行服务效果评估，并反馈给管理员。2.如权利要求1所述的自反馈人工智能模型管理系统，其特征在于，还包括：数据库，所述数据库还用于存储来自所述计算模块的识别结果。3.如权利要求2所述的自反馈人工智能模型管理系统，其特征在于，所述数据库还用于存储来自所述反馈模块的申诉结果。4.如权利要求1或3所述的自反馈人工智能模型管理系统，其特征在于，所述申诉结果为工作人员根据所述申请请求所针对的任务结果进行重新识别处理及修正的结果。5.如权利要求1所述的自反馈人工智能模型管理系统，其特征在于，所述统计查询模块的统计的...

【专利技术属性】
技术研发人员：张发恩，闫威，郑韬，刘亚萍，秦永强，
申请(专利权)人：创新奇智北京科技有限公司，
类型：发明
国别省市：北京,11