一种AI推理结果的判优方法及系统技术方案

本申请公开了一种AI推理结果的判优方法及系统，方法包括：通过AI管理单元确定AI计算任务的配置信息，并将配置信息发送至AI输入单元；通过AI输入单元接收视频源，根据配置信息对视频源进行预处理，以得到源消息和源数据，并将源消息发送至事件处理单元，将源数据发送至AI计算单元，以使AI计算单元根据源数据和配置信息得到计算结果；通过接收转换单元接收计算结果，并对计算结果进行解析，以得到结果事件，并将结果事件发送至事件处理单元；通过事件处理单元根据源消息对结果事件进行同步，以根据结果事件得到事件消息，并将事件消息发送至判优分析单元；通过判优分析单元对事件消息进行判优处理，以得到推理结果。以得到推理结果。以得到推理结果。

【技术实现步骤摘要】
一种AI推理结果的判优方法及系统


[0001]本申请涉及计算机领域，尤其涉及一种AI推理结果的判优方法及系统。

技术介绍

[0002]目前市面上的云计算具有延时高、功耗高、网络压力大、数据安全风险大等缺点，进而推进了低功耗边缘计算平台的高速发展。边缘计算可广泛应用于智慧城市、智能驾驶、智慧工厂等行业领域，近几年随着AI硬件计算性能的提升以及AI计算模型的小型化，加快了边缘计算网关在各行各业的布局和应用。边缘计算网关具有体积小、功耗低等特点，但通过集成单个AI计算单元，无法实现大运算量的推理任务，此外，边缘计算网关执行推理结果的准确度、可信度完全依赖于单个AI计算单元的性能及算力负载情况，当AI计算单元出现故障、或者因任务过载导致AI计算单元执行缓慢时，将严重影响边缘计算网关推理结果。

技术实现思路

[0003]为了解决上述问题，本申请提出了一种AI推理结果的判优方法，包括：通过AI管理单元确定AI计算任务的配置信息，并将所述配置信息发送至AI输入单元；通过所述AI输入单元接收视频源，根据所述配置信息对所述视频源进行预处理，以得到源消息和源数据，并将所述源消息发送至事件处理单元，将所述源数据发送至所述AI计算单元，以使所述AI计算单元根据所述源数据和所述配置信息得到计算结果；通过接收转换单元接收所述计算结果，并对所述计算结果进行解析，以得到结果事件，并将所述结果事件发送至事件处理单元；通过所述事件处理单元根据所述源消息对所述结果事件进行同步，以根据所述结果事件得到事件消息，并将所述事件消息发送至判优分析单元；通过所述判优分析单元对所述事件消息进行判优处理，以得到推理结果。
[0004]在一个示例中，通过所述事件处理单元根据所述源消息对所述结果事件进行同步，以根据所述结果事件得到事件消息，具体包括：根据所述源消息和所述配置信息确定结果消息队列，其中，所述结果消息队列包括但不限于数据源标识、时间信息、任务标识、计算单元标识；将所述结果事件与所述结果消息队列进行比对，以对所述结果消息队列进行更新，并根据所述数据源标识将所述结果事件进行打包，以得到所述事件消息。
[0005]在一个示例中，根据所述数据源标识将所述结果事件进行打包之前，所述方法还包括：通过所述事件处理单元确定预先设定的超时机制，根据所述超时机制的时间限制对所述AI计算单元进行超时查询；若所述AI计算单元在所述时间限制内没有生成所述计算结果，则通过所述事件处理单元生成失败事件消息，并将所述失败事件消息发送至所述判优分析单元。
[0006]在一个示例中，所述AI计算任务对应多个所述AI计算单元；通过所述判优分析单元对所述事件消息进行判优处理之前，所述方法还包括：根据所述任务标识，通过所述判优分析单元对所述事件消息进行分类；根据所述计算单元标识对分类后的所述事件消息进行比对，以判断所述AI计算单元的数量与所述计算结果的数量是否一致；若所述AI计算单元
的数量与所述计算结果的数量一致，则将全部的所述计算结果标记为第一结果；若所述AI计算单元的数量与所述计算结果的数量不一致，则确定所述计算结果中的失败结果，并根据所述失败结果在所述计算结果中确定第二结果；根据所述第一结果和所述第二结果的比值确定所述AI计算任务的成功率。
[0007]在一个示例中，通过所述判优分析单元对所述事件消息进行判优处理，具体包括：将所述成功率与预先设置的阈值进行比较；若所述成功率小于所述阈值，则通过所述判优分析单元判决所述AI计算任务为失败；若所述成功率大于或等于所述阈值，则确定预先设置的置信度，根据所述置信度通过所述判优分析单元对所述计算结果进行判优，以得到推理结果。
[0008]在一个示例中，将所述配置信息发送至AI输入单元之后，所述方法还包括：根据所述配置信息确定资源文件和推理任务，通过所述AI输入单元将所述资源文件发和所述推理任务送至所述AI计算单元，以根据所述资源文件对所述AI计算单元进行模型配置，根据所述推理任务对所述AI计算单元进行任务配置，其中，所述推理任务包括但不限于人脸识别、物体检测。
[0009]在一个示例中，得到推理结果之后，所述方法还包括：将所述推理结果发送至结果处理单元，通过所述结果处理单元确定所述推理结果的显示信息，将所述显示信息进行云端推送。
[0010]另一方面，本申请还提出了一种AI推理结果的判优系统，包括：背板单元，设置有接口组；所述接口组包括多个接口，所述多个接口之间设置有通信交换总线；AI计算单元，通过所述接口组接入所述背板单元；主控单元，通过所述接口接入所述背板单元，用于通过所述背板单元对所述AI计算单元进行管理；所述主控单元设置有AI管理单元、AI输入单元、接收转换单元、事件处理单元、判优分析单元和结果处理单元。
[0011]在一个示例中，所述AI管理单元用于确定AI计算任务的配置信息，并将所述配置信息发送至所述AI输入单元；所述AI输入单元用于接收视频源，根据所述配置信息对所述视频源进行预处理，以得到源消息和源数据，并将所述源消息发送至所述事件处理单元，将所述源数据发送至所述AI计算单元，以使所述AI计算单元根据所述源数据和所述配置信息得到计算结果；所述AI输入单元还用于根据所述配置信息确定资源文件和推理任务，并将所述资源文件发和所述推理任务送至所述AI计算单元，以根据所述资源文件对所述AI计算单元进行模型配置，根据所述推理任务对所述AI计算单元进行任务配置；所述接收转换单元用于接收所述计算结果，并对所述计算结果进行解析，以得到结果事件，并将所述结果事件发送至所述事件处理单元；所述事件处理单元用于根据所述源消息对所述结果事件进行同步，以根据所述结果事件得到事件消息，并将所述事件消息发送至所述判优分析单元；所述判优分析单元用于对所述事件消息进行判优处理，以得到推理结果，并将所述推理结果发送至所述结果处理单元；所述结果处理单元用于确定所述推理结果的显示信息，并将所述显示信息进行云端推送。
[0012]在一个示例中，所述AI计算单元用于通过所述通信交换总线接收所述AI输入单元发出的源数据和配置信息。
[0013]本申请提出了一种支持对多个AI计算单元输出结果进行判优的方法，从而可以获得高精度、高可靠的AI推理结果。同时支持对多个AI计算单元输出结果的同步判决，可有效
解决因AI计算单元性能差异、AI计算任务分配不均等引起的AI计算结果输出不同步问题。通过支持多个AI计算单元，提升了系统的高可靠性；有效避免了单个AI计算单元故障将影响整体AI计算任务的执行的问题。通过支持多个AI计算单元运行相同AI计算任务，提高了AI计算结果的准确性；可以基于所有AI计算单元的推理结果进行比对，择优判决出最佳的AI计算结果。通过支持多个AI计算单元运行相同AI计算任务，可以进行异构AI计算单元的性能对比。通过支持多个AI计算单元运行相同AI计算任务，基于消息和事件处理单元，可以解决因AI计算单元性能不同引起的AI计算结果不同步问题。通过支持多个AI计算单元运行不同AI计算任务，可以将AI计算任务对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种AI推理结果的判优方法，其特征在于，包括：通过AI管理单元确定AI计算任务的配置信息，并将所述配置信息发送至AI输入单元；通过所述AI输入单元接收视频源，根据所述配置信息对所述视频源进行预处理，以得到源消息和源数据，并将所述源消息发送至事件处理单元，将所述源数据发送至所述AI计算单元，以使所述AI计算单元根据所述源数据和所述配置信息得到计算结果；通过接收转换单元接收所述计算结果，并对所述计算结果进行解析，以得到结果事件，并将所述结果事件发送至事件处理单元；通过所述事件处理单元根据所述源消息对所述结果事件进行同步，以根据所述结果事件得到事件消息，并将所述事件消息发送至判优分析单元；通过所述判优分析单元对所述事件消息进行判优处理，以得到推理结果。2.根据权利要求1所述的方法，其特征在于，通过所述事件处理单元根据所述源消息对所述结果事件进行同步，以根据所述结果事件得到事件消息，具体包括：根据所述源消息和所述配置信息确定结果消息队列，其中，所述结果消息队列包括但不限于数据源标识、时间信息、任务标识、计算单元标识；将所述结果事件与所述结果消息队列进行比对，以对所述结果消息队列进行更新，并根据所述数据源标识将所述结果事件进行打包，以得到所述事件消息。3.根据权利要求2所述的方法，其特征在于，根据所述数据源标识将所述结果事件进行打包之前，所述方法还包括：通过所述事件处理单元确定预先设定的超时机制，根据所述超时机制的时间限制对所述AI计算单元进行超时查询；若所述AI计算单元在所述时间限制内没有生成所述计算结果，则通过所述事件处理单元生成失败事件消息，并将所述失败事件消息发送至所述判优分析单元。4.根据权利要求2所述的方法，其特征在于，所述AI计算任务对应多个所述AI计算单元；通过所述判优分析单元对所述事件消息进行判优处理之前，所述方法还包括：根据所述任务标识，通过所述判优分析单元对所述事件消息进行分类；根据所述计算单元标识对分类后的所述事件消息进行比对，以判断所述AI计算单元的数量与所述计算结果的数量是否一致；若所述AI计算单元的数量与所述计算结果的数量一致，则将全部的所述计算结果标记为第一结果；若所述AI计算单元的数量与所述计算结果的数量不一致，则确定所述计算结果中的失败结果，并根据所述失败结果在所述计算结果中确定第二结果；根据所述第一结果和所述第二结果的比值确定所述AI计算任务的成功率。5.根据权利要求4所述的方法，其特征在于，通过所述判优分析单元对所述事件消息进行判优处理，具体包括：将所述成功率与预先设置的阈值进行比较；若所述成功率小于所述阈值，则通过所述判优分析单元判决所述AI计...

【专利技术属性】
技术研发人员：李翱，张守勇，
申请(专利权)人：无锡隐溪信息技术有限公司，
类型：发明
国别省市：