人工智能推理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术属于人工智能技术领域，公开了一种人工智能推理方法、装置、设备及存储介质。该方法包括：基于场景线程获取帧数据，确定帧数据对应的目标算法模型；基于目标算法模型对应的目标缓冲实例将帧数据存储至目标缓冲实例对应的存储区域；在检测到当前存储区域中的数据满足预设要求时，基于当前缓冲实例对应的调度线程从当前存储区域中取出待推理数据；将待推理数据合成批次数据；根据当前缓冲实例对批次数据进行推理。通过上述方式，对多个场景对应的帧数据进行调度推理，将多个场景对应的同一算法模型的帧数据合成批次数据，进行批量推理，提高硬件的利用能力，减少场景排队引起的推理堵塞，提高了推理效率，减小了推理耗时。减小了推理耗时。减小了推理耗时。

【技术实现步骤摘要】
人工智能推理方法、装置、设备及存储介质


[0001]本专利技术涉及人工智能
，尤其涉及一种人工智能推理方法、装置、设备及存储介质。

技术介绍

[0002]在人工智能(Artificial Intelligence，AI)场景中，算法的运行依赖图形处理器(Graphics Processing Unit，GPU)的推理能力，很多GPU设备是支持多批推理的，也就是支持批量的推理n张图片，推理时间是依次推理n张图片的1/n。但是在实际应用中，多批推理只是用在单个场景，而单个场景每次送入的推理图片可能达不到n张图片，造成硬件资源的浪费，在面对多场景推理时现有的方式效率低，推理耗时长。
[0003]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0004]本专利技术的主要目的在于提供一种人工智能推理方法、装置、设备及存储介质，旨在解决在面对多场景推理时现有的方式效率低，推理耗时长的技术问题。
[0005]为实现上述目的，本专利技术提供了一种人工智能推理方法，所述方法包括以下步骤：
[0006]基于场景线程获取帧数据，并确定所述帧数据对应的目标算法模型；
[0007]基于所述目标算法模型对应的目标缓冲实例将所述帧数据存储至所述目标缓冲实例对应的存储区域；
[0008]在检测到当前存储区域中的数据满足预设要求时，基于当前缓冲实例对应的调度线程从所述当前存储区域中取出待推理数据；
[0009]将所述待推理数据合成批次数据；
[0010]根据所述当前缓冲实例对所述批次数据进行推理。
[0011]可选地，所述基于场景线程获取帧数据，并确定所述帧数据对应的目标算法模型之前，所述方法还包括：
[0012]在获取到系统启动指令时，根据各场景线程对应的算法模型创建各所述场景线程对应的调度实例；
[0013]所述基于所述目标算法模型对应的目标缓冲实例将所述帧数据存储至所述目标缓冲实例对应的存储区域，包括：
[0014]根据所述场景线程对应的目标调度实例将所述帧数据传输至所述目标算法模型对应的目标缓冲实例，以使所述目标缓冲实例将所述帧数据存储至所述目标缓冲实例对应的存储区域。
[0015]可选地，所述目标调度实例通过通道传输帧数据至所述目标缓冲实例。
[0016]可选地，所述根据所述当前缓冲实例对所述批次数据进行推理之后，所述方法还包括：
[0017]在检测到所述批次数据推理完成时，将推理结果分发至所述批次数据对应的各场景线程。
[0018]可选地，所述在检测到所述批次数据推理完成时，将推理结果分发至所述批次数据对应的各场景线程，包括：
[0019]在检测到所述批次数据推理完成时，确定所述批次数据中各帧数据分别对应的通道标识；
[0020]根据若干所述通道标识分别查找对应的线程标识；
[0021]根据若干所述线程标识将推理结果分发至对应的各场景线程。
[0022]可选地，所述根据所述当前缓冲实例对所述批次数据进行推理之后，所述方法还包括：
[0023]在检测到目标场景线程对应的目标帧数据推理完成时，根据所述目标帧数据查找所述目标场景线程对应的目标线程标识；
[0024]根据所述目标线程标识将目标推理结果发送至所述目标场景线程。
[0025]可选地，所述根据所述当前缓冲实例对所述批次数据进行推理，包括：
[0026]根据所述当前缓冲实例将所述批次数据发送至推理引擎，以使所述推理引擎根据所述当前缓冲实例对应的当前推理算法对所述批次数据进行推理。
[0027]可选地，所述在检测到当前存储区域中的数据满足预设要求时，基于当前缓冲实例对应的调度线程从所述当前存储区域中取出待推理数据，包括：
[0028]基于当前缓冲实例对应的调度线程按照预设检测周期定时检测当前存储区域中的数据；
[0029]在检测到所述当前存储区域中存在数据时，根据所述调度线程从所述当前存储区域中取出待推理数据。
[0030]可选地，所述在检测到当前存储区域中的数据满足预设要求时，基于当前缓冲实例对应的调度线程从所述当前存储区域中取出待推理数据，包括：
[0031]在检测到当前存储区域中的数据数量达到预设数量阈值时，基于当前缓冲实例对应的调度线程从所述当前存储区域中取出待推理数据。
[0032]可选地，所述在检测到当前存储区域中的数据满足预设要求时，基于当前缓冲实例对应的调度线程从所述当前存储区域中取出待推理数据，包括：
[0033]在检测到当前存储区域中的数据大小超过预设容量大小时，基于当前缓冲实例对应的调度线程从所述当前存储区域中取出待推理数据。
[0034]此外，为实现上述目的，本专利技术还提出一种人工智能推理装置，所述人工智能推理装置包括：
[0035]确定模块，用于基于场景线程获取帧数据，并确定所述帧数据对应的目标算法模型；
[0036]调度模块，用于基于所述目标算法模型对应的目标缓冲实例将所述帧数据存储至所述目标缓冲实例对应的存储区域；
[0037]检测模块，用于在检测到当前存储区域中的数据满足预设要求时，基于当前缓冲实例对应的调度线程从所述当前存储区域中取出待推理数据；
[0038]合成模块，用于将所述待推理数据合成批次数据；
[0039]推理模块，用于根据所述当前缓冲实例对所述批次数据进行推理。
[0040]可选地，所述人工智能推理装置还包括创建模块；
[0041]所述创建模块，用于在获取到系统启动指令时，根据各场景线程对应的算法模型创建各所述场景线程对应的调度实例；
[0042]所述调度模块，还用于根据所述场景线程对应的目标调度实例将所述帧数据传输至所述目标算法模型对应的目标缓冲实例，以使所述目标缓冲实例将所述帧数据存储至所述目标缓冲实例对应的存储区域。
[0043]可选地，所述目标调度实例通过通道传输帧数据至所述目标缓冲实例。
[0044]可选地，所述人工智能推理装置还包括分发模块；
[0045]所述分发模块，用于在检测到所述批次数据推理完成时，将推理结果分发至所述批次数据对应的各场景线程。
[0046]可选地，所述分发模块，还用于在检测到所述批次数据推理完成时，确定所述批次数据中各帧数据分别对应的通道标识，根据若干所述通道标识分别查找对应的线程标识，根据若干所述线程标识将推理结果分发至对应的各场景线程。
[0047]可选地，所述人工智能推理装置还包括结果返回模块；
[0048]所述结果返回模块，用于在检测到目标场景线程对应的目标帧数据推理完成时，根据所述目标帧数据查找所述目标场景线程对应的目标线程标识，根据所述目标线程标识将目标推理结果发送至所述目标场景线程。
[0049]可选地，所述推理模块，还用于根据所述当前缓冲实例将所述批次数据发送至推理引擎，以使所述推理引擎根据所述当前缓冲实例对应的当本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人工智能推理方法，其特征在于，所述人工智能推理方法包括：基于场景线程获取帧数据，并确定所述帧数据对应的目标算法模型；基于所述目标算法模型对应的目标缓冲实例将所述帧数据存储至所述目标缓冲实例对应的存储区域；在检测到当前存储区域中的数据满足预设要求时，基于当前缓冲实例对应的调度线程从所述当前存储区域中取出待推理数据；将所述待推理数据合成批次数据；根据所述当前缓冲实例对所述批次数据进行推理。2.如权利要求1所述的人工智能推理方法，其特征在于，所述基于场景线程获取帧数据，并确定所述帧数据对应的目标算法模型之前，所述方法还包括：在获取到系统启动指令时，根据各场景线程对应的算法模型创建各所述场景线程对应的调度实例；所述基于所述目标算法模型对应的目标缓冲实例将所述帧数据存储至所述目标缓冲实例对应的存储区域，包括：根据所述场景线程对应的目标调度实例将所述帧数据传输至所述目标算法模型对应的目标缓冲实例，以使所述目标缓冲实例将所述帧数据存储至所述目标缓冲实例对应的存储区域。3.如权利要求2所述的人工智能推理方法，其特征在于，所述目标调度实例通过通道传输帧数据至所述目标缓冲实例。4.如权利要求3所述的人工智能推理方法，其特征在于，所述根据所述当前缓冲实例对所述批次数据进行推理之后，所述方法还包括：在检测到所述批次数据推理完成时，将推理结果分发至所述批次数据对应的各场景线程。5.如权利要求4所述的人工智能推理方法，其特征在于，所述在检测到所述批次数据推理完成时，将推理结果分发至所述批次数据对应的各场景线程，包括：在检测到所述批次数据推理完成时，确定所述批次数据中各帧数据分别对应的通道标识；根据若干所述通道标识分别查找对应的线...

【专利技术属性】
技术研发人员：贾东风，程力行，
申请(专利权)人：奇酷软件深圳有限公司，
类型：发明
国别省市：