通用在线AI流式处理方法、装置、设备和介质制造方法及图纸

本申请提供一种通用在线AI流式处理方法、装置、设备和介质。该方法包括：根据用户端发送的视频预测请求，在AI服务器的视频AI缓冲区中查询缓存结果；若没有在视频AI缓冲区中查询到URL地址对应的缓存结果，则通过AI服务器的视频AI处理线程，确认距离第一当前时间的预设时间阈值内是否收到用户端发送的播放指示；若确认收到用户端发送的播放指示，则通过视频AI处理线程向URL地址指向的媒体服务器获取视频图像，并将视频图像的AI预测结果作为URL地址对应的缓存结果发送至视频AI缓冲区。本申请的方法让广大互联网用户可以根据不同URL地址找寻不同媒体服务器，并将媒体服务器的视频图像进行在线AI预测，十分便利。十分便利。十分便利。

【技术实现步骤摘要】
通用在线AI流式处理方法、装置、设备和介质


[0001]本申请涉及图像处理领域，尤其涉及一种通用在线AI流式处理方法、装置、设备和介质。

技术介绍

[0002]智能图像处理是人工智能(Artificial Intelligence，AI)的一个非常重要和热门的方向，例如人脸识别、图像分类、对象检测等等。
[0003]目前大部分面向图像处理的AI模型都是对单一幅图像进行处理，以人脸识别为例：输入一幅带有人脸的图像，调用预训练好的人脸识别AI模型对这张图像进行推理，根据推理结果在原图像上框出检测出的人脸并标注识别出的人员信息，得到该图像对应的AI预测结果；但此方法属于面向单幅图像的AI处理方式，无法对视频流进行处理，而即便是有部分方法可以对视频流进行处理，也只能面对特定场景和特定用户。
[0004]因此，亟待提出适用于广大互联网用户的面向视频流的AI流式处理方法。

技术实现思路

[0005]本申请提供一种通用在线AI流式处理方法、装置、设备和介质，用以解决现有技术无法让任意用户进行视频流的在线AI处理的问题。
[0006]第一方面，本申请提供一种通用在线AI流式处理方法，包括：
[0007]根据用户端发送的视频预测请求，在AI服务器的视频AI缓冲区中查询缓存结果，其中，所述视频预测请求中包括URL地址，不同URL地址指向不同媒体服务器；
[0008]若没有在所述视频AI缓冲区中查询到所述URL地址对应的缓存结果，则通过所述AI服务器的视频AI处理线程，确认距离第一当前时间的预设时间阈值内是否收到所述用户端发送的播放指示；
[0009]若确认收到所述用户端发送的播放指示，则通过所述视频AI处理线程向所述URL地址指向的媒体服务器获取视频图像，并将所述视频图像的AI预测结果作为所述URL地址对应的缓存结果发送至所述视频AI缓冲区，其中，所述AI预测结果是由所述AI服务器的图像预测线程预测产生的；
[0010]根据将所述AI预测结果发送至所述视频AI缓冲区后的第二当前时间和所述第一当前时间的时间差，确认跳帧结果，并根据所述跳帧结果重新确认是否收到所述用户端发送的播放指示，其中，所述跳帧结果包括指示跳帧和指示不跳帧。
[0011]在一种可能的实现方式中，所述通过所述AI服务器的视频AI处理线程，确认距离第一当前时间的预设时间阈值内是否收到所述用户端发送的播放指示，包括：
[0012]通过所述AI服务器的视频AI处理线程获取第一当前时间，以及获取所述用户端向所述URL地址指向的媒体服务器最后一次发送播放指示的第一时间；
[0013]若所述第一当前时间和所述第一时间的第一差值小于等于所述预设时间阈值，则确认所述第一当前时间的预设时间阈值内，收到所述用户端发送的播放指示；
[0014]若所述第一当前时间和所述第一时间的第一差值大于所述预设时间阈值，则确认所述第一当前时间的预设时间阈值内，未收到所述用户端发送的播放指示。
[0015]在一种可能的实现方式中，所述将所述视频图像的AI预测结果作为所述URL地址对应的缓存结果发送至所述视频AI缓冲区之前，所述方法还包括：
[0016]根据所述视频图像，通过所述视频AI处理线程调取所述图像预测线程，并通过所述图像预测线程将所述视频图像预测出所述AI预测结果后，将所述AI预测结果反馈至所述视频AI处理线程。
[0017]在一种可能的实现方式中，所述根据将所述AI预测结果发送至所述视频AI缓冲区后的第二当前时间和所述第一当前时间的时间差，确认跳帧结果，包括：
[0018]通过所述AI服务器的视频AI处理线程获取所述AI预测结果发送至所述视频AI缓冲区后的第二当前时间，并获取所述第二当前时间和所述第一当前时间的第二差值；
[0019]若单帧图像的播放持续时间大于等于所述第二差值，则确认指示不跳帧，并将所述播放持续时间和所述第二差值作差得到的第三差值作为所述视频AI处理线程的休眠时间，休眠结束后再重新确认是否收到所述用户端发送的播放指示；
[0020]若单帧图像的播放持续时间小于所述第二差值，则确认指示跳帧，并进行跳帧处理，根据跳帧处理后指向的视频图像，重新确认是否收到所述用户端发送的播放指示。
[0021]在一种可能的实现方式中，所述进行跳帧处理，根据跳帧处理后指向的视频图像，重新确认是否收到所述用户端发送的播放指示，包括：
[0022]将所述第二差值和所述播放持续时间作差，获得第四差值；
[0023]若所述第四差值大于等于所述播放持续时间，则进行一次跳帧，将所述第四差值和所述播放持续时间作差，获得更新后的第四差值，并重新判定更新后的第四差值是否大于等于所述播放持续时间，直到更新后的第四差值小于所述播放持续时间；
[0024]若所述第四差值小于所述播放持续时间，则进行一次跳帧，并将所述播放持续时间和所述第四差值作差得到的第五差值作为所述视频AI处理线程的休眠时间，休眠结束后再重新确认是否收到所述用户端发送的播放指示。
[0025]在一种可能的实现方式中，所述通过所述AI服务器的视频AI处理线程，确认距离第一当前时间的预设时间阈值内是否收到所述用户端发送的播放指示之前，所述方法还包括：
[0026]通过所述视频AI处理线程在所述视频AI缓冲区中创建所述URL地址对应的键值对，所述键值对将用于存储所述URL地址对应的缓存结果；
[0027]若确认未收到所述用户端发送的播放指示，则所述方法还包括：
[0028]在所述视频AI缓冲区中删除所述URL地址对应的键值对，并结束所述视频AI处理线程的相关过程。
[0029]在一种可能的实现方式中，若在所述视频AI缓冲区中查询到所述URL地址对应的缓存结果，则所述方法还包括：
[0030]在所述URL地址对应的键值对中记录所述用户端发送所述播放指示的时间，并从所述键值对中读取所述URL地址对应的缓存结果。
[0031]第二方面，本申请一种通用在线AI流式处理装置，包括：
[0032]获取模块，用于根据用户端发送的视频预测请求，在AI服务器的视频AI缓冲区中
查询缓存结果，其中，所述视频预测请求中包括URL地址，不同URL地址指向不同媒体服务器；
[0033]第一处理模块，用于若没有在所述视频AI缓冲区中查询到所述URL地址对应的缓存结果，则通过所述AI服务器的视频AI处理线程，确认距离第一当前时间的预设时间阈值内是否收到所述用户端发送的播放指示；
[0034]第二处理模块，用于若确认收到所述用户端发送的播放指示，则通过所述视频AI处理线程向所述URL地址指向的媒体服务器获取视频图像，并将所述视频图像的AI预测结果作为所述URL地址对应的缓存结果发送至所述视频AI缓冲区，其中，所述AI预测结果是由所述AI服务器的图像预测线程预测产生的；
[0035]跳帧模块，用于根据将所述AI预测结果发送至所述视频AI缓冲区后的第二当前时间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种通用在线AI流式处理方法，其特征在于，包括：根据用户端发送的视频预测请求，在AI服务器的视频AI缓冲区中查询缓存结果，其中，所述视频预测请求中包括URL地址，不同URL地址指向不同媒体服务器；若没有在所述视频AI缓冲区中查询到所述URL地址对应的缓存结果，则通过所述AI服务器的视频AI处理线程，确认距离第一当前时间的预设时间阈值内是否收到所述用户端发送的播放指示；若确认收到所述用户端发送的播放指示，则通过所述视频AI处理线程向所述URL地址指向的媒体服务器获取视频图像，并将所述视频图像的AI预测结果作为所述URL地址对应的缓存结果发送至所述视频AI缓冲区，其中，所述AI预测结果是由所述AI服务器的图像预测线程预测产生的；根据将所述AI预测结果发送至所述视频AI缓冲区后的第二当前时间和所述第一当前时间的时间差，确认跳帧结果，并根据所述跳帧结果重新确认是否收到所述用户端发送的播放指示，其中，所述跳帧结果包括指示跳帧和指示不跳帧。2.根据权利要求1所述的方法，其特征在于，所述通过所述AI服务器的视频AI处理线程，确认距离第一当前时间的预设时间阈值内是否收到所述用户端发送的播放指示，包括：通过所述AI服务器的视频AI处理线程获取第一当前时间，以及获取所述用户端向所述URL地址指向的媒体服务器最后一次发送播放指示的第一时间；若所述第一当前时间和所述第一时间的第一差值小于等于所述预设时间阈值，则确认所述第一当前时间的预设时间阈值内，收到所述用户端发送的播放指示；若所述第一当前时间和所述第一时间的第一差值大于所述预设时间阈值，则确认所述第一当前时间的预设时间阈值内，未收到所述用户端发送的播放指示。3.根据权利要求1所述的方法，其特征在于，所述将所述视频图像的AI预测结果作为所述URL地址对应的缓存结果发送至所述视频AI缓冲区之前，所述方法还包括：根据所述视频图像，通过所述视频AI处理线程调取所述图像预测线程，并通过所述图像预测线程将所述视频图像预测出所述AI预测结果后，将所述AI预测结果反馈至所述视频AI处理线程。4.根据权利要求1所述的方法，其特征在于，所述根据将所述AI预测结果发送至所述视频AI缓冲区后的第二当前时间和所述第一当前时间的时间差，确认跳帧结果，包括：通过所述AI服务器的视频AI处理线程获取所述AI预测结果发送至所述视频AI缓冲区后的第二当前时间，并获取所述第二当前时间和所述第一当前时间的第二差值；若单帧图像的播放持续时间大于等于所述第二差值，则确认指示不跳帧，并将所述播放持续时间和所述第二差值作差得到的第三差值作为所述视频AI处理线程的休眠时间，休眠结束后再重新确认是否收到所述用户端发送的播放指示；若单帧图像的播放持续时间小于所述第二差值，则确认指示跳帧，并进行跳帧处理，根据跳帧处理后指向的视频图像，重新确认是否收到所述用户端发送的播放指示。5.根据权利要求4所述的方法，其特征在于，所述进行跳帧处理，根据跳帧处理后指向的视频图像，重新确认是否收到所述用户端发送的播放指示，包...

【专利技术属性】
技术研发人员：霍龙社，曹云飞，徐治理，崔煜喆，张岩，杨洋，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：