本申请公开了一种视频流处理方法、装置、电子设备和存储介质。方法包括：边缘节点获取待分析的视频流；针对视频流的每帧，利用第一模型，检测相应帧是否为目标帧，得到检测结果；利用检测结果，确定相应帧的状态；相应帧的状态包括非感兴趣区间状态、进入感兴趣区间状态、处于感兴趣区间状态或离开感兴趣区间状态；视频流中相邻两个感兴趣区间之间的帧间隔大于或等于N；将处于第一状态的相应帧存入缓存，第一状态包括进入感兴趣区间状态或处于感兴趣区间状态；其中，在有相应帧存入缓存后，从缓存中读取相应帧，利用第二模型对读取的相应帧进行分析，得到分析结果。本申请提供的方案，边缘节点将目标帧存入缓存再分析，提高了分析结果的精确度。结果的精确度。结果的精确度。
【技术实现步骤摘要】
视频流处理方法、装置、电子设备和存储介质
[0001]本申请涉及人工智能(AI，Artificial Intelligence)
，尤其涉及一种视频流处理方法、装置、电子设备和存储介质。
技术介绍
[0002]相关技术中，AI的应用领域主要包括计算机视觉、自然语言处理、语音识别等领域，典型的计算机视觉AI应用程序，基于神经网络模型，对输入数据，如图片、视频文件、网络视频流中感兴趣的目标进行检测分析，从而达到理解图片、文件或者视频内容的目的。AI应用程序可以运行在位于云端的服务器上，也可以运行在边缘计算设备上。当AI应用程序部署在边缘计算设备时，由于边缘计算设备靠近物或数据源头，能够更快地产生网络服务响应，及时满足用户对视频流数据的分析需求，还能够减少带宽资源的消耗。
[0003]然而，与云端的服务器相比，边缘计算设备的数据处理能力较弱，难以高效地处理高帧率(即每秒显示的帧数高)/高清(即每帧对应的图像分辨率高)视频流数据。因此，如何使用处理能力较弱的边缘计算设备对高帧率/高清视频流数据进行精确分析，目前尚未有有效解决方案。
技术实现思路
[0004]为解决相关技术问题，本申请实施例提供一种视频流处理方法、装置、电子设备和存储介质。
[0005]本申请实施例的技术方案是这样实现的：
[0006]本申请实施例提供一种视频流处理方法，包括：
[0007]获取待分析的视频流；
[0008]针对所述视频流的每帧，利用第一模型，检测相应帧是否为目标帧，得到检测结果；利用检测结果，确定所述相应帧的状态；所述相应帧的状态包括非感兴趣区间(IOI，Interval Of Interest)状态、进入IOI状态、处于IOI状态或离开IOI状态；所述视频流中相邻两个IOI之间的帧间隔大于或等于N；N为大于或等于2的整数；将处于第一状态的所述相应帧存入缓存，所述第一状态包括进入IOI状态或处于IOI状态；其中，
[0009]在有相应帧存入所述缓存后，从所述缓存中读取相应帧，利用第二模型对读取的相应帧进行分析，得到分析结果。
[0010]上述方法中，所述利用所述检测结果，确定所述相应帧的状态，包括：
[0011]当检测到所述视频流中所述相应帧之前的连续M个帧均为目标帧时，确定所述相应帧处于所述进入IOI状态；M为大于或等于1的整数。
[0012]上述方法中，所述利用所述检测结果，确定所述相应帧的状态，包括：
[0013]当所述视频流中所述相应帧的上一帧处于进入IOI状态，且检测到所述相应帧为目标帧时，确定所述相应帧处于处于IOI状态。
[0014]上述方法中，所述利用所述检测结果，确定所述相应帧的状态，包括：
[0015]当检测到所述视频流中所述相应帧之前的连续P个帧的上一帧处于处于IOI状态，且所述相应帧之前的连续P个帧均为非目标帧时，确定所述相应帧处于离开IOI状态；P为大于或等于1的整数。
[0016]上述方法中，所述利用所述检测结果，确定所述相应帧的状态，包括：
[0017]当所述视频流中所述相应帧的上一帧处于离开IOI状态，且检测到所述相应帧为非目标帧时，确定所述相应帧处于非IOI状态。
[0018]上述方法中，所述方法还包括：
[0019]当所述相应帧处于进入IOI状态时，创建所述缓存；
[0020]当所述缓存中所有帧被读取后，删除所述缓存。
[0021]上述方法中，所述当所述缓存中所有帧被读取后，删除所述缓存，包括：
[0022]从所述缓存中每读取一帧后，从所述缓存中删除相应帧；
[0023]当所述缓存为空时，删除所述缓存。
[0024]上述方法中，所述利用第一模型，检测相应帧是否为目标帧，包括：
[0025]对所述相应帧进行预处理；
[0026]利用所述第一模型，检测预处理后的相应帧是否为目标帧。
[0027]本申请实施例还提供一种视频流处理装置，包括：
[0028]获取单元，用于获取待分析的视频流；
[0029]第一处理单元，用于针对所述视频流的每帧，利用第一模型，检测相应帧是否为目标帧，得到检测结果；利用检测结果，确定所述相应帧的状态；所述相应帧的状态包括非IOI状态、进入IOI状态、处于IOI状态或离开IOI状态；所述视频流中相邻两个IOI之间的帧间隔大于或等于N；N为大于或等于2的整数；
[0030]第二处理单元，用于将处于第一状态的所述相应帧存入缓存，所述第一状态包括进入IOI状态或处于IOI状态；其中，
[0031]在有相应帧存入所述缓存后，从所述缓存中读取相应帧，利用第二模型对读取的相应帧进行分析，得到分析结果。
[0032]本申请实施例还提供一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
[0033]其中，所述处理器用于运行所述计算机程序时，执行上述任一所述视频流处理方法的步骤。
[0034]本申请实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述视频流处理方法的步骤。
[0035]本申请实施例提供的视频流处理方法、装置、电子设备和存储介质，边缘节点获取待分析的视频流；针对所述视频流的每帧，利用第一模型，检测相应帧是否为目标帧，得到检测结果；利用所述检测结果，确定所述相应帧的状态；所述相应帧的状态包括非IOI状态、进入IOI状态、处于IOI状态或离开IOI状态；所述视频流中相邻两个IOI之间的帧间隔大于或等于N；N为大于或等于2的整数；将处于第一状态的所述相应帧存入缓存，所述第一状态包括进入IOI状态或处于IOI状态；其中，在有相应帧存入所述缓存后，从所述缓存中读取相应帧，利用第二模型对读取的相应帧进行分析，得到分析结果。本申请实施例提供的技术方案，对于待分析的视频流，边缘节点(即边缘计算设备)将视频流中处于进入IOI状态和处于
IOI状态的相应帧存入缓存，再对缓存中的相应帧进行逐帧分析以得到分析结果，避免了直接分析视频流中所有帧时由于边缘节点处理能力不足而导致的视频分析结果可靠性低的情况，从而提高了视频分析结果的精确度，即实现了采用低算力、低处理能力的边缘节点对高帧率和/或高清视频流的精准分析。
附图说明
[0036]图1为本申请实施例视频流处理的方法流程示意图；
[0037]图2为本申请实施例视频流中IOI之间的帧间隔的结构示意图；
[0038]图3为本申请应用实施例视频流处理方法的流程示意图；
[0039]图4为本申请应用实施例视频流中帧的状态的结构示意图
[0040]图5为本申请实施例视频流处理装置结构示意图；
[0041]图6为本申请实施例电子设备结构示意图。
具体实施方式
[0042]下面通过附图及具体实施例对本专利技术做进一步的详细说明。
[0043]对本申请进行进一步详细说明之前，对本申请实施例中涉及本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频流处理方法，其特征在于，应用于边缘节点，包括：获取待分析的视频流；针对所述视频流的每帧，利用第一模型，检测相应帧是否为目标帧，得到检测结果；利用所述检测结果，确定所述相应帧的状态；所述相应帧的状态包括非感兴趣区间状态、进入感兴趣区间状态、处于感兴趣区间状态或离开感兴趣区间状态；所述视频流中相邻两个感兴趣区间之间的帧间隔大于或等于N；N为大于或等于2的整数；将处于第一状态的所述相应帧存入缓存，所述第一状态包括进入感兴趣区间状态或处于感兴趣区间状态；其中，在有相应帧存入所述缓存后，从所述缓存中读取相应帧，利用第二模型对读取的相应帧进行分析，得到分析结果。2.根据权利要求1所述的方法，其特征在于，所述利用所述检测结果，确定所述相应帧的状态，包括：当检测到所述视频流中所述相应帧之前的连续M个帧均为目标帧时，确定所述相应帧处于进入感兴趣区间状态；M为大于或等于1的整数。3.根据权利要求1所述的方法，其特征在于，所述利用所述检测结果，确定所述相应帧的状态，包括：当所述视频流中所述相应帧的上一帧处于进入感兴趣区间状态，且检测到所述相应帧为目标帧时，确定所述相应帧处于处于感兴趣区间状态。4.根据权利要求1所述的方法，其特征在于，所述利用所述检测结果，确定所述相应帧的状态，包括：当检测到所述视频流中所述相应帧之前的连续P个帧的上一帧处于处于感兴趣区间状态，且所述相应帧之前的连续P个帧均为非目标帧时，确定所述相应帧处于离开感兴趣区间状态；P为大于或等于1的整数。5.根据权利要求1所述的方法，其特征在于，所述利用所述检测结果，确定所述相应帧的状态，包括：当所述视频流中所述相应帧的上一帧处于离开感兴趣区间状态，且检测到所述相应帧为非目标帧时，确定...
【专利技术属性】
技术研发人员：张艺乐，欧卓樾，沈俊乾，李帅，刘旭，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。