在摄像机设备上借助于神经网络输入的通过降低视频的位率以节省带宽的智能间隔拍摄视频制造技术

一种用于在摄像机设备上借助于神经网络输入来实现通过降低视频的位率以节省带宽的间隔拍摄视频的装置包括接口和处理器。该接口可以被配置为接收由捕获设备生成的像素数据。该处理器可以被配置为进行以下操作：对视频帧执行计算机视觉操作以检测对象；基于对象的特性来执行对检测到的对象的分类；确定对象的分类是否对应于事件；响应于所有的视频帧而生成完整的视频流；以及生成经编码的视频帧。完整的视频帧可以被记录到在装置本地的存储介质。经编码的视频帧可以被传送到云服务。经编码的视频帧可以包括视频帧的第一样本和视频帧的第二样本，该第一样本是在事件未被检测到时以第一速率选择的，该第二样本是在事件被检测到时以第二速率选择的。时以第二速率选择的。时以第二速率选择的。

【技术实现步骤摘要】
在摄像机设备上借助于神经网络输入的通过降低视频的位率以节省带宽的智能间隔拍摄视频


[0001]本专利技术总体上涉及计算机视觉，并且更具体地涉及方法和/或装置，该方法和/或装置用于在摄像机设备上借助于神经网络输入来实现通过降低视频的位率以节省带宽的间隔拍摄视频。

技术介绍

[0002]针对常规的互联网连接的/云实现的摄像机的间隔拍摄视频模式通常由在云服务器上操作的软件实现。该软件依赖于使用云服务器的分布式处理的资源(即，可扩展计算)。以固定的帧速率显示间隔拍摄视频片段以实现快进效果。例如，以固定的间隔选择视频帧以创建间隔拍摄视频(即，从每秒三十帧的视频中选择每第三十个帧来创建间隔拍摄视频)。
[0003]互联网连接的/云实现的摄像机对视频数据进行编码，并且然后将经编码的视频流传送到云服务器。在云服务器上使用许多额外的CPU周期以进行以下操作：解码常规的视频流(即，使用AVC编码或HEVC编码的压缩的视频)，以固定的帧间隔提取帧，然后将这些帧转码为间隔拍摄视频。同时，即使利用间隔拍摄视频，用户也难以查找重要的细节。由于间隔拍摄视频始终使用固定的帧速率而不使用所有捕获的视频数据，因此在捕获的视频中的用户感兴趣的内容的持续时间内，以正常的显示速度的视频帧不可用。例如，当安全摄像机观察到潜在的感兴趣的事件(例如，行人)时，间隔拍摄将与当安全摄像机未观察到任何特别感兴趣的事件时相同。
[0004]针对住宅安全摄像机、存储即服务(SaaS)摄像机或其他类型的视频安全摄像机，视频会被连续地上载到(在本地或在云上的)服务器。数据的连续上载会导致大量的数据使用。带宽消耗和存储使用高度取决于所记录的视频流的平均位率。用于降低带宽消耗和存储使用的常规方法主要集中于利用各种视频编码器实用程序来降低位率的技术。更多的处理功率被用于更高效的编码技术。然而，不管是否存在事件，来自上载的视频的位在每秒上被平均分配。
[0005]将期望的是在摄像机设备上借助于神经网络输入来实现通过降低视频的位率以节省带宽的智能间隔拍摄视频。

技术实现思路

[0006]本专利技术涉及一种装置，该装置包括接口和处理器。该接口可以被配置为接收由捕获设备生成的像素数据。该处理器可以被配置为进行以下操作：从接口接收像素数据；响应于像素数据而生成视频帧；对视频帧执行计算机视觉操作以检测对象；基于对象的特性来执行对检测到的对象的分类；确定对象的分类是否对应于用户定义的事件；响应于所有的视频帧而生成完整的视频流；以及根据视频帧来生成经编码的视频帧。完整的视频流可以被记录到在装置本地的存储介质。经编码的视频帧可以被传送到云存储服务。经编码的视
频帧可以包括视频帧的第一样本和视频帧的第二样本，该第一样本是在用户定义的事件未被检测到时以第一速率选择的，该第二样本是在用户定义的事件被检测到时以第二速率选择的。第二速率可以大于第一速率。
附图说明
[0007]根据下面的详细描述和所附权利要求书以及附图，本专利技术的实施例将是显而易见的。
[0008]图1是示出本专利技术的示例上下文的图。
[0009]图2是示出实现本专利技术的示例实施例的示例互联网连接的摄像机的图。
[0010]图3是示出被配置为借助于神经网络来提供以事件为中心的间隔拍摄视频的装置的组件的框图。
[0011]图4是示出与云服务器通信的互连的摄像机和用于生成间隔拍摄视频的视频处理管线的图。
[0012]图5是示出边缘AI摄像机上的具有使用事件的所有帧的CV分析的智能间隔拍摄模式的图。
[0013]图6是示出将完整的流记录到本地存储介质并且将降低的位率的视频流传送到云存储服务的图。
[0014]图7是示出在捕获的视频帧中的事件检测的图。
[0015]图8是示出在智能手机上操作的用于控制针对间隔拍摄视频的偏好的应用的图。
具体实施方式
[0016]本专利技术的实施例包括在摄像机设备上借助于神经网络输入来提供通过降低视频的位率以节省带宽的智能间隔拍摄视频，本专利技术的实施例可以进行以下操作：(i)在边缘设备上实现事件检测；(ii)在边缘设备上实现视频编码；(iii)基于检测到的事件/对象来生成具有变化的帧速率的智能间隔拍摄视频；(iv)使用在处理器上实现的卷积神经网络来检测对象/事件；(v)调整间隔拍摄帧速率以在检测到事件/对象时捕获所有视频帧；(vi)执行面部识别和/或对象分类；(vii)将经编码的智能间隔拍摄视频而不是完整的记录上载到云存储服务器；(viii)实现用于上载视频的参数的配置；(ix)降低被传送到云存储服务的数据量；(x)降低利用云存储服务被存储的数据量；和/或(ix)被实现为一个或多个集成电路。
[0017]本专利技术的实施例可以被配置为提供智能间隔拍摄视频模式。间隔拍摄视频模式可以是通过基于在视频中捕获的内容来自动调整视频显示速度的智能间隔拍摄视频模式。本专利技术的实施例可以被配置为生成经编码的智能间隔拍摄视频。智能间隔拍摄视频可以在云服务上(例如，使用可扩展计算)生成。智能间隔拍摄视频可以在边缘设备(例如，人工智能(AI)摄像机)上生成。
[0018]本专利技术的实施例可以被配置为生成具有基于内容自动调整的视频位率的智能间隔拍摄视频。然后，具有基于内容调整的位率的视频数据可以被上载到云服务。在一个示例中，智能间隔拍摄视频可以用于安全摄像机。通过调整智能间隔拍摄视频的视频位率，可以显著地降低上载的视频流的位率。与上载完整的视频流相比，通过基于检测到的事件调整智能间隔拍摄视频的视频位率可以降低(例如，在本地或在云服务上的)带宽成本和/或存
储成本。
[0019]边缘AI摄像机可以被配置为实现人工智能(AI)技术。边缘AI摄像机使用AI技术可以在许多方面比使用云服务器更强大(例如，通过为用户提供相关的数据)并且是更节能的解决方案。边缘AI摄像机可以被配置为在设备上执行计算机可读指令(例如，不依赖于外部处理资源)，以逐帧分析视频内容。基于分析，内容可以标记有元数据信息。元数据可以用于选择用于间隔拍摄视频的视频帧。例如，视频帧可以通过被标记为不具有感兴趣的对象/事件和具有感兴趣的对象/事件而被分类。计算机视觉(CV)操作可以确定是否存在感兴趣的对象/事件。
[0020]当在N秒(N＝60/120/240/
……
)的持续时间内不存在针对视频帧的感兴趣的CV事件(或对象的类型)时，边缘AI摄像机可以从无事件持续时间中选择视频帧中的一个。选定的帧可以用于视频编码(例如，在边缘AI摄像机设备中内置的视频编码器)。可以针对没有检测到事件的每个N秒持续时间重复从无事件持续时间N中选择一个视频帧用于编码。从无事件持续时间N中选择一个视频帧用于编码可以导致经编码的输出，该经编码的输出提供捕获的视频的压缩的部分(例如，从而以高显示速度高效地快进通过捕获的视频的“无意义的内容”部分)。
[0021]当在M秒(M＝5/15/30/
……
)的持续时间内存在针对视频帧的检测到的感兴趣的CV事件(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种装置，包括：接口，其被配置为接收由捕获设备生成的像素数据；以及处理器，其被配置为：(i)从所述接口接收所述像素数据；(ii)响应于所述像素数据而生成视频帧；(iii)对所述视频帧执行计算机视觉操作以检测对象；(iv)基于所述对象的特性来执行对检测到的所述对象的分类；(v)确定所述对象的所述分类是否对应于用户定义的事件；(vi)响应于所有的所述视频帧而生成完整的视频流；以及(vii)根据所述视频帧来生成经编码的视频帧，其中，(a)所述完整的视频流被记录到在所述装置本地的存储介质；(b)所述经编码的视频帧被传送到云存储服务；(c)所述经编码的视频帧包括(i)所述视频帧的第一样本和(ii)所述视频帧的第二样本，所述第一样本是在所述用户定义的事件未被检测到时以第一速率选择的，所述第二样本是在所述用户定义的事件被检测到时以第二速率选择的；以及(d)所述第二速率大于所述第一速率。2.根据权利要求1所述的装置，其中，所述经编码的视频帧提供间隔拍摄视频流。3.根据权利要求1所述的装置，其中，所述经编码的视频帧在特定的时间处被上载到所述云存储服务。4.根据权利要求3所述的装置，其中，所述特定的时间包括一天中的用户选择的时间。5.根据权利要求3所述的装置，其中，所述特定的时间包括预定义的间隔。6.根据权利要求3所述的装置，其中，所述特定的时间是响应于检测到所述用户定义的事件而被选择的。7.根据权利要求3所述的装置，其中，所述特定的时间是用户请求查看所述经编码的视频帧的时间。8.根据权利要求3所述的装置，其中，视频数据直到所述特定的时间才在所述装置与所述云存储服务之间被传送。9.根据权利要求1所述的装置...

【专利技术属性】
技术研发人员：汤坚，许瑞桉，
申请(专利权)人：安霸国际有限合伙企业，
类型：发明
国别省市：