高帧速率视频记录制造技术

本公开涉及高帧速率视频记录，具体地公开了一种记录视频的装置，该装置包括：图像信号处理器，该图像信号处理器处理响应于按第一帧速率对视频进行记录的请求而拍摄的帧；以及对所拍摄的帧进行编码的视频编码器。该装置还包括处理电路，该处理电路能工作以响应于所述请求对存储器中的图像缓冲器进行分配，并且执行摄像机软件以指导该图像信号处理器利用一批所拍摄的帧填充各个图像缓冲器。针对各个填充后的图像缓冲器，按第二速率从该摄像机软件向视频软件传递对该图像缓冲器的引用，第二速率是第一帧速率的一部分。然后，该处理电路执行该视频软件以一次提供一个帧给所述视频编码器，以用于按第一帧速率进行编码。

【技术实现步骤摘要】
高帧速率视频记录相关申请的交叉引用本申请要求2018年5月14日提交的美国临时申请No.62/670,930的权益，其全部内容通过引用并入本文。
本专利技术的实施方式涉及通过部署有软件框架的装置来进行高速视频记录。
技术介绍
在包括智能电话作为娱乐功能的消费者记录装置中，高速视频记录越来越受欢迎。可以以慢动作来回放按高帧速率记录的视频，以用于对移动和瞬时现象进行分析。高速摄像机能够以高帧速率对移动图像进行拍摄；例如，大约每秒数百帧。所拍摄的图像被记录在存储介质上，该存储介质可以是诸如闪存驱动器、安全数字(SD)卡等的非易失性存储装置。在记录之后，可以以慢动作回放所拍摄的图像。现代高速摄像机是这样的电子装置，其具有用于图像拍摄和视频记录的诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)有源像素传感器这样的图像传感器。针对诸如智能手机这样的现代移动装置，摄像机和视频记录功能通常是由装置上部署的软件框架支持的。这种软件框架的示例是AndroidTM框架。增加帧速率也会增加由软件框架执行的处理任务。该软件开销对记录装置的帧速率设置了上限。因此，需要减少软件开销以提高高速视频记录中的软件效率。
技术实现思路
在一个实施方式中，提供了一种记录视频的装置。所述装置包括：存储器，该存储器存储多个图像缓冲器；图像信号处理器，所述图像信号处理器处理响应于按第一帧速率对视频进行记录的请求而拍摄的拍摄帧；以及视频编码器，该视频编码器对所拍摄的帧进行编码。所述装置还包括处理电路，该处理电路包括联接至所述存储器的一个或更多个处理器，并且所述处理电路能工作(operative)以进行如下操作：响应于所述请求对所述存储器中的所述图像缓冲器进行分配，以及执行摄像机软件以指导所述图像信号处理器利用一批所拍摄的帧填充各个图像缓冲器。针对利用所述一批所拍摄的帧填充的各个图像缓冲器，所述处理电路能工作以按第二速率从所述摄像机软件向视频软件传递对所述图像缓冲器的引用，其中，所述第二速率是所述第一帧速率的一部分(afractionof)。所述处理电路还能工作以执行所述视频软件以一次提供一个帧给所述视频编码器，以用于按所述第一帧速率进行编码。在另一实施方式中，提供了一种记录视频的方法。所述方法包括以下步骤：接收按第一帧速率进行视频记录的请求；响应于所述请求对来自存储器的多个图像缓冲器进行分配；并且由图像信号处理器利用一批所拍摄的帧对各个图像缓冲器进行填充。针对利用所述一批所拍摄的帧填充的各个图像缓冲器，按第二速率从摄像机软件向视频软件传递对所述图像缓冲器的引用，其中，所述第二速率是所述第一帧速率的一部分。所述方法还包括以下步骤：一次提供一个帧给视频编码器，以用于按所述第一帧速率进行编码。通过回顾下面结合附图对具体实施方式的描述，其它方面和特征对于本领域普通技术人员将变得显而易见。附图说明本专利技术在附图中通过示例而非限制的方式进行了例示，附图中相似的标号是指相似的部件。应注意，本公开中对“一”或“一个”实施方式的引用不必是同一实施方式，并且这种引用是指至少一个实施方式。此外，当结合实施方式来描述特定的特征、结构或特性时，主张在本领域技术人员的知识内结合无论是否明确描述的其它实施方式来实现这种特征、结构或特性。图1例示了可以运行本专利技术的实施方式的软件和硬件环境的概观。图2是例示根据一个实施方式的视频记录处理的流程图。图3例示了根据一个实施方式的视频编码方法。图4例示了根据一个实施方式的移动装置的示例。具体实施方式在下面的描述中，阐述了多个具体细节。然而，应当理解，可以在没有这些具体细节的情况下实践本专利技术的实施方式。在其它情况下，没有详细示出公知的电路、结构以及技术，以便不模糊对本说明书的理解。然而，本领域技术人员应意识到，可以在没有这些具体细节的情况下实践本专利技术。本领域普通技术人员利用所包括的说明书，在不需要过多的试验的情况下能够实现恰当的功能。本专利技术的实施方式提供了一种支持利用低开销按高帧速率来进行视频记录的装置。该装置运行支持视频记录的软件，其中，该软件至少包括摄像机软件和视频软件。应用程序可以请求按第一帧速率来记录视频。在摄像机按第一帧速率拍摄视频的图像帧之后，摄像机软件按第二速率将图像帧分批传递给视频软件，其中，第二速率小于第一帧速率。然后，视频软件将图像帧提供给视频编码器，以用于按第一帧速率进行编码。通过在摄像机软件与视频软件之间分批传递图像帧，与按第一帧速率逐帧传递图像相比，减少了软件处理开销。减少的软件开销使得装置能够支持按增加的(即，更高的)帧速率进行视频记录。在下面的描述中，图像帧也可以称为帧。根据本专利技术的实施方式，将帧存储在图像缓冲器中，并且各个图像缓冲器存储图像批块(imagebatch)(即，多个帧)。各个图像缓冲器还可以包括多个帧缓冲器，并且各个帧缓冲器存储一个帧。图像缓冲器是从装置中的存储器分配的。为了将图像批块从摄像机软件传递至视频软件，摄像机软件将对图像缓冲器的引用传递至视频软件。引用的示例是存储器位置的指针；例如，存储器地址。然后，视频软件提供各个帧(更具体地，对存储帧的帧缓冲器的引用)给视频编码器以用于编码。图1例示了可以运行本专利技术的实施方式的软件和硬件环境的概观。装置100包括用于拍摄和处理图像和视频的多个硬件组件，诸如图像信号处理器(例如，ISP120)和媒体处理器(例如，视频编码器130)。在一个实施方式中，可以将一个或更多个图像传感器(例如，摄像机110)附接至装置100，或者以通信方式联接至装置100。可以由应用程序140经由软件层访问或利用这些硬件组件。该软件的顶层被称为提供基础设施以促进装置100的应用程序开发的软件框架或框架150。针对视频记录，框架150包括摄像机框架151和视频框架152，该摄像机框架和视频框架均在应用程序140与较低层的软件层之间进行接口连接。较低层的软件层控制诸如摄像机110、ISP120以及视频编码器130这样的底层硬件组件的操作。在一个实施方式中，较低层的软件层包括一组中间件，诸如摄像机中间件161和视频中间件162。摄像机中间件161和视频中间件162分别用作框架150与硬件专用软件(诸如摄像机驱动器171和视频驱动器172)之间的桥梁。摄像机驱动器171使得装置100能够与ISP120通信；例如，关于要由摄像机110拍摄的图像的规格。视频驱动器172使得装置100能够与视频编码器130通信；例如，关于编码格式和其它要求。在本公开中，摄像机框架151、摄像机中间件161以及摄像机驱动器171统称为摄像机软件。视频框架152、视频中间件162以及视频驱动器172统称为视频软件。摄像机软件和视频软件是在装置100上运行的软件的一部分。根据本专利技术的实施方式，应用程序140请求按第一帧速率R1(每秒帧数(fps))记录视频。因此，摄像机110按第一帧速率R1拍摄图像帧。ISP120按第二速率R2填充图像缓冲器125；即，每秒填充本文档来自技高网...

【技术保护点】
1.一种能工作以记录视频的装置，所述装置包括：/n存储器，所述存储器存储多个图像缓冲器；/n图像信号处理器，所述图像信号处理器处理响应于按第一帧速率对视频进行记录的请求而拍摄的帧；/n视频编码器，所述视频编码器对所拍摄的帧进行编码；以及/n处理电路，所述处理电路包括联接至所述存储器的一个或更多个处理器，并且所述处理电路能工作以进行以下操作：/n响应于所述请求，对来自所述存储器的所述图像缓冲器进行分配，/n执行摄像机软件，以指导所述图像信号处理器利用一批所拍摄的帧来填充各个图像缓冲器，/n针对利用所述一批所拍摄的帧填充的各个图像缓冲器，按第二速率从所述摄像机软件向视频软件传递对所述图像缓冲器的引用，其中，所述第二速率是所述第一帧速率的一部分，以及/n执行所述视频软件，以一次提供一个帧给所述视频编码器，以便用于按所述第一帧速率进行编码。/n

【技术特征摘要】
20190513 US 16/411,0971.一种能工作以记录视频的装置，所述装置包括：
存储器，所述存储器存储多个图像缓冲器；
图像信号处理器，所述图像信号处理器处理响应于按第一帧速率对视频进行记录的请求而拍摄的帧；
视频编码器，所述视频编码器对所拍摄的帧进行编码；以及
处理电路，所述处理电路包括联接至所述存储器的一个或更多个处理器，并且所述处理电路能工作以进行以下操作：
响应于所述请求，对来自所述存储器的所述图像缓冲器进行分配，
执行摄像机软件，以指导所述图像信号处理器利用一批所拍摄的帧来填充各个图像缓冲器，
针对利用所述一批所拍摄的帧填充的各个图像缓冲器，按第二速率从所述摄像机软件向视频软件传递对所述图像缓冲器的引用，其中，所述第二速率是所述第一帧速率的一部分，以及
执行所述视频软件，以一次提供一个帧给所述视频编码器，以便用于按所述第一帧速率进行编码。


2.根据权利要求1所述的装置，其中，所述处理电路还能工作以根据所述第一帧速率与所述第二速率的比来确定所述图像缓冲器的大小。


3.根据权利要求2所述的装置，其中，所述图像缓冲器的大小等于所述第一帧速率除以所述第二速率。


4.根据权利要求2所述的装置，其中，所述处理电路还能工作以在接收到所述按第一帧速率对视频进行记录的请求之后动态地确定所述图像缓冲器的大小。


5.根据权利要求1所述的装置，其中，各个图像缓冲器包含多个帧缓冲器，并且各个帧缓冲器存储一个所拍摄的帧。


6.根据权利要求5所述的装置，其中，所述处理电路还能工作以执行摄像机中间件，所述摄像机中间件将各个图像缓冲器划分成所述多个帧缓冲器，以用于所述图像信号处理器进行填充。


7.根据权利要求5所述的装置，其中，所述处理电路还能工作以执行视频中间件，所述视频中间件将由所述图像信号处理器填充的各个图像缓冲器划分成所述多个帧缓冲器，以用于视频编码。


8.根据权利要求5所述的装置，其中，所述处理电路还能工作以分别执行作为所述摄像机软件的一部分的摄像机框架和作为所述视频软件的一部分的视频框架，并且其中，所述摄像机框架按所述第二速率向所述视频框架传递对所述图像缓冲器的引用。


9.根据权利要求1所述的装置，其中，所述摄像机软件向所述图像信号处理器传递元数据，以对各批帧中的帧数量进行指示。


10.根据权利...

【专利技术属性】
技术研发人员：周冠宏，吕立伟，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾;71