图像处理方法、装置以及系统制造方法及图纸

本发明专利技术揭露一种图像处理方法、装置以及系统。其中该图像处理方法包含：检测图像捕捉装置捕获的图像帧输入序列以生成检测结果；参考该检测结果，选择性在该图像帧输入序列上执行插入帧操作以生成待编码图像帧序列；以及编码该待编码图像帧序列以生成已编码视频信号。本发明专利技术提供的图像处理方法、装置以及系统可在低亮度环境以及无需高灵敏传感器情况下提供流畅的视频播放以及清晰的记录内容。

【技术实现步骤摘要】
相关申请的交叉引用本专利技术要求如下优先权：编号为62/197,704，申请日为2015年7月28日的美国临时专利申请。上述美国临时专利申请在此作为参考。
本专利技术涉及一种帧率(framerate)控制技术。特别地，本专利技术涉及一种在编码之前检测图像帧输入序列(inputsequenceofimageframe)以选择性提高帧率的图像处理方法、相关图像处理装置以及系统。
技术介绍
当记录低亮度环境中的视频时，传统视频记录装置通过延长曝光时间以取得清晰的记录内容。然而，较长的曝光时间会导致视频帧率下降。一旦播放低帧率视频，用户会看到不稳定且不连贯的视频，从而体会到较差的用户体验。因此，亟需一种在低亮度环境中提供较好用户体验的新颖图像处理方案。
技术实现思路
有鉴于此，本专利技术揭露一种图像处理方法、装置以及系统。根据本专利技术一实施例，提供一种图像处理方法，包含：检测图像捕捉装置捕获的图像帧输入序列以生成检测结果；参考该检测结果，选择性在该图像帧输入序列上执行插入帧操作以生成待编码图像帧序列；以及编码该待编码图像帧序列以生成已编码视频信号。根据本专利技术另一实施例，提供一种图像处理装置，包含：检测电路，用于检测图像捕捉装置捕获的图像帧输入序列以生成检测结果；帧插入电路，耦接该检测电路，安排该帧插入电路参考该检测结果，选择性在该图像帧输入序列上执行插入帧操作以生成待编码图像帧序列；以及视频编码器，耦接该帧插入电路，安排该视频编码器编码该待编码图像帧序列以生成已编码视频信号。根据本专利技术另一实施例，提供一种图像处理系统，包含：图像捕捉装置，用于捕获图像并输出图像帧输入序列；图像处理装置，耦接该图像捕捉装置，用于通过选择性在该图像帧输入序列上执行插入帧操作以提高或维持该图像帧输入序列的帧率，生成待编码图像帧序列；并且用于编码该待编码图像帧序列以生成已编码视频信号；以及存储装置，耦接该图像处理装置，安排该存储装置储存该已编码视频信号。本专利技术提供的图像处理方法、装置以及系统可在低亮度环境以及无需高灵敏传感器情况下提供流畅的视频播放以及清晰的记录内容。附图说明图1是根据本专利技术实施例描述的图像处理系统示意图；图2是根据本专利技术实施例描述的图像处理方法流程图；图3是根据本专利技术实施例描述的图1所示图像处理系统的一种实施方式示意图；图4是根据本专利技术实施例描述的图3所示的帧插入电路执行的插入帧操作示意图；图5是根据本专利技术实施例描述的图1所示图像处理系统的另一实施方式示意图；图6是根据本专利技术实施例描述的图1所示图像处理系统的另一实施方式示意图。具体实施方式在说明书及权利要求书当中使用了某些词汇来指称特定的元件。所属
的技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个元件。本说明书及权利要求书并不以名称的差异作为区分元件的方式，而是以元件在功能上的差异作为区分的准则。在通篇说明书及权利要求项中所提及的“包含”为一开放式的用语，故应解释成“包含但不限定于”。此外，“耦接”一词在此包含任何直接及间接的电气连接手段。因此，若文中描述第一装置耦接于第二装置，则代表第一装置可直接电气连接于第二装置，或通过其它装置或连接手段间接地电气连接至第二装置。接下来的描述是实现本专利技术的最佳实施例，其是为了描述本专利技术原理的目的，并非对本专利技术的限制。可以理解地是，本专利技术实施例可由软件、硬件、固件或其任意组合来实现。在许多实施例中，对于图像帧输入序列，可在对其编码之前进行检测，并且决定是否调整图像帧输入序列从而提高帧率。可编码图像帧输入序列或调整后的图像帧输入序列。例如，当图像帧输入序列满足预定条件(例如，具有不太低的帧率或亮度值)时，无需调整图像帧输入序列，并且维持其当前帧率，接着对图像帧输入序列直接进行编码。相反地，当图像帧输入序列不满足预定条件时，将图像帧输入序列调整至具有改善(例如，提高的)帧率，并且接着编码调整后的图像帧输入序列。本专利技术提出的图像处理机制可提前预处理(例如，检测帧率及/或调整帧率)待编码的图像帧序列，接着编码(或记录)已预处理的图像帧序列以生成视频信号。通过预处理输入至视频编码器中的图像帧序列，本专利技术提出的图像处理机制提供用于不同编码场景(例如，不同视频记录环境)中视频编码器的图像帧相应序列，从而使得视频编码器具有流畅清晰的视频输出。接下来将进一步描述技术细节。请参考图1，图1是根据本专利技术实施例描述的图像处理系统示意图。图像处理系统10可为便携式电子装置。例如，上述便携式电子装置可为笔记本电脑、移动电话、智能手机、平板电脑、个人数字助理、企业数字助理、数位相机、数码摄像机、便携式多媒体播放器、移动互联网装置(MobileInternetDevice，MID)、可穿戴计算机、物联网装置或万物互联装置等。图像处理系统10可包含图像处理装置100、图像捕捉装置102以及存储装置108，其中图像处理装置100耦接在图像捕捉装置102与存储装置108之间。图像处理装置100编码从图像捕捉装置102输出的图像帧输入序列SFIN以生成已编码视频信号VD，并且将已编码视频信号VD存入存储装置108中。上述仅为示例，并不是对本专利技术的限制，图像处理装置100可记录图像帧输入序列SFIN作为视频(已编码视频信号VD)，并且将已编码视频存入存储装置108。当使用播放电路(图1中未示出)播放所记录视频时，存储装置108为播放电路提供所存储的视频。在本实施例中，图像处理装置100首先预处理待编码的图像帧序列，然后编码已预处理的图像帧序列。此外，图像处理装置100通过选择性对图像帧输入序列SFIN执行插入帧操作生成待编码的图像帧序列，以增大或维持图像帧输入序列的帧率，并且编码上述待编码的图像帧序列以生成已编码图像信号。具体地，图像处理装置100检测图像帧输入序列SFIN并且决定是否对其进行调整以增大或维持其帧率。例如，当图像帧输入序列SFIN满足预定条件时，图像处理装置100不调整图像帧输入序列，而是维持其帧率，接着直接编码图像帧输入序列SFIN。相反地，当图像帧输入序列SFIN不满足预定条件时，图像处理装置100调整图像帧输入序列，修改(例如，增大)其帧率，并且接着编码调整后的图像帧。更具体地，在图1所示的实施例中，图像处理装置100包含，但不限于，检测电路110、帧插入电路120以及视频编码器130。检测电路110检测使用图像捕捉电路102捕获的图像帧输入序列SFIN以生成检测结果DR。帧插入电路120耦接检测电路110，并且根据该监测结果DR选择性在图像帧输入序列SFIN上执行插入帧操作，以生成输出至视频编码器130中的待编码图像帧序列(图像帧插入序列SFIP)。在一种场景下，当检测结果DR指示需要对图像帧输入序列SFIN执行插入帧操作(例如，图像帧输入序列SFIN的帧率小于预定阈值)时，帧插入电路120对图像帧输入序列SFIN执行插入帧操作，以生成待编码的图像帧插入序列SFIP作为输出至视频编码器130的待编码图像帧序列。图像帧插入序列SFIP具有增大的帧率。具体地，图像帧插入序列SFIP包含图像帧输入序列SFIN以及插入帧操作生成的图像帧附加序列，其中将图像帧附加序列插入图像帧输入序列SFIN的图像帧之间。接着，视频编码器130编码待编码的图像本文档来自技高网...

【技术保护点】
一种图像处理方法，包含：检测图像捕捉装置捕获的图像帧输入序列以生成检测结果；参考该检测结果，选择性在该图像帧输入序列上执行插入帧操作以生成待编码图像帧序列；以及编码该待编码图像帧序列以生成已编码视频信号。

【技术特征摘要】
2015.07.28 US 62/197,704;2016.03.31 US 15/088,1011.一种图像处理方法，包含：检测图像捕捉装置捕获的图像帧输入序列以生成检测结果；参考该检测结果，选择性在该图像帧输入序列上执行插入帧操作以生成待编码图像帧序列；以及编码该待编码图像帧序列以生成已编码视频信号。2.如权利要求1所述的图像处理方法，其特征在于，当在该图像帧输入序列上不执行该插入帧操作时，提供该图像帧输入序列作为该待编码图像帧序列。3.如权利要求1所述的图像处理方法，其特征在于，当在该图像帧输入序列上执行该插入帧操作时，该待编码图像帧序列包含该图像帧输入序列以及该插入帧操作生成的图像帧附加序列。4.如权利要求1所述的图像处理方法，其特征在于，该检测结果包含该图像帧输入序列的帧率或亮度。5.如权利要求4所述的图像处理方法，其特征在于，当该检测结果指示该帧率或该亮度小于预定阈值时，执行在该图像帧输入序列上进行该插入帧操作以生成该待编码图像帧序列的步骤。6.如权利要求5所述的图像处理方法，其特征在于，当该检测结果指示该帧率或该亮度不小于该预定阈值时，不执行在该图像帧输入序列上进行该插入帧操作以生成该待编码图像帧序列的步骤，并且提供该图像帧输入序列作为该待编码图像帧序列。7.如权利要求4所述的图像处理方法，其特征在于，当该检测结果指示该亮度小于预定阈值时，该图像处理方法进一步包含：生成反馈信号用于控制该图像捕获装置中的快门装置以降低快门速度。8.如权利要求1所述的图像处理方法，其特征在于，该检测结果包含该图像帧输入序列的帧率以及该图像帧输入序列的亮度。9.如权利要求8所述的图像处理方法，其特征在于，当该检测结果指示该帧率小于第一预定阈值并且该亮度小于第二预定阈值时，执行在该图像帧输入序列上进行该插入帧操作以生成该待编码图像帧序列的步骤。10.如权利要求9所述的图像处理方法，其特征在于，当该检测结果指示该帧率不小于该第一预定阈值并且该亮度不小于该第二预定阈值时，不执行在该图像帧输入序列上进行该插入帧操作以生成该待编码图像帧序列的步骤，并且提供该图像帧输入序列作为该待编码图像帧序列。11.如权利要求1所述的图像处理方法，其特征在于，该图像处理方法进一步包含：在该图像帧输入序列上执行运动分析以生成运动分析结果，并且参考该检测结果以及该运动分析结果，执行该插入帧操作。12.一种图像处理装置，包含：检测电路，用于检测图像捕捉装置捕获的图像帧输入序列以生成检测结果；帧插入电路，耦接该检测电路，安排该帧插入电路参考该检...

【专利技术属性】
技术研发人员：赖骏铭，周冠宏，梁金权，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾;71