摘要视频产生方法和视频数据处理系统技术方案

本发明专利技术提供一种摘要视频产生方法和视频数据处理系统。视频数据处理系统包含重要性分析器，自至少一个源接收录制相关信息并自录制相关信息撷取所需信息，以产生录制视频数据的元数据信息；以及视频编码器，耦接于重要性分析器，并接收录制视频数据以及元数据信息，并基于元数据信息剪裁接收的视频数据以产生剪裁视频数据，并基于剪裁视频数据产生录制视频数据的摘要视频。本发明专利技术的摘要视频产生方法和视频数据处理系统可以减小存储器带宽并降低编码复杂度。

A video production method and a video data processing system

The present invention provides a summary video generation method and a video data processing system. Video data processing system includes at least one importance analyzer, since the source receives recording relevant information and related information extraction from recorded information needed to generate metadata information recording video data; and video encoder, coupled with the importance of analyzer, and receives the video data and metadata information, and based on the metadata information tailored to the received video data to cut the video data, and video data generated based on cut recording video data in video. A summary video generation method and a video data processing system of the present invention can reduce memory bandwidth and reduce coding complexity.

【技术实现步骤摘要】
摘要视频产生方法和视频数据处理系统【交叉引用】本申请要求申请日为2015年11月20日，美国临时申请号为62/257,755的美国临时申请案的优先权，上述临时申请案的内容一并并入本申请。
本专利技术有关于视频录制以及处理，更具体来说，有关于用于产生已录制视频的摘要视频(summarizedvideo)的方法和相关视频数据处理系统。
技术介绍
随着计算机技术的发展，视频录制的应用已经变得越来越普遍。市场上的电子装置，例如视频摄像机、移动装置、无人驾驶飞行器(UnmannedAerialVehicle，简写为UAV)，或任何其它电子装置中，通常配有视频录制功能，而且越来越多人使用视频录制功能以在这样的电子装置上进行视频录制。然而，当录制大尺寸的视频时，需要大量的存储空间，而且可能会遇到很长的网络上传时间和坏可读性。此外，用户可能希望容易地和快速地共享和查看视频内容，或者希望在录制后将视频减少到特定大小以压缩或发送在网络上。然而，如果视频太大，用户必须在一个单独的程序中编辑内容，以使视频足够短，方便快速容易查看。这些特征不是在设备上通常可用的，所以用户必须使用应用程序(APP)，以手动编辑所录制的视频或将视频内容下载到计算机执行编辑，以便缩短视频。然而，这往往超出了用户的技能水平，或需要太多的时间和精力来实用。因此，提供了一种用于智能视频数据处理系统和用于产生已录制的视频的摘要视频相关方法的需求，以解决上述的问题。
技术实现思路
依据本专利技术的示范性实施例，提出一种摘要视频产生方法和视频数据处理系统以解决上述问题。依据本专利技术的一个实施例，提出一种摘要视频产生方法，用于视频数据处理系统中的录制视频数据，摘要视频产生方法包含接收视频录制期间自至少一个源产生的视频数据以及录制相关信息；分析录制相关信息，且从录制相关信息中撷取所需信息以产生接收的视频数据的元数据信息；基于元数据信息剪裁接收的视频数据，以产生剪裁视频数据；以及基于剪裁视频数据产生录制视频数据的摘要视频。依据本专利技术的另一实施例，提出一种视频数据处理系统，包含重要性分析器，自至少一个源接收录制相关信息并自录制相关信息撷取所需信息，以产生录制视频数据的元数据信息；以及视频编码器，耦接于重要性分析器，并接收录制视频数据以及元数据信息，并基于元数据信息剪裁接收的视频数据以产生剪裁视频数据，并基于剪裁视频数据产生录制视频数据的摘要视频。依据本专利技术的另一实施例，提出一种视频数据处理系统，包含重要性分析器，自至少一个源接收录制视频数据期间产生的录制相关信息，并自录制相关信息撷取所需信息，以产生录制视频数据的元数据信息；视频编码器，耦接于重要性分析器，并接收录制视频数据以及元数据信息，并编码录制视频数据以产生具有元数据信息嵌入其中的编码视频比特流；以及摘要引擎，接收具有元数据信息的编码视频比特流，并基于元数据信息剪裁编码视频比特流以产生剪裁视频数据，并基于剪裁视频数据产生录制视频数据的摘要视频。依据本专利技术的另一实施例，提出一种视频数据处理系统，包含重要性分析器，自至少一个源接收录制视频数据期间产生的录制相关信息，并自录制相关信息撷取所需信息，以产生录制视频数据的元数据信息；视频编码器，接收录制视频数据，并编码录制视频数据以产生编码视频比特流；以及摘要引擎，接收编码视频比特流，并自存储装置获取元数据信息，基于元数据信息剪裁编码视频比特流以产生剪裁视频数据，并基于剪裁视频数据产生录制视频数据的摘要视频。本专利技术的摘要视频产生方法和视频数据处理系统可以减小存储器带宽并降低编码复杂度。【附图说明】图1A是依据本专利技术实施例的视频数据处理系统的示意图。图1B是依据本揭露的一个实施方式的视频数据处理系统配置的示意图。图1C是依据本揭露的另一个实施方式的视频数据处理系统配置的示意图。图2是在本专利技术的另一个实施方式中产生已录制的视频的摘要视频的方法的流程图。图3A是依据本揭露的一种实施方式的录制的视频的摘要视频的示意图。图3B是依据本揭露的另一种实施方式的录制的视频的摘要视频的示意图。图3C是依据本揭露的另一种实施方式的录制的视频的摘要视频的示意图。图3D是依据本揭露的另一种实施方式的录制的视频的摘要视频的示意图。图4A是依据本揭露的一个实施方式的ROI探测的示意图。图4B是依据本揭露的另一个实施方式的ROI探测的示意图。图4C是依据本揭露的另一个实施方式的ROI探测的示意图。图4D是依据本揭露的另一个实施方式的ROI探测的示意图。图5是依据本公开的另一实施方式的视频数据处理系统的示意图。图6是依据本公开的另一实施方式的视频数据处理系统的示意图。图7是依据本公开的另一实施方式的视频数据处理系统的示意图。【具体实施方式】在说明书及权利要求书当中使用了某些词汇来指称特定的组件。所属领域中的技术人员应可理解，制造商可能会用不同的名词来称呼同样的组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的基准。在通篇说明书及权利要求书当中所提及的「包含」是开放式的用语，故应解释成「包含但不限定于」。另外，「耦接」一词在此包含任何直接及间接的电气连接手段。因此，若文中描述第一装置耦接于第二装置，则代表第一装置可直接电气连接于第二装置，或透过其它装置或连接手段间接地电气连接至第二装置。图1A是依据本专利技术实施例的视频数据处理系统的示意图。视频数据处理系统10可被实施于电子装置中，例如能够获取图像或视频数据的移动装置(例如平板电脑、智能电话、或可穿戴的计算装置)或膝上型计算机。视频数据处理系统10也可以被实施为多个芯片或单个芯片，诸如片上系统(systemonchip，简写为SOC)或设置在移动装置中的移动处理器。例如，视频数据处理系统10至少包含处理器110、接口120、图形处理单元(graphicsprocessingunit，简写为GPU)130、存储单元140、显示器150、视频捕获装置160、视频编码器170和多个传感器或探测器180和重要性分析器190中的一部分。处理器110、GPU130、存储单元140、视频编码器170和多个传感器或探测器180和重要性分析器190可通过接口120彼此耦接。接口120可以是任意有线或无线数据传输接口或其任意组合。处理器110可为中央处理单元(CPU)、通用处理器、数字信号处理器，或任意等效的电路，但本公开并不限于此。例如，存储单元140可包含易失性存储器141和/或非易失性存储器142。易失性存储器141可为动态随机存取存储器(dynamicrandomaccessmemory，简写为DRAM)或静态随机存取存储器(staticrandomaccessmemory，简写为SRAM)，而非易失性存储器142可为快闪存储器，硬盘，固态硬盘(solid-statedisk，简写为SSD)等。例如，用于在视频数据处理系统10上使用的应用的程序码可被预储存在非易失性存储器142中。处理器110可从非易失性存储器142加载应用程序的程序代码到易失性存储器141，并执行应用程序的程序代码。处理器110也可发送图像数据至GPU130，且GPU130可决定待被显示器150渲染的图像数据。请注意，尽管易失性存储器141和本文档来自技高网...

【技术保护点】
一种摘要视频产生方法，用于视频数据处理系统中的录制视频数据，其特征在于，所述摘要视频产生方法包含：接收视频录制期间自至少一个源产生的视频数据以及录制相关信息；分析所述录制相关信息，且从所述录制相关信息中撷取所需信息以产生接收的所述视频数据的元数据信息；基于所述元数据信息剪裁接收的所述视频数据，以产生剪裁视频数据；以及基于所述剪裁视频数据产生所述录制视频数据的摘要视频。

【技术特征摘要】
2015.11.20 US 62/257,755;2016.09.08 US 15/259,1361.一种摘要视频产生方法，用于视频数据处理系统中的录制视频数据，其特征在于，所述摘要视频产生方法包含：接收视频录制期间自至少一个源产生的视频数据以及录制相关信息；分析所述录制相关信息，且从所述录制相关信息中撷取所需信息以产生接收的所述视频数据的元数据信息；基于所述元数据信息剪裁接收的所述视频数据，以产生剪裁视频数据；以及基于所述剪裁视频数据产生所述录制视频数据的摘要视频。2.根据权利要求1所述的摘要视频产生方法，其特征在于，所述剪裁视频数据的数据大小小于接收的所述视频数据的数据大小。3.根据权利要求1所述的摘要视频产生方法，其特征在于，所述剪裁视频数据的图像质量与接收的所述视频数据的图像质量一样。4.根据权利要求1所述的摘要视频产生方法，其特征在于，基于所述元数据信息剪裁接收的所述视频数据，以产生剪裁视频数据的步骤包含：基于所述元数据信息决定接收的所述视频数据的至少一个重要部分；以及剪裁接收的所述视频数据以将所述至少一个重要部分包含至产生的所述剪裁视频数据中。5.根据权利要求4所述的摘要视频产生方法，其特征在于，更包含：基于预定感兴趣区数据对接收的所述视频数据的多个视频帧执行感兴趣区探测，以探测接收的所述视频数据上的至少一个感兴趣区位置；将具有被探测到感兴趣区的所述多个视频帧标注为接收的所述视频数据的多个重要部分；以及依据标注的所述多个视频帧产生所述剪裁视频数据。6.根据权利要求5所述的摘要视频产生方法，其特征在于，更包含：决定被探测到的感兴趣区的大小是否匹配所需分辨率；以及当所述被探测到的感兴趣区的所述大小不匹配所述所需分辨率时，基于先前剪裁的感兴趣区的大小调整所述被探测到的感兴趣区的剪裁区域，其中若所述被探测到的感兴趣区的所述大小小于所述所需分辨率，所述被探测到的感兴趣区的所述剪裁区域被基于所述先前剪裁的感兴趣区的所述大小扩展至所述所需分辨率，或者若所述被探测到的感兴趣区的所述大小大于所述所需分辨率，所述被探测到的感兴趣区的所述剪裁区域的大小被基于先前剪裁区域的大小剪裁至所述所需分辨率。7.根据权利要求5所述的摘要视频产生方法，其特征在于，执行感兴趣区探测的步骤更包含：找到接收的所述视频数据的特定视频帧上的多个感兴趣区；以及基于先前剪裁的感兴趣区的位置选择所述多个感兴趣区之一作为所述特定视频帧的被探测到的感兴趣区。8.根据权利要求5所述的摘要视频产生方法，其特征在于，执行感兴趣区探测的步骤更包含：找到接收的所述视频数据的特定视频帧上的多个感兴趣区；以及将所述多个感兴...

【专利技术属性】
技术研发人员：李佳盈，张胜凯，黄昱豪，刘子明，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71