数据处理装置、数据处理方法和计算机可读取的记录介质制造方法及图纸

具备：数据大小计算部，其计算在假定将第一视频流内的第一帧与第二视频流内的第二帧合并的情况下生成的合并帧的数据大小；头部生成部，其使用合并帧的数据大小的信息来生成包括合并视频流的多路复用流的头部；合并视频流生成部，其生成合并视频流；以及多路复用流输出部，其进行多路复用流的头部的输出处理或者输出包括合并视频流的多路复用流的处理。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种数据处理装置、数据处理方法、程序、记录介质以及数据处理系统。
技术介绍
近年来，随着以MPEG(MovingPictureExpertsGroup：动态图像专家组)-4为首的运动图像编码技术的革新、通信技术的发展，能够将高精细的影像传输至便携式终端等客户终端。例如，还进行如下处理：在将合并多个影像编码比特流(以下称为“视频流”)而成的单个流(以下称为“合并流”)与音频流、同步再现信息等控制信息、传输用头部信息等进行多路复用之后，从服务器发送至客户终端。在服务器侧将多个视频流合并来生成合并流并将该合并流作为多路复用流来发送，由此，在接收装置侧，无需在接收多个视频流时与服务器侧取得同步。另外，在想要将多个图像同时显示在显示画面的各个分割区域的位置的情况下，也无需将解码处理和显示处理同时进行、或者无需在多个图像之间相互取得显示的同步。因而，不仅能够通过处理能力高的计算机，通过便携式终端、嵌入式设备等各种类型的接收装置也能够容易地进行视频流的解码及显示。例如在专利文献1中记载了以下内容：将合并多个视频流而得到的单个流从服务器发送至客户终端。专利文献1：日本特开2011-24018号公报
技术实现思路
专利技术要解决的问题另外，一般来说，视频流是如上述那样作为多路复用流来传输的。作为多路复用流的文件格式，广泛使用用于广播、通信的MPEG-2TS(Transport>Stream：传输流)、用于存储的MPEG-2PS(ProgramStream：节目流)、MP4文件格式。在近年来盛行起来的经由因特网的动态图像传送服务中，一般采用MP4文件格式。MP4文件格式本来是为了将视频流、音频流保存为文件而规定的文件格式，通常在文件的开头配置头部(header)。在头部内，包含构成视频流的各图片(picture)在文件内的位置信息、各图片的数据大小(代码量)的信息等。因而，在如专利文献1所记载的技术那样合并多个视频流来生成单个流及其头部的情况下，需要在进行多路复用处理之前先通过将多个视频流合并来生成合并视频流。这是因为，若不实际尝试生成合并视频流，则不清楚构成视频流的各图片在文件内的位置的信息、各图片的代码量等应该包含于头部的信息。在合并视频流的生成处理中，首先进行以下处理：从多个视频流中抽出作为合并对象的图片的图片数据部分。然而，若不尝试将视频流从其开头解析到末尾，则不知道图片数据存在于视频流中的什么位置。因而，首先进行视频流的解析，之后进行提取图片数据的处理。之后，将以下处理进行与所需的合并图片的张数相应的次数：将抽出的多个图片数据部分合并来生成一张合并图片。由于要经过这样的处理，因此合并视频流的生成处理需要非常长的时间。在以往的方法中，必须在像这样需要长的处理时间的合并视频流的生成处理结束之后，才能生成多路复用流的头部。即，从要求生成多路复用流起至开始生成多路复用流的头部为止的时间非常长。在视频流本身的数据量或合并视频流的数据量多的情况下，该延迟变得更加明显。本专利技术是鉴于所述问题而完成的，其目的在于能够更提前开始生成多路复用流的头部。用于解决问题的方案本专利技术的数据处理装置为具备数据大小计算部、头部生成部、合并视频流生成部以及多路复用流输出部的结构，各部的结构和功能如下。即，数据大小计算部假定将第一帧与第二帧合并，其中，该第一帧是以规定的编码方式对第一影像信号进行编码而成的第一视频流内的合并对象的帧，该第二帧是与第一视频流不同的第二视频流内的合并对象的帧。然后，计算在该情况下最终生成的合并帧的数据大小。头部生成部使用合并帧的数据大小的信息来生成多路复用流的头部，该多路复用流是包括由合并帧构成的合并视频流的流。合并视频流生成部生成合并视频流。多路复用流输出部进行多路复用流的头部的输出处理、或者进行输出包括合并视频流的多路复用流的处理。另外，本专利技术的数据处理方法首先假定将第一帧与第二帧合并，其中，该第一帧是以合并对象的编码方式对第一影像信号进行编码而成的第一视频流内的合并对象的帧，该第二帧是与第一视频流不同的第二视频流内的规定的帧。然后，计算在该情况下生成的合并帧的数据大小。接着，使用合并帧的数据大小的信息来生成多路复用流的头部，该多路复用流是包括由合并帧构成的合并视频流的流。接着，生成合并视频流。接着，进行多路复用流的头部的输出处理、或者进行输出包括合并视频流的多路复用流的处理。另外，本专利技术的程序是使计算机实现以下的处理过程(a)～(d)的程序。(a)计算在假定将第一帧与第二帧合并的情况下生成的合并帧的数据大小的过程，其中，该第一帧是以规定的编码方式对第一影像信号进行编码而成的第一视频流内的合并对象的帧，该第二帧是与第一视频流不同的第二视频流内的合并对象的帧。(b)使用合并帧的数据大小的信息来生成多路复用流的头部的过程，该多路复用流是包括由合并帧构成的合并视频流的流。(c)生成合并视频流的过程。(d)进行多路复用流的头部的输出处理、或者进行输出包括合并视频流的多路复用流的处理的过程。另外，在本专利技术的记录介质中记录有用于使计算机实现(a)～(d)的处理过程的程序。另外，本专利技术的数据处理系统为具备数据大小计算装置、头部生成装置、合并视频流生成装置以及多路复用流输出装置的结构，各装置的结构和功能如下。数据大小计算装置假定将第一帧与第二帧合并，其中，该第一帧是以规定的编码方式对第一影像信号进行编码而成的第一视频流内的合并对象的帧，该第二帧是与第一视频流不同的第二视频流内的合并对象的帧。然后，计算在该情况下生成的合并帧的数据大小。头部生成装置使用合并帧的数据大小的信息来生成多路复用流的头部，该多路复用流是包括由合并帧构成的合并视频流的流。合并视频流生成装置生成合并视频流。多路复用流输出装置进行多路复用流的头部的输出处理、或者进行输出包括合并视频流的多路复用流的处理。专利技术的效果根据本专利技术，不是实际合并多个视频流，而是计算在将多个视频流合并的情况下得到的合并帧的数据大小，使用通过计算所得出的合并帧的数据大小的信息来生成多路复用流的头部。因而，与在实际生成合并帧之后生成多路复用流的头部的以往的方式相比，能够更提前开始生成多路复用流的头部。附图说明图1是表示本专利技术的第一实施方式所涉及的数据处理装置的结构例的框图。图2是表示本专利技术的第一实施方式所涉及的合并视频流的结构例的说明<本文档来自技高网...

【技术保护点】
一种数据处理装置，具备：数据大小计算部，其计算在假定将第一帧与第二帧合并的情况下生成的合并帧的数据大小，其中，该第一帧是以规定的编码方式对第一影像信号进行编码而成的第一视频流内的合并对象的帧，该第二帧是与所述第一视频流不同的第二视频流内的合并对象的帧；头部生成部，其使用所述合并帧的数据大小的信息来生成多路复用流的头部，该多路复用流是包括由所述合并帧构成的合并视频流的流；合并视频流生成部，其生成所述合并视频流；以及多路复用流输出部，其进行所述多路复用流的头部的输出处理、或者进行输出包括所述合并视频流的所述多路复用流的处理。

【技术特征摘要】
【国外来华专利技术】2013.08.08 JP 2013-1650661.一种数据处理装置，具备：
数据大小计算部，其计算在假定将第一帧与第二帧合并的情况下生成的
合并帧的数据大小，其中，该第一帧是以规定的编码方式对第一影像信号进
行编码而成的第一视频流内的合并对象的帧，该第二帧是与所述第一视频流
不同的第二视频流内的合并对象的帧；
头部生成部，其使用所述合并帧的数据大小的信息来生成多路复用流的
头部，该多路复用流是包括由所述合并帧构成的合并视频流的流；
合并视频流生成部，其生成所述合并视频流；以及
多路复用流输出部，其进行所述多路复用流的头部的输出处理、或者进
行输出包括所述合并视频流的所述多路复用流的处理。
2.根据权利要求1所述的数据处理装置，其特征在于，
所述多路复用流输出部使用如下文件格式来进行所述多路复用：所述多
路复用流的头部被配置在比所述多路复用流的媒体数据部分靠前的位置。
3.根据权利要求2所述的数据处理装置，其特征在于，
所述头部生成部使用所述合并帧的数据大小的信息来将所述多路复用
流的头部生成为结构体，由此计算所述多路复用流的头部的大小。
4.根据权利要求3所述的数据处理装置，其特征在于，
所述多路复用流输出部将多个所述合并帧作为一个数据单位进行多路
复用来生成所述多路复用流，
所述数据大小计算部根据所述合并帧的数据大小的信息来计算第一位
置，该第一位置表示被进行所述多路复用的各数据单位的开头位置在所述多
路复用流的所述媒体数据部分内的位置，
所述头部生成部将由所述数据大小计算部计算出的所述第一位置的信
息描述在被生成为所述结构体的所述多路复用流的头部内的规定的结构要
素中，由此使得确定所述头部的大小，在确定了所述头部的大小之后，将描
述在所述头部内的规定的结构要素中的所述第一位置重写为第二位置，该第
二位置表示被进行所述多路复用的各数据单位的开头位置在包括所述头部

\t的所述多路复用流整体中的位置。
5.根据权利要求4所述的数据处理装置，其特征在于，
所述多路复用流输出部在输出所述多路复用流之前，进行所述多路复用
流的头部的输出处理。
6.根据权利要求4所述的数据处理装置，其特征在于，
在所述多路复用流输出部进行所述多路复用时使用的所述文件格式是
MP4文件格式，所述多路复用流的头部内的规定的结构要素是stco箱。
7.根据权利要求4所述的数据处理装置，其特征在于，
该数据处理装置还具备视频流元数据数据库，该视频流元数据数据库将
由所述数据大小计算部计算出的所述合并帧的数据大小的信息作为所述第
一视频流或所述第二视频流的元数据来存储，
所述合并视频流生成部和...

【专利技术属性】
技术研发人员：笠井裕之，
申请(专利权)人：国立大学法人电气通信大学，
类型：发明
国别省市：日本;JP