图像处理设备、图像处理方法以及计算机程序技术

提供了一种图像处理设备，其包括：组合单元，被配置成在解码编码流之前组合多种编码流和在多种编码流中检测信息的丢失；以及替代信息提供单元，被配置成当该组合单元检测到丢失时，向该组合单元提供用作该丢失的替代物的替代信息，其中该组合单元通过用替代信息取代多种编码流中包括信息丢失的部分进行复合。

【技术实现步骤摘要】
图像处理设备、图像处理方法以及计算机程序交叉引用相关申请本申请要求2013年3月26日提交的日本优先权专利申请JP2013-064014的利益，在此通过引用并入其全部内容。
本公开涉及图像处理设备、图像处理方法以及计算机程序。
技术介绍
由于内容的数字化和能够发送图像的基础设施得到了发展，通过互联网分发图像越来越常见。近年来，除了个人计算机之外，越来越多可与网络连接的电视接收器被做成接收设备。因此，可以在电视接收器上观看分发的运动图像内容。 并且，近年来云服务得到了发展，使得通过互联网为观众提供了包括私密内容的多种频道。于是，越来越需要能够同时观看多个运动图像内容项和易于检索要观看的运动图像内容项的多图像再现系统。 存在一种使用编码流信息进行多屏幕复合以实现多个运动图像内容项的同时观看的系统。不用客户机执行复杂解码过程地将通过服务器压缩保存的多个编码流信息项转换成一个编码流信息项。使用编码流信息的多屏幕复合可以降低服务器执行过程的负担、要使用的网络带宽、和客户机执行过程的负担。
技术实现思路
但是，关于这个技术，如果有的话，当要输入到多屏幕复合的过程中的编码流信息项包括一点点丢失时，客户机就不能生成组合画面。并且，当信息延迟到达时，必须等待多屏幕复合所需的每种流的到达；于是，例如，在视频聊天的情况下，难以管理实时内容项。 于是，本公开的一个或多个实施例提供了新式的和改进的、以及即使在发送通过服务器压缩保存的多个编码流信息项的时候选成了丢失或延迟，也可以使客户机能够执行多屏幕复合的过程的图像处理设备、图像处理方法以及计算机程序。 按照本公开的一个实施例，提供了一种图像处理设备，其包括:组合单元，被配置成在解码编码流之前组合多种编码流和在多种编码流中检测信息的丢失；以及替代信息提供单元，被配置成当该组合单元检测到丢失时，向该组合单元提供用作该丢失的替代物的替代信息。该组合单元通过用替代信息取代多种编码流中包括信息丢失的部分进行复合。 按照本公开的另一个实施例，提供了一种图像处理方法，其包括:在解码编码流之前组合多种编码流；在多种编码流中检测信息的丢失；以及当在检测步骤中检测到丢失时，提供用作该丢失的替代物的替代信息。在组合步骤中，通过用替代信息取代多种编码流中包括信息丢失的部分进行复合。 按照本公开的另一个实施例，提供了一种使计算机执行如下步骤的计算机程序:在解码编码流之前组合多种编码流；在多种编码流中检测信息的丢失；以及当在检测步骤中检测到丢失时，提供用作该丢失的替代物的替代信息。在组合步骤中，通过用替代信息取代多种编码流中包括信息丢失的部分进行复合。 如上所述，按照本公开的一个或多个实施例，可以提供新式的和改进的、以及即使在发送通过服务器压缩保存的多个编码流信息项的时候选成了丢失或延迟，也可以使客户机能够执行多屏幕复合的过程的图像处理设备、图像处理方法以及计算机程序。 【附图说明】 图1示出了按照本公开的一个实施例的图像处理系统I的总体配置例子； 图2示出了按照本公开的一个实施例的运动图像内容服务器2和3的功能配置例子; 图3示出了按照本公开的一个实施例的运动图像内容服务器2和3的功能配置例子; 图4示出了按照本公开的一个实施例的客户机终端100的功能配置例子； 图5示出了在流组合单元105中组合多种编码流的过程； 图6示出了在流组合单元105中组合多种编码流的过程； 图7示出了在流组合单元105中已经组合的多种编码流的状态； 图8示出了在流组合单元105中组合多种编码流的过程； 图9示出了在流组合单元105中组合多种编码流的过程； 图10示出了按照本公开的一个实施例的客户机终端100的功能配置例子； 图11示出了按照本公开的一个实施例的运动图像内容服务器2和3的功能配置例子； 图12示出了按照本公开的一个实施例的包括在客户机终端100中的替代画面生成单元108的功能配置例子； 图13示出了包括在替代画面生成单元108中的IDR画面存储生成单元112的配置例子； 图14是示出按照本公开的一个实施例的客户机终端100的操作例子的流程图； 图15A是示出按照本公开的一个实施例的客户机终端100的操作例子的流程图； 图15B是示出按照本公开的一个实施例的客户机终端100的操作例子的流程图； 图15C是示出按照本公开的一个实施例的客户机终端100的操作例子的流程图； 图16是示出按照本公开的一个实施例的客户机终端100的操作例子的流程图； 图17A是示出按照本公开的一个实施例的客户机终端100的操作例子的流程图； 图17B是示出按照本公开的一个实施例的客户机终端100的操作例子的流程图； 图18示出了按照本公开的一个实施例的客户机终端100执行的组合多种编码流的过程； 图19示出了按照本公开的一个实施例的客户机终端100执行的组合多种编码流的过程； 图20示出了按照本公开的一个实施例的已经到达客户机终端100的编码流的例子; 图21示出了按照本公开的一个实施例的已经到达客户机终端100的编码流的例子; 图22示出了按照本公开的一个实施例的已经到达客户机终端100的编码流的例子; 图23示出了按照本公开的一个实施例的已经到达客户机终端100的编码流的例子; 图24示出了按照本公开的一个实施例的已经到达客户机终端100的编码流的例子; 图25示出了按照本公开的一个实施例的已经到达客户机终端100的编码流的例子; 图26示出了按照本公开的一个实施例的已经到达客户机终端100的编码流的例子；以及 图27示出了按照本公开的一个实施例的已经到达客户机终端100的编码流的例子。 【具体实施方式】 在下文中，将参考附图详细描述本公开的优选实施例。注意，在本说明书及附图中，具有基本相同功能和结构的结构元件用相同标号表示，并省略对这些结构元件的重复说明。 注意，该描述将按如下次序给出。 〈1.本公开的实施例> [总体配置例子] [运动图像内容服务器的功能配置例子] [客户机终端的功能配置例子] [客户机终端的操作例子] <2.结论〉 〈1.本公开的实施例〉 [总体配置例子] 首先，将参考附图描述按照本公开的一个实施例的系统的总体配置例子。图1示出了按照本公开的一个实施例的图像处理系统I的总体配置例子。下面将参考图1描述按照本公开的一个实施例的图像处理系统I的总体配置例子。 显示在图1中的图像处理系统I具有这样的配置，其中客户机终端100通过像互联网那样的网络10接收来自多个运动图像内容服务器2和3的编码流信息，以及包括在显示在图1中的图像处理系统I中的客户机终端100解码来自运动图像内容服务器2和3的接收编码流信息，并组合多个运动图像内容项以便同时再现运动图像内容项。 运动图像内容服务器2和3的每一个都保存转换成编码流的运动图像内容，将运动图像内容转换成编码流，并依照来自客户机终端100的请求将编码流发送给客户机终端100。在这个实施例中，运动图像内各服务器2保存作为实时拍摄的运动图像内各项的实时运动图像内容项A、和作为事先已经拍摄的运动图像内容项的累积运动图像内容项B本文档来自技高网...

【技术保护点】
一种图像处理设备，其包含：组合单元，被配置成在解码编码流之前组合多种编码流和在多种编码流中检测信息的丢失；以及替代信息提供单元，被配置成当该组合单元检测到丢失时，向该组合单元提供用作该丢失的替代物的替代信息，其中该组合单元通过用替代信息取代多种编码流中包括信息丢失的部分进行复合。

【技术特征摘要】
2013.03.26 JP 2013-0640141.一种图像处理设备，其包含: 组合单元，被配置成在解码编码流之前组合多种编码流和在多种编码流中检测信息的丢失；以及 替代信息提供单元，被配置成当该组合单元检测到丢失时，向该组合单元提供用作该丢失的替代物的替代信息， 其中该组合单元通过用替代信息取代多种编码流中包括信息丢失的部分进行复合。2.按照权利要求1所述的图像处理设备，其中该替代信息提供单元包括: 配置成生成替代信息的替代信息生成单元。3.按照权利要求2所述的图像处理设备，其中该替代信息生成单元使用多种编码流生成替代信息。4.按照权利要求2所述的图像处理设备，其中该替代信息生成单元使用与该组合单元要组合的编码流不同的编码流生成替代信息。5.按照权利要求2所述的图像处理设备，其中该替代信息生成单元针对能够单独编码的画面，使用多种编码流生成替代信息。6.按照权利要求1所述的图像处理设备，其中该替代信息提供单元从分发编码流的设备中获取替代信息。7.按照权利要求2所述的图像处...

【专利技术属性】
技术研发人员：栗原邦彰，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP