发送设备、发送方法，接收设备和接收方法技术

本发明专利技术良好地发送正常发帧速率和高帧速率图像数据。在高帧速率图像数据中，以在时间上连续的两个图片为单位应用了以第一比率的混合处理并且获得具有高帧速率的扩展图像数据。对参考帧速率图像数据应用编码处理并且获得基本流，并且同时对具有高帧速率的扩展帧图像数据应用编码处理且获得扩展流。发送包含预定格式的基本流和扩展流的容器。

【技术实现步骤摘要】
【国外来华专利技术】发送设备、发送方法，接收设备和接收方法
本技术涉及发送设备、发送方法，接收设备和接收方法，且具体涉及用于发送高帧速率运动图像数据的发送设备等。
技术介绍
近年来，已知用于通过高速帧快门执行高帧速率拍摄的相机。例如，正常帧速率是60fps、50fps等，而高帧速率是几倍或更高的几十倍，或更高的几百倍。在提供高帧速率服务的情况下，由高速帧快门拍摄的运动图像数据可以转换为较低频率的运动图像序列并被发送。然而，高速帧快门的图像具有改善运动模糊并以高锐度实现图像质量的效果，但是在传统帧插值技术中的接收/再现方面具有引起图像质量问题的因素。使用由高速帧快门拍摄的具有高锐度的图像的帧插值在运动矢量搜索适配的情况和不适配的情况之间具有大的差异。这是因为它们之间的差异被显示为显著的图像质量劣化。为了提高帧插入期间的运动矢量搜索的精度，需要高负荷计算，这对接收器的成本有影响。本申请人已经提出了一种技术，用于转换由高速帧快门拍摄的图像素材，并且在用于执行正常帧速率解码的传统接收器上以一定或更高图像质量显示该素材(参见专利文献1)。引用列表专利文献专利文献1：国际公开第2015/076277号
技术实现思路
本专利技术要解决的问题本技术旨在优选地发送正常帧速率和高帧速率的运动图像数据。解决问题的办法本技术的概念是一种发送设备，包括：图像处理单元，对高帧速率图像数据以时间上连续的两个图片为单位执行第一比率混合处理，以获得基本帧速率图像数据，并且图像处理单元以时间上连续的两个图片为单位执行第二比率混合处理，以获得高帧速率的扩展帧的图像数据；图像编码单元，对参考帧速率图像数据执行编码处理，以获得基本流，并且图像编码单元对高帧速率的扩展帧的图像数据执行编码处理以获得扩展流；和发送单元，发送包括基本流和扩展流的预定格式的容器。根据本技术，图像处理单元从高帧速率图像数据获得基本帧速率图像数据和高帧速率的扩展帧的图像数据。这里，基本帧速率图像数据是通过对预定帧率图像数据以时间上连续的两个图片为单位执行第一比率混合处理而获得的。通过以时间上连续的两个图片为单位执行第二比率混合处理来获得高帧速率的扩展帧的图像数据。图像编码单元对参考帧速率图像数据执行编码处理以获得基本流，并且对高帧速率的扩展帧的图像数据执行编码处理以获得扩展流。由发送单元发送包括基本流和扩展流的预定格式的容器。例如，也可以配置为使得图像处理单元将基本帧速率图像数据和高帧速率的扩展帧的图像数据作为一个系统的图像数据提供给图像编码单元，一个系统的图像数据添加有识别信息，识别信息用于识别基本帧速率图像数据和高帧速率的扩展帧的图像数据的各个帧。通过这种方式，根据本技术，对高帧速率图像数据以时间上连续的两个图片为单位执行第一比率混合处理，以获得具有较高光圈比率的基本帧速率图像数据，并且发送通过对基本帧速率图像数据进行编码处理而获得的基本流。因此，在具有处理基本帧速率图像数据的解码能力的接收器的情况下，对基本流进行处理以获得基本帧速率图像数据，从而将平滑图像显示为运动图像并避免在显示处理中在低负荷计算的帧插值处理中引起图像质量的问题。此外，根据本技术，扩展流(包括通过对时间上连续的两个图片为单位执行第二比率混合处理而获得的高帧速率的扩展帧的图像数据)与基本流一起发送。因此，在具有处理高帧速率图像数据的解码能力的接收器的情况下，处理扩展流以获得高帧速率的扩展帧的图像数据，其与基本帧速率图像数据组合，以获得高帧速率图像数据，从而优选地执行高帧速率图像显示。另外，根据本技术，例如，进一步提供了信息插入单元，执行以下一者或两者：将代表第一比率的混合比率信息插入到基本流的层中，将代表第二比率的混合比率信息插入到扩展流的层中。例如，在这种情况下，基本流和扩展流具有NAL单元结构，以及信息插入单元可被配置为将具有混合比率信息的SEINAL单元插入到基本流和/或扩展流中。以这种方式将混合比率信息插入到扩展流的层中，并且因此接收侧可以容易地识别基本帧速率图像数据或高帧速率的扩展帧的图像数据被混合的混合比率。例如，通过使用混合比率信息，可以容易且适当地执行对混合处理的逆处理。此外，根据本技术，例如，可以进一步提供信息插入单元，该信息插入单元将指示包括在基本流中的图像数据是通过执行混合处理而获得的识别信息插入到容器的层中。在这种情况下，接收侧可以从识别信息容易地识别包括在基本流中的图像数据是通过执行混合处理获得的。此外，本技术的另一概念是一种接收设备，包括：接收单元，接收包括基本流和扩展流的预定格式的容器，其中，基本流是通过对基本帧速率图像数据执行编码处理而获得的，基本帧速率图像数据是通过对高帧速率图像数据以时间上连续的两个图片为单位执行第一比率混合处理而获得的，以及扩展流是通过对高帧速率的扩展帧的图像数据执行编码处理而获得的，高帧速率的扩展帧的图像数据是通过以时间上连续的两个图片为单位执行第二比率混合处理而获得的，接收设备进一步包括处理单元，处理单元仅处理基本流以获得基本帧速率图像数据，或者处理基本流和扩展流两者以获得高帧速率图像数据。根据本技术，接收单元接收包括基本流和扩展流的预定格式的容器。基本流是通过对基本帧速率图像数据执行编码处理而获得的，基本帧速率图像数据是通过对高帧速率图像数据以时间上连续的两个图片为单位执行第一比率混合处理而获得的。扩展流是通过对高帧速率的扩展帧的图像数据执行编码处理而获得的，高帧速率的扩展帧的图像数据是通过以时间上连续的两个图片为单位执行第二比率混合处理而获得的。处理单元仅处理基本流以获得基本帧速率图像数据，或者处理基本流和扩展流两者以获得高帧速率图像数据。例如，为了获得高帧速率图像数据，处理单元可以执行以下处理：对基本流执行解码处理，以获得基本帧速率图像数据，并对扩展流进行解码处理以获得高帧速率的扩展帧的图像数据，以及将基本帧速率图像数据与高帧速率的扩展帧的图像数据组合以获得高帧速率图像数据。在这种情况下，可以容易地获得高帧速率图像数据。此外，例如，为了获得高帧速率图像数据，处理单元可以执行以下处理：对基本流执行解码处理以获得基本帧速率图像数据，并且对扩展流执行解码处理以获得高帧速率的扩展帧的图像数据，对基本帧速率图像数据和高帧速率的扩展帧的图像数据执行混合处理的逆处理以获得以时间上连续的两个图片为单位中的一个和其他图片的图像数据，以及对以时间上连续的两个图片为单位中的一个和其他图片的图像数据进行组合以获得高帧速率图像数据。在这种情况下，执行对混合处理的逆处理，并且因此最终获得的高帧速率图像数据以其原始快门光圈率被再现，从而在高帧速率图像显示中提高图像质量。这样，根据本技术，在提供处理基本帧速率图像数据的解码能力的情况下，仅处理基本流以获得基本帧速率图像数据。基本帧速率图像数据是通过对高帧速率图像数据以时间上连续的两个图片为单位执行第一比率混合处理而获得的，并且光圈率增大。因此，可以将平滑图像显示为运动图像，并避免在显示处理中利用低负荷计算的帧插值处理中引起图像质量问题。此外，根据本技术，在提供处理高帧速率图像数据的解码能力的情况下，对基本流进行处理以获得基本帧速率图像数据，处理扩展流以获得高帧速率的扩展帧的图像数据，并进一步将它们组合以获得高帧速率图像数据。因此，可本文档来自技高网...

【技术保护点】
一种发送设备，包括：图像处理单元，所述图像处理单元对高帧速率图像数据以时间上连续的两个图片为单位执行第一比率混合处理，以获得基本帧速率图像数据，并且所述图像处理单元以所述时间上连续的两个图片为单位执行第二比率混合处理，以获得高帧速率的扩展帧的图像数据；图像编码单元，对参考帧速率图像数据执行编码处理，以获得基本流，并且所述图像编码单元对所述高帧速率的扩展帧的图像数据执行编码处理以获得扩展流；和发送单元，发送包括所述基本流和所述扩展流的预定格式的容器。

【技术特征摘要】
【国外来华专利技术】2015.09.10 JP 2015-1789761.一种发送设备，包括：图像处理单元，所述图像处理单元对高帧速率图像数据以时间上连续的两个图片为单位执行第一比率混合处理，以获得基本帧速率图像数据，并且所述图像处理单元以所述时间上连续的两个图片为单位执行第二比率混合处理，以获得高帧速率的扩展帧的图像数据；图像编码单元，对参考帧速率图像数据执行编码处理，以获得基本流，并且所述图像编码单元对所述高帧速率的扩展帧的图像数据执行编码处理以获得扩展流；和发送单元，发送包括所述基本流和所述扩展流的预定格式的容器。2.根据权利要求1所述的发送设备，其中，所述图像处理单元将所述基本帧速率图像数据和所述高帧速率的扩展帧的图像数据作为一个系统的图像数据提供给所述图像编码单元，并且所述一个系统的图像数据添加有识别信息，所述识别信息用于识别所述基本帧速率图像数据和所述高帧速率的扩展帧的图像数据的各个帧。3.根据权利要求1所述的发送设备，进一步包括：信息插入单元，执行以下一者或两者：将代表所述第一比率的混合比率信息插入到所述基本流的层中，将代表所述第二比率的混合比率信息插入到所述扩展流的层中。4.根据权利要求3所述的发送设备，其中，所述基本流和所述扩展流具有NAL单元结构，以及所述信息插入单元将具有混合比率信息的SEINAL单元插入到所述基本流和/或所述扩展流中。5.根据权利要求1所述的发送设备，进一步包括：信息插入单元，所述信息插入单元将识别信息插入到所述容器的层中，所述识别信息指示包含在所述基本流中的图像数据是通过执行所述混合处理而获得的。6.一种发送方法，包括以下步骤：图像处理步骤，对高帧速率图像数据以时间上连续的两个图片为单位执行第一比率混合处理，以获得基本帧速率图像数据，以及以所述时间上连续的两个图片为单位执行第二比率混合处理，以获得高帧速率的扩展帧的图像数据；图像编码步骤，对参考帧速率图像数据执行编码处理，以获得基本流，并且对所述高帧速率的扩展帧的图像数据执行编码处理以获得扩展流；和发送步骤，通过发送单元发送包括所述基本流和所述扩展流的预定格式的容器。7.一种接收设备，包括：接收单元，所述接收单元接收包括基本流和扩展流的预定格式的容器，其中，所述基本流是通过对基本帧速率图像数据执行编码处理而获得的，所述基本帧速率图像数据是通过对高帧速率图像数据以时间上连续的两个图片为单位执行第一比率混合处理而获得的，以及所述扩展流是通过对高帧速率的扩展帧的图像数据执行编码处理而获得的，所述高帧速率的扩展帧的图像数据是通过以所述时间上连续的两个图片为单位执行第二比率混合处理而获得的，所述接收设备进一步包括处理单元，所述处理单元仅处理所述基本流以获得基本帧速率图像数据，或者处理所述基本流和所述扩展流两者以获得高帧速率图像数据。8.根据权利要求7所述的接收设备，其中，获得所述高帧速率图像数据时，所述处理单元执行以下处理：对所述基本流执行解码处理以获得所述基本帧速率图像数据，并且对所述扩展流执行解码处理以获得所述高帧速率的扩展帧的图像数据，以及将所述基本帧速率图像数据与所述高帧速率的扩展帧的图像数据合成以获得所述高帧速率图像数据。9.根据权利要求7所述的接收设备，其中，获得所述高帧速率图像数据时，所述处理单元执行以下处理：对所述基本流执行解码处理以获得所述基本帧速率图像数据，并且对所述扩展流执行解码处理以获得所述高帧速率的扩展帧的图像数据，对所述基本帧速率图像数据和所述高帧速率的扩展帧的图像数据执行混合处理的逆处理，以获得所述时间上连续的两个图片中的一个图片和另一个图片的图像数据，以及将所述时间上连续的两个图片中的一个图片和另一个图片的图像数据合成以获得所述高帧速率图像数据。10.一种接收方法，包括：接收步骤，通过接收单元接收包括基本流和扩展流的预定格式的容器；其中，所述基本流是通过对基本帧速率图像数据执行编码处理而获得的，所述基本帧速率图像数据是通过对高帧速率图像数据以时间上连续的两个图片为单位执行第一比率混合处理而获得的，以及所述扩展流是通过对高帧速率的扩展帧的图像数据执行编码处理而获得的，所述高帧速率的扩展帧的图像数据是通过以所述时间上连续的两个图片为单位执行第二比率混合处理而获得的，所述接收方法进一步包括处理步骤，所述处理步骤仅处理所述基本流以获得所述基本...

【专利技术属性】
技术研发人员：塚越郁夫，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP